使用xfs,20个磁盘和Ceph的“大型”服务器上页面碎片的原因
任何在Linux IO系统方面具有一定经验的人的洞察力都是有帮助的。 这是我的故事: 最近提出了六个戴尔PowerEdge rx720xds集群通过Ceph提供文件。 这些机器有24个核心,两个插槽,两个numa区和70千兆字节的内存。 磁盘被格式化为每个磁盘的扫描(我们看不到直接暴露它们的方法)。 networking由mellanox infiniband IP over IB提供(IP数据包在内核区域变成了IB,而不是硬件)。 我们每个SAS驱动器都是这样安装的: # cat /proc/mounts | grep osd /dev/sdm1 /var/lib/ceph/osd/ceph-90 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdj1 /var/lib/ceph/osd/ceph-87 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdu1 /var/lib/ceph/osd/ceph-99 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdd1 /var/lib/ceph/osd/ceph-82 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdk1 /var/lib/ceph/osd/ceph-88 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdl1 /var/lib/ceph/osd/ceph-89 xfs rw,noatime,attr2,inode64,noquota 0 0 […]