调整顺序磁盘读取的性能

我正在从磁盘顺序读取一个大文件,并试图了解读取过程中的iostat输出。

  • 文件大小:10 GB
  • 读取缓冲区:4 KB
  • 预读(/ sys / block / sda / queue / read_ahead_kb):128 KB

iostat输出如下

Device: rrqm/s wrqm/sr/sw/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util sda 0.00 0.00 833.00 14.00 103.88 0.05 251.30 6.07 5.69 2.33 205.71 1.18 100.00 

计算I / O请求的平均大小=(rMB / s除以r / s)给出了〜128KB,这是预读值。 这似乎表明,当读系统调用指定了一个4KB的缓冲区时,实际的磁盘I / O按照预读值发生。

当我将预读值增加到256KB时,iostat输出如下

 Device: rrqm/s wrqm/sr/sw/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util sda 0.00 28.00 412.00 12.00 102.50 0.05 495.32 10.78 12.15 4.76 265.83 2.36 100.00 

再次,平均I / O请求大小为256 KB,与预读相匹配。

这一直保持着,直到我设置了512KB作为预读值,并且当我向上移动到1024KB的预读值时,这个值并没有保持 – I / O请求的平均大小仍然是512KB。 将max_sectors_kb(每个I / O请求的最大数据量)从默认的512 KB增加到1024 KB在这里也没有帮助。

为什么会发生这种情况 – 理想情况下,我希望尽可能减less读取IOPS,并为每个I / O请求读取大量数据(每个请求大于512 KB)。 另外,在所有情况下,我都达到了100%的磁盘利用率 – 我想要让自己在50-60%的磁盘利用率下读取并获得良好的连续吞吐量。 简而言之,连续读取I / O的优化应用程序/内核设置是什么。

你说你想要最小化读取IOPS和最大化每个IO请求的大小。 我怀疑你不会真的从中受益。 通常我会在最大化吞吐量的同时尽量减less延迟,并在特定的应用程序中find这两者之间的良好平衡点。

请注意,当您从128kB预读移动到256kB预读时,读取吞吐量实际从103.88MB / s下降到102.50MB / s。 我不希望这种趋势在更高的预读大小上反转。 如果数据不是纯序列的,那么较高的预读也会带来更多浪费IO的风险,这会降低有用IO的性能。

如果您有兴趣,512kB限制可能来自存储堆栈中的另一层,例如SCSI驱动程序,控制器固件或总线。

要限制IO,你可以看看下面的内容: 如何将每个进程的I / O限制到最大限制?

如果您正在从LVM卷上的文件系统读取数据,则这似乎是已经查明的行为。 我也在LVM邮件列表上写过 ,但是没有人回复我。

我怀疑LVM代码在内部pipe理最大为512 KB的块/请求,因此在此硬限制上增加max_sectors_kb参数不起作用。