模拟HPC应用程序数据,通过大型链接testingWAN文件系统的性能

所以这里是设置:我们临时访问一个非常大的TCP广域网连接,我们想用这个pipe道来做广域网文件系统testing。

我们想立即生成大量的数据,并将其写入另一端的文件系统。 我们有大量的服务器可以使用,所以用正确的模拟产生足够的数据不是问题,但是我们想模拟实际的HPC应用程序数据,而不是像pipe道/ dev / zero那样的东西。

就像我刚才提到的那样,我们正在寻找实际的数据,所以寻找比iperf或netperf更多的东西。 那么我的问题是,你们是否知道任何HPC应用程序数据模拟器? 如何testing写入数据到链接的另一端?

编辑:

我正在接近寻找一个符合法案的工具。

最有前途的是MADbench2 ,它是适用于并行I / Otesting目的的实际科学仿真代码。

我将在本页上列出更多工具列出并行I / O Benchamrks

目前还不清楚哪一个实际上是写数据,这实际上是我们的目标。

该页面上的大多数并行I / O基准实际上应该写入数据(尽pipe通常是随机噪声)。 我个人只使用该列表中的IOR和PIO-Bench,但这些都是HPC社区中相对广为人知和接受的基准。 “相对”,因为I / O基准可以在HPC(特别是对供应商)中产生神圣的战争…但是没有一个真的很糟糕。

IOR是我经历过的最多的一次,看起来效果不错。 虽然设置起来可能很复杂, 确保你已经安装和configuration好MPI并行运行。 有关IOR的更多信息,请参阅本文 ; 这个页面也是一个有用的快速参考。

说实话,任何系统的最佳基准是真正的应用。 我相信运行真正的应用程序对testing数据超过任何基准,因为我已经过于简单化的测量不代表真实的性能。

如何使用ddnc手动滚动?

也许你可以做dd if=/dev/sda | nc otherside 9999 dd if=/dev/sda | nc otherside 9999别人dd if=/dev/sda | nc otherside 9999 ,另一边做nc -l 9999| dd of=/var/lib/somewhere nc -l 9999| dd of=/var/lib/somewhere

你可以通过PVpipe道来了解数据量和速度。