首先，感谢您的阅读，并抱歉提出与我工作有关的事情。 我知道这是我应该自己解决的事情，但是你会看到它有点困难。
一个小的描述：
现在
存储=> 1PB使用DDN S2A9900存储OST，4 OSS，10 GigEnetworking。 （光泽1.6）
带有2个Infiniband的100个计算节点
1个有36个端口的infiniband开关
后
存储=>以前的存储+另一个1PB使用DDN S2A 990或LSI E5400（还有待决定）（光泽2.0）
8个OSS，10GigEnetworking
带有2个Infiniband的100个计算节点
以前的经验：使用以下命令在不到3天的时间内转移120TB：
tar -C /old --record-size 2048 -b 2048 -cf - dir | tar -C /new --record-size 2048 -b 2048 -xvf - 2>&1 | tee /tmp/dir.log 所以，这里的大问题，使用大math方程我得出结论，我们将需要1个月的时间将数据从一侧传输到新的一侧。 在此期间，研究人员需要退后一步，我个人对此并不满意。
我告诉你，我们有无限连接，因为我认为可能有机会使用它来传输数据，使用18个计算节点（18 * 2 IB = 36个端口）将数据从一个存储传输到另一个。 我试图弄清楚IB交换机是否可以处理所有的stream量，但万一它烧起来会比使用10GigE更快。
此外，在同一台服务器上configuration光泽1.6和2.0的代理工作得相当好，这样就不用1.8分步升级元数据服务器。
有任何想法吗？
非常感谢
注1：Zoredache，我们可以把它分成两块（A）600Tb和（B）400Tb。 这个想法是把（A）移动到新的存储器上，然后格式化（A）和存储器2.0，然后把（B）移到这个存储器中，并且扩展到（B） 。
这样我们将以（A）和（B）结尾在单独的文件系统上，每个文件系统都有1PB。
目标是让旧存储和新存储之间的每一层都比从旧机器上获得的最大读取速度快。 他们的规格要求6GB / s连续（这应该是）。 这意味着如果您能够获得广告的速度，那么移动数据所需的最短时间将在46小时以内。
当你在3天内使用tar来移动120TB的时候，你必须平均只有每秒半GB的平均值，这比规格要求的6GB / s要小得多。 真正的数字可能会在中间的某个地方。
首先，焦油可能是你的问题。 我是一个存储人员，而不是unix人员，但据我所知，它可能会限制您的吞吐量基于处理器的速度。 如果坚持这种方法，可以通过增加运行迁移的节点的数量并使它们在数据集的不同部分上工作来获得迁移窗口。 不断添加节点，直到旧机器无法更快地提供文件。
其次，确保您能够像读取旧存储一样快地从迁移节点写入新存储。 这可能意味着要调整新存储上的某些设置（特别是如果它具有旧式的镜像写caching），并确保没有networking瓶颈。
最后，这可能有点牵强，如果可以采取停机时间，并且此框通过FC提供LUN，则可以将存储虚拟化设备插入数据path，以便继续使用存储，尽pipe速度较慢，而你做移民。 IBM的SAN卷控制器，Falconstore的虚拟化设备或HDS存储arrays都能够在后台自动进行数据迁移，而不会中断主机访问。 它们中的任何一个都不会像您以前那样快，但是在短暂的中断之后，您可以在迁移时进行工作，从而使节点能够使用新的存储磁头。
这可能不值得购买，因为在完成迁移之后您不会使用它，但是您可以借用或租借它。