LANnetworking中的文件传输速度

我从1个Linux主机转移到另一个15TB数据的Linux主机。 发件人主机有这些网卡:

[44.206701] igb:eth0 NIC链路上行1000 Mbps全双工,stream量控制:RX / TX

[44.274112] bonding:bond0:接口eth0的链路状态肯定是up,1000Mbps的全双工。

[44.278534] igb:eth1 NIC链路上行1000 Mbps全双工,stream量控制:RX / TX

[44.573636] bonding:bond0:接口eth1的链路状态肯定为up,1000 Mbps全双工。

接收主机有这个网卡:

[16.964486] e1000e:eth0 NIC链路上行100 Mbps全双工,stream量控制:无

我现在的最大传输速度是11 MB /秒。 我想知道,我需要做什么来提高传输速度? 升级接收器网卡?

谢谢!

接收端只能连接100 Mb / s:

e1000e:eth0 NIC链路上行100 Mbps全双工,stream量控制:无

这转换成最大原始带宽约12.5MB / s。 考虑到IP / TCP开销后,在11 MB / s基本上,您的接收机带宽最大。

最好是在接收机上安装一个1gig的网卡是的,我也可以在标签中看到你使用的是scp。

对于重要的数据传输来说,scp通常是非常糟糕的,我总是有可怕的performance

尝试FTP(但它是未encryption的),你会清楚地注意到与传输速度的重要区别。

ftp(或其他协议/程序,但不是scp)+接收机上至less有一个1000mb的NIC将明显地帮助你

正如其他人所build议的,之所以能够达到11Mb / sec,是因为接收网卡的链接速度为100MBit,尽pipe理论上卡能够处理1GBit。

我能想到的唯一可能的原因是NIC连接到一个100MBit交换机,或者卡被configuration为自动协商速度并且协商了错误的速度。 在这种情况下,您应该能够强制NIC以1GBit的速度运行。

按照目前的传输速率,您需要15天的时间才能传输15Tb( http://www.thecloudcalculator.com/calculators/file-transfer.html )。

在接收端使用1GBit连接只需要大约1.5天的时间。

如果你的电缆有问题,双方应该是1000full,强制/ *硬编码交换机端的速度,它将在接收端100 Full同步。

看看交换机是如何configuration的,如果它的auto auto会把你的接口硬编码为1000full,如果不能以这个速度检查布线。 直到切换。

在12MB你是在100全速。 e1000e是一个演出界面应该同步到这个速度。 根据主机的function,传输速率应该从300Mbps到800Mbps(30MB到80MB)。

您正在传输数据接近接收界面的限制,尽pipe它没有以最高速度运行。 你的交换机能处理速度吗?

您的瓶颈可能是您读取或写入磁盘的速度,或者可能是networking中的瓶颈。 几个问题:

  • 你如何传输数据? (磁盘映像可能比单个文件快。)
  • 你在系统上有什么样的磁盘? (闪存驱动器通常比硬盘更快,Raid系统会增加写入时间的开销,接口速度往往高于读/写速度。
  • 他们的转帐率是多less? (如果你不能在networking传输速率附近读取或写入数据,那么networking速度有多快并不重要。)
  • 你正在传输的文件有多大? (小文件有更多的文件系统开销。)
  • 目标文件系统是否使用日志? (除非您禁用日志,否则会增加额外的写入开销。)
  • 你正在缓冲通过networking传输的数据吗? (缓冲允许尚未被写入的数据通过networking传送。)
  • 你可以同时运行多个传输? (如果传输在不同的磁盘上运行,则可能会获得整体传输速率。太多的并行传输会增加额外的开销,从而减慢文件的移动速度。
  • 传输stream是encryption/压缩的吗? (可以增加开销,压缩可以弥补networking瓶颈)
  • 在任何接口上是否有错误? (双面不匹配可能会导致问题。)
  • 网卡/交换机端口是否满负荷运行? (如果networking上的任何设备以满负荷运行,则会成为瓶颈,如果没有全速运行,会降低可用吞吐量。)

正如在我的评论中指出的那样,接收系统的以太网卡似乎以最大速度的1/10运行。 您正在实现的传输速率接近于在当前网卡速度下无压缩的最大可实现速率。

在守护进程模式下运行rsync可能比使用SSH进行隧道提供更好的性能。 运行rsync作为守护进程有安全隐患。