使用洪stream分享非常大的文件

在我们的研究所,我们很快就需要经常分享大量的数据(数TB)。

  1. 使用BitTorrent执行此任务是否合理?

  2. 与普通的FTP服务器相比,CPU /内存开销有多大?

  3. 当从一个BitTorrent对等体(原始存储服务器)复制到另一个对等体时,是否有可能实现与直接FTP传输匹配的速度?

非常感谢你。

  1. 我会这样想的。 要小心你select的块大小,因为对于如此大量的数据,它需要比标准大
  2. 在传输过程中不显着,你的带宽将成为你的CPU的瓶颈。 首先生成洪stream元文件(涉及散列每个块和整个数据集)将需要相当长的一段时间,因为在客户机上完成传输之后的最终散列检查
  3. 是。 除非您的连接提供商,客户的提供商或位于其间的某个地方有select地形成P2Pstream量。

为了缓解关于点1和点2的问题,如果您可以将数据拆分成更小的块,并且为每个块分别使用不同的种子,则可能会发现数据的大小更容易处理。

另外请注意,如果它们覆盖的文件中的任何数据被更新,您将需要重新生成torrent元文件。 如果数据的一小部分没有改变,你可能会发现rsync是一个更有效的解决scheme。

数据集中的文件有多大,以及这种扩展是什么样的(几个多Gig文件,许多小文件,…)?

你没有提到有多less台机器将在你的“网状”中用于bittorrent; 如果它将是几个,那么BitTorrent可能不值得设置torrent文件并把它们给人们,加上运行跟踪器的麻烦。

我也不时想到这一点,总是回到英国电信的实际使用。 在互联网上共享文件,每个人只需要贡献一部分带宽。 在家里或工作100Mbs的networking,我使用networking服务器,并绕过链接。

  1. 是的,很有可能的是,每个用户平均下载速度的可能花费可以节省大量带宽成本。
  2. 总体而言,总体来说很低,取决于服务器,但总的来说,一台服务器作为一个相当于一个体面的群的BT服务器的CPU使用率将低于同一台服务器将大量客户端的相同文件FTP。
  3. 任何事情都是可能的,它可能会更快或者更慢,这取决于群体在任何时候的规模以及其他许多因素,你永远不会知道。

最重要的是你的客户体验,如果你无法承受掉客户的话,那么就可以使用FTP,因为它是可控的 – 如果他们懂技术并且了解你和他们的好处,那么你将会BT好。 祝你好运。