繁重的带宽内部网

我们是一个animation工作室,我们有一个内网,不断需要移动networking周围的大文件(2 GB +)。 我们有以下configuration:

三个Netgear 24端口非托pipe交换机。 交换机1连接到交换机2连接到交换机3,交换机3连接到路由器。 有一台NAS连接到交换机2。

50台PC连接到各种交换机。 20个工作站和30个渲染节点。

事情顺利,直到我们发送渲染作业。 当我们这样做时,大约有30台机器试图立即从NAS复制相同的文件,networking变慢。

pipe理型交换机超出了预算。 升级到两个48端口非托pipe堆叠交换机可能是可行的。

我有以下问题:

  1. 我连接开关的方式不正确吗? 交换机1和交换机2是否都连接到交换机3?
  2. 将移动到两个48端口堆叠非托pipe交换机缓解这种拥塞?
  3. 交换机上的100 Mbps设备是否会影响GB交换机上其他设备的GB连接?
  4. 有没有办法打破networking。 假设有20台PC,一台交换机上有一台NAS,另外有20台PC,另一台交换机上有另一台NAS,以防NAS成为瓶颈。 在这种情况下,我应该将两个交换机连接到路由器吗? 他们还能看到对方吗? 路由器是由ISP提供的标准路由器。
  5. 这种工作的带宽是不够的吗?

谢谢您的帮助。 这个networking的东西真的很混乱

我很遗憾地说,但是你说的一些东西根本就没有意义。 真。 你很有可能成为北韩的渲染公司,因为它是有道理的。

50台PC连接到各种交换机。 20个工作站和30个渲染节点。

和:

pipe理型交换机超出了预算

真。 你可以支付20人的工作,加上所有的许可证,并且缺乏pipe理交换机的费用,这个交换机的范围大约在每个工作站100美元左右。 Gratulations。 正如我所说的 – 当你是一个北方哥伦比亚公司时,你的员工每小时赚取1.5美元就是有意义的。 pipe理交换机并不昂贵。 特别是如果你需要他们。

好的,我们走吧。

  • 从一台交换机上运行,​​你会更好
  • 去一个48端口的交换机,能够显示1-2个10Gbit的上行链路。
  • 将您的存储基础架构连接到10位端口。

没钱? 坏消息 – 没有运气。

另外请确保您实际上可以从存储中提供1GB的数据,这是另一个预算。 取决于硬件和光盘布局,您可以从光盘中获得哪些性能。

无论如何,你的问题是双重的。 首先,1gbit大约是每秒100mbyte。 这听起来不错(对于2GB的文件,20秒),但是如果有30个节点拉,那么这个值就乘以30,因为你也只有1GB的存储空间。 瓶颈,我们来了。 其次,从交换机1到交换机2的所有内容也通过1gb的瓶颈。

当你移动这些东西的时候,你只需要比存储在工作站上更多的带宽。 10Gbit这里允许你基本上只有一个因素3减less时节点拉,而不是一个因素30。

这几乎是一个不符合实际的要求 – 一个1gbitnetworking复制2gbx30 = 60gb的数据需要很长时间,而且基本上是通过1gbit连接传输的,所以交换不会给你额外的带宽。 所以,得到一个预算,升级到你想做的足够好的设备,然后问题就会消失。 这是更大的问题之一,但是在规划30个渲染节点时,应该有人投入预算。

我读到的是NAS是主要的瓶颈。 30个节点拉同一个(假设是大的)文件是完全饱和NAS的networking链接的任何打击它的好方法。 我想,随着渲染节点的完成,他们将完成的工作上传到NAS,这可能会导致其自身速度下降。 另一个瓶颈可能是在您的交换机configuration中。

Switch 1 -> Switch 2 (NAS) -> Switch 3 -> [Router] -> Internet 

除非你的路由器不是一个普通的SOHO路由器,否则你应该可以免费这样做:

 Switch 1 -> [ ] switch 2 -> [ router ] -> Internet Switch 3 -> [ ] 

这本身可能会帮助你解决问题,而最好的部分是它不会花费任何东西,但有点宕机。

如果可能的话,你真的想把你的渲染节点和NAS放在同一个交换机上。 既然你有30个渲染节点,你不能把它们和NAS放在同一个交换机上,所以你需要新的硬件。 通过使用像您说的可堆叠交换机,您可以帮助减轻上行链路上的压力。 这应该在交换机之间提供更好的带宽。 两个步骤都应该使上行链路端口的饱和度降低,但这不会影响NAS上的负载。

30个节点以高速率拉文件可以完全饱和1GbE,因此修复需要以下几个步骤之一:

  • 绑定NAS上的多个NIC,但需要pipe理交换机
  • 使用NAS上的第二个networking端口作为渲染节点的专用共享点。 networking仍然会陷入困境,但正常的使用else-net应该不会受到很大的影响(磁盘I / O可以承受)
  • 获得一般办公室使用的第二个NAS设备。

也许你可以切换到喷火器,多播文件分发程序,以防止你不得不发送60GB(2GB到30台机器),而是通过networking发送2GB …

如果这不是一个选项,你可能将不得不升级networking中的瓶颈。 从你的描述来看,这听起来像NAS是主要的瓶颈,所以你的第一个需要是看看你是否可以绑定多个接口。 这取决于NAS。 一个48端口交换机的背板带宽将非常高,但是如果你的NAS是1Gbps的阻塞点,那么这个40Gbps是没关系的。

如果您有两台交换机通过1Gbps链路连接到另一台交换机,那将是一个瓶颈。 所以上一个48端口的交换机,并获得更多的东西,将有助于消除这些瓶颈。

除此之外,也许你可以使用像PVFS这样的分布式并行文件系统 ? 想想它就像是一个bittorrent文件系统,许多机器共享分发文件的负载,而不是单个中央NAS。 这样NAS就不会成为瓶颈。

从软件angular度和硬件angular度来看,解决这个问题肯定是有意义的。 我相信你可以在那里find软件将文件组播到渲染机器。

从这里的其他人的伟大答案。 你应该有足够的能力给你所有你需要的想法。 不过,这里有几个想法:

  1. 在你的networking上设置一个本地的Bit洪stream跟踪器(只能看到你的networking),并通过BitTorrent在你的工作站之间分享你的大文件。

  2. 每个渲染站都需要整个文件吗? 如果不是,则分享部分文件。 您可以将大文件分割成更小的块,也可以使用可理解范围请求的HTTP服务器来处理文件,并让客户端只下载所需的字节范围。

像aerofs这样的点对点解决scheme可能会对您有所帮助。 每个人都是文件服务器! 🙂

这是我会做的。

1 – 进行绩效的基准测量。

2 – 通过添加一个新的开关修复您的当前configuration(见下文)。

 PC's-->[ SW1 ]-->[ ] [ ] [ ] PC's-->[ SW2 ]-->[ SW New ]-------------->[ Router ] [ ] [ ] PC's-->[ SW3 ]-->[ ]--->NAS 

3 – 做一个新的测量。

4 – 安装将文件从NAS推送(组播)到PC的软件。 (见肖恩的post)

5 – 做一个新的测量。

在每个测量点多次运行相同的testing。

另外,如果您可以告诉我们NAS的型号/制造商,我们可能会提供其他答案。