我们是一个animation工作室,我们有一个内网,不断需要移动networking周围的大文件(2 GB +)。 我们有以下configuration:
三个Netgear 24端口非托pipe交换机。 交换机1连接到交换机2连接到交换机3,交换机3连接到路由器。 有一台NAS连接到交换机2。
50台PC连接到各种交换机。 20个工作站和30个渲染节点。
事情顺利,直到我们发送渲染作业。 当我们这样做时,大约有30台机器试图立即从NAS复制相同的文件,networking变慢。
pipe理型交换机超出了预算。 升级到两个48端口非托pipe堆叠交换机可能是可行的。
我有以下问题:
谢谢您的帮助。 这个networking的东西真的很混乱
我很遗憾地说,但是你说的一些东西根本就没有意义。 真。 你很有可能成为北韩的渲染公司,因为它是有道理的。
50台PC连接到各种交换机。 20个工作站和30个渲染节点。
和:
pipe理型交换机超出了预算
真。 你可以支付20人的工作,加上所有的许可证,并且缺乏pipe理交换机的费用,这个交换机的范围大约在每个工作站100美元左右。 Gratulations。 正如我所说的 – 当你是一个北方哥伦比亚公司时,你的员工每小时赚取1.5美元就是有意义的。 pipe理交换机并不昂贵。 特别是如果你需要他们。
好的,我们走吧。
没钱? 坏消息 – 没有运气。
另外请确保您实际上可以从存储中提供1GB的数据,这是另一个预算。 取决于硬件和光盘布局,您可以从光盘中获得哪些性能。
无论如何,你的问题是双重的。 首先,1gbit大约是每秒100mbyte。 这听起来不错(对于2GB的文件,20秒),但是如果有30个节点拉,那么这个值就乘以30,因为你也只有1GB的存储空间。 瓶颈,我们来了。 其次,从交换机1到交换机2的所有内容也通过1gb的瓶颈。
当你移动这些东西的时候,你只需要比存储在工作站上更多的带宽。 10Gbit这里允许你基本上只有一个因素3减less时节点拉,而不是一个因素30。
这几乎是一个不符合实际的要求 – 一个1gbitnetworking复制2gbx30 = 60gb的数据需要很长时间,而且基本上是通过1gbit连接传输的,所以交换不会给你额外的带宽。 所以,得到一个预算,升级到你想做的足够好的设备,然后问题就会消失。 这是更大的问题之一,但是在规划30个渲染节点时,应该有人投入预算。
我读到的是NAS是主要的瓶颈。 30个节点拉同一个(假设是大的)文件是完全饱和NAS的networking链接的任何打击它的好方法。 我想,随着渲染节点的完成,他们将完成的工作上传到NAS,这可能会导致其自身速度下降。 另一个瓶颈可能是在您的交换机configuration中。
Switch 1 -> Switch 2 (NAS) -> Switch 3 -> [Router] -> Internet
除非你的路由器不是一个普通的SOHO路由器,否则你应该可以免费这样做:
Switch 1 -> [ ] switch 2 -> [ router ] -> Internet Switch 3 -> [ ]
这本身可能会帮助你解决问题,而最好的部分是它不会花费任何东西,但有点宕机。
如果可能的话,你真的想把你的渲染节点和NAS放在同一个交换机上。 既然你有30个渲染节点,你不能把它们和NAS放在同一个交换机上,所以你需要新的硬件。 通过使用像您说的可堆叠交换机,您可以帮助减轻上行链路上的压力。 这应该在交换机之间提供更好的带宽。 两个步骤都应该使上行链路端口的饱和度降低,但这不会影响NAS上的负载。
30个节点以高速率拉文件可以完全饱和1GbE,因此修复需要以下几个步骤之一:
也许你可以切换到喷火器,多播文件分发程序,以防止你不得不发送60GB(2GB到30台机器),而是通过networking发送2GB …
如果这不是一个选项,你可能将不得不升级networking中的瓶颈。 从你的描述来看,这听起来像NAS是主要的瓶颈,所以你的第一个需要是看看你是否可以绑定多个接口。 这取决于NAS。 一个48端口交换机的背板带宽将非常高,但是如果你的NAS是1Gbps的阻塞点,那么这个40Gbps是没关系的。
如果您有两台交换机通过1Gbps链路连接到另一台交换机,那将是一个瓶颈。 所以上一个48端口的交换机,并获得更多的东西,将有助于消除这些瓶颈。
除此之外,也许你可以使用像PVFS这样的分布式并行文件系统 ? 想想它就像是一个bittorrent文件系统,许多机器共享分发文件的负载,而不是单个中央NAS。 这样NAS就不会成为瓶颈。
从软件angular度和硬件angular度来看,解决这个问题肯定是有意义的。 我相信你可以在那里find软件将文件组播到渲染机器。
从这里的其他人的伟大答案。 你应该有足够的能力给你所有你需要的想法。 不过,这里有几个想法:
在你的networking上设置一个本地的Bit洪stream跟踪器(只能看到你的networking),并通过BitTorrent在你的工作站之间分享你的大文件。
每个渲染站都需要整个文件吗? 如果不是,则分享部分文件。 您可以将大文件分割成更小的块,也可以使用可理解范围请求的HTTP服务器来处理文件,并让客户端只下载所需的字节范围。
像aerofs这样的点对点解决scheme可能会对您有所帮助。 每个人都是文件服务器! 🙂
这是我会做的。
1 – 进行绩效的基准测量。
2 – 通过添加一个新的开关修复您的当前configuration(见下文)。
PC's-->[ SW1 ]-->[ ] [ ] [ ] PC's-->[ SW2 ]-->[ SW New ]-------------->[ Router ] [ ] [ ] PC's-->[ SW3 ]-->[ ]--->NAS
3 – 做一个新的测量。
4 – 安装将文件从NAS推送(组播)到PC的软件。 (见肖恩的post)
5 – 做一个新的测量。
在每个测量点多次运行相同的testing。
另外,如果您可以告诉我们NAS的型号/制造商,我们可能会提供其他答案。