通过networking高效的大文件传输

在过去的几个星期里,我们开始通过http服务越来越多的video,每个video从50到500mb不等,因为我们没有新的服务器来使用它,只是为了将其设置在我们的stream媒体服务器上。

这个盒子是相当不错的imho(在2ghz,4gb ram,4 x 300gb sas,15k rpm在hw RAID1中,运行Linux 2.6,ext3 fs和deadline调度程序,nginx作为web服务器),但是我们仍然在交付文件,主要是我怀疑是因为我们的iowait在10%到45%的范围内,util的大部分时间是90%左右,而cpu是20-30%左右。

从我读过的应该保持我们〜300-400mbps的stream量,但它不..

在预算上,我们不能依赖CDN,但是如果需要,我们可以获得更多的处理能力,数据中心可以处理我们的stream量。

现在我们得到了一个新的服务器应该只做这个,但我不知道什么是最好的方式来设置它,现在的主要问题是:

  • 什么raid级别更适合这个任务? 现在有4×300GB + 2×146GB,两个SAS在10K rpm,硬盘RAID,想要更多的空间,但冗余也是重要的
  • 我将如何扩展它,lvm一个好主意?
  • 它需要多lessram,现在它有16GB,但如果能给我们一个体面的提升,可以增加更多的任何提示呢?
  • 决定在文件系统的XFS,什么反对/更适合这个?
  • 我只能靠这台服务器多less钱?

任何其他意见,表示赞赏。

谢谢。

我不是这种优化的专家,但这里有几个想法:

  • RAID:提供video,我想你会主要执行持续读取。 为此,我倾向于认为RAI​​D1应该没问题。 一个RAID 1 + 0configuration可能会更好,因为有更多的并行机会 – 虽然我还没有研究过这个数字。 你也可以玩RAID设置; 也许更大的条纹大小会更适合你的情况?
  • 内存:为什么不从你有什么开始,然后监视使用情况? 如果您发现服务器交换太多,则可以随时添加更多的RAM。

您似乎有很多问题,其中许多问题可能会在您将交换机放在新服务器上时自行回答。 如果发生灾难性事件,我会确保您可以回退到旧服务器,并查看新服务器的运行情况。

你告诉我们你认为你应该能够支持300-400Mbps,但是你不能使用CDN? 有些东西是可疑的…首先,你有一些上行连接…这是什么连接? 它支持什么速度? 带宽是专用的还是共享的? 我猜想这是在我以前认为它是服务器之前的设置中的第一个瓶颈。

仅供参考,运营商级数据中心的不良带宽约为250美元/ Mbps /月,所以即使在100Mbps的持续水平下,您也要花费2.5万美元/月的费用。 如果你这样做,你可以负担得起看CDN。