我正在开发一个需要大量存储空间的应用程序,我想处理内部的存储(比S3要便宜),所以我们将有多个服务器(最初是4个),具有大量存储(每个6TB)。
存储将需要非常灵活和可configuration,每一块数据应至less在2台服务器上复制,并且必须易于从一个UNIX设备/文件/文件夹的API(如普通驱动器)的以太网可读/写入,不介意哪个。 我们还必须能够轻松地将内容卸载到我们的HTTP CDN(Edgecast)中,它不需要内置HTTP支持,但是如果不需要,我将不得不写一些东西来获取文件到HTTP上他们可以被CDN拉。
我已经看了很多解决scheme,包括
所有服务器都将运行RHEL 6,它们具有4个1.5TB的驱动器,这些驱动器将被RAID1分为一个分区。 所有的服务器之间有1GB / s的连接,100MB / s连接到互联网,无限带宽。 他们有2×2.66ghz处理器。
我知道没有一个完美的答案,但是能够得到一些提示是很好的。
我们经常会被问到类似的问题,我很惊讶这些以前的问题没有出现在search中,
无论哪种方式,我通常推荐GlusterFS或Lustre,但也有许多其他分布式文件系统可供select。
既然你已经是一个RH商店, 红帽企业集群和存储pipe理类可能被certificate是相当有用的。
如果您可以分享一些关于存储工作量的信息,那就太好了。 根据您是否需要低延迟或大容量存储可能导致不同的存储解决scheme。 对于内容存储选项,请查看对象存储解决scheme。 (甚至可以进一步细分 – 如果您需要长时间保存数据,而不是经常阅读,请考虑支持擦除编码的解决scheme)。 如果您需要低延迟,请查看基于群集主机的存储文件系统 – 理想情况下与主机中的闪存配合使用。 请注意,还可以在主机中查看与闪存caching加速相关的对象存储。