存储大量的数据

您可能需要查看SAN解决scheme。 我与一个有大量数据需求的客户合作。 他们每个月都会增加新的用户提供的数据。 由于预算方面的原因，我们在RAID 5中select了廉价的SATA磁盘，并尽可能多地塞进2U服务器。 这工作了一段时间，但随着他们不断增长的性能问题，出现了可伸缩性和pipe理问题。

诸如EqualLogic，NetApp等解决scheme提供了非常高的可扩展性和良好的pipe理工具 – 他们有价格标签匹配。

您尚未指定您希望使用多less带宽，但是查看也提供交付服务的基于云的解决scheme可能是另一种select，尤其是在您寻求解决scheme时付费的情况下。

我们可以通过我们的合作伙伴访问Internap的CDN。 我们可以在他们的系统上存储数据，然后通过他们的CDN交付。 我从来没有问过40TB的存储空间，但不会认为这是一个问题。

如果你build立4个10TB系统，你需要清除这些问题：1）有多less个前端服务器节点连接到它们？ 2）文件被多久访问一次？ 3）你如何计划备份数据？ 4）你将使用什么连接方法NFS，GFS，iSCSI？ 5）stream量/存储要求将如何随时间变化？

所有这些都是挑选技术的重要考虑因素。 虽然build设4个10TB系统可能比较容易，而且相对便宜，但是如果在3-5个月内不能处理服务负载，那么你的钱就会被浪费掉。

提示：通常与媒体共享网站（如果这是这样），一些文件比其他文件更受欢迎。 总内容的10-20％可能占总stream量的80％以上。 在这种情况下，您可能需要考虑“快速”和“慢速”存储系统。 保持快速系统上stream行的东西，并从较慢的系统归档。

这将取决于数据的重要程度，您需要的吞吐量，预算，您喜欢pipe理的技术（或您舒适的外包或学习的内容）以及其他因素。

例如，你可以拿一个相对便宜的服务器，把一个带有extral端口的SAS HBA插入它，然后架起几个驱动器机箱。 使用iSCSI Target软件加载一个操作系统，而且你有一个实惠的SAN。

或者，您可以购买HP的Lefthand盒等预先构build的SAN解决scheme。 这些设置和pipe理非常简单，但是这是有代价的。

我曾经在CDW的存储专家的几个项目上工作，只要他们知道你在找什么，他们总是为我而来。 有明确的目标和知道你的限制是部署一个成功的SAN的关键因素。

做一下自己的一点好处，并与Nexenta交谈。 我刚刚用2TB的SSD构build了一个40TB的解决scheme，用于快速SQL /数据构build，价格在95K以下 – 包括一个高configuration的Citrix Xenserver Setup，configuration10Gbe的DRconfiguration！

如果你需要这个存储的web应用程序，而不是像数据库，看看mogilefs：

http://code.google.com/p/mogilefs/

它可以轻松扩展到40TB，而不需要花费10万美元。 这与SAN完全相反。

你看过g </s>？ 它不是超级快速的（尽pipe它适用于某些人），但是它确实做了很多你正在寻找的东西，并且它可以容错并且高度可用。 从我看来，这只是今天工作的唯一免费的HA和FT集群FS。 服务器宕机，客户不注意。 使用FUSE的客户端，所以Linux，许多其他的Unix，一定程度的赢（我认为）的支持。

它是免费的，有付费选项。 它也可以说NFS或smb / cifs（尽pipe没有HA的东西，如果你正在通话的话，需要挂载另一台服务器）。 对于邮件列表档案： http : //gluster.org/cgi-bin/mailman/listinfo/gluster-users

http://www.gluster.org/为免费部分http://www.gluster.com/付费部&#x5206;

再次，正如其他人所说，鉴于这是你的应用程序，mogilefs和其他几个可能是最好的。