硬件/软件devise：2PB的存储空间

免责声明是的，我要求你为我devise一个系统:)

我的任务是devise一个系统来存储大约10TB /天，保留时间为180天。

我的第一个方法是使用GlusterFS并使用像这样的硬件设置：

系统中的单个节点：

• 与MooseFS的经验？
• 我们是否使用DFS“错误”？
• 快速分布式文件系统中的大量数据与数据库中的元数据
• 大多数操作系统（VM）可以容忍的合理存储故障转移时间是多less？
• 分布式文件系统

• 1个带有HP Smart Array P812控制器的 HP ProLiant DL180 G6
• 8 惠普D2600瓦特/ 12 2 TB 6G SAS 7.2K LFF双端口MDL硬盘24 TB捆绑
• 106存储磁盘（2个操作系统磁盘，10个服务器数据磁盘，96个分布在8个机架上）

我需要9个节点来获得可以容纳数据的networking存储（没有复制或在本地磁盘上的RAID）。

优点：

• 我可以从一台没有架子的服务器开始
• 通过在一台服务器上添加机架（或者添加服务器，通过首先添加节点或者首先添加机架或者两者的组合来增加机架的扩展）
• “无限”地缩放（对于“无限”的某些定义）

缺点：

• 一般来说：我实际上不知道如何validation这一点，一旦达到扩展的最后阶段（1.8 PB估计），这将是一个可行的设置。

我没有任何实际的首选方向，只有GlusterFS的一些经验，我已经使用GlusterFS的4 TB系统（分布式，复制，4个节点）。

我敢肯定，这个设置运行Hadoop / Gluster / Netapp / EMC / Hitachi / EveryoneElse没有什么太大差别，但是用例是（ drumroll ）：

ls -ltr | grep 'something' | xargs grep somethingelse 

是的，这是可怕的。 我试图说服人们实际上对这些数据进行真正的分析工作，但似乎不会发生。 （ 确定没有那么糟糕，但是这些人会在一些“分析”系统上使用一个简单的ssh会话来手动到某个目录，recursion地查看一些文件，然后确定数据是否正确，现在听起来更糟我写的 ）

我对任何想法都持开放态度，我的公司内部有一些运营“大型存储”的人（例如，一个备份系统有2PB），我愿意随意使用已有的工作。 但是我也必须certificate他们做的是正确的事情（请不要问这是一件政治事情，我会把我的数据信任给存储团队，我不知道为什么我要重复这个工作）

思考如何实际运行数据分析的问题明显超出范围。

有无数的会议，我提出了从Splunk到分析内部开发的任何工作（有和/或没有Map / Reduce系统）。 对此没有兴趣。 所有人关心的是：

• 10TB /天
• 保存数据180天
• 使其高度可用（尚未完全定义，但沿99.9,99.99 …）

 4 x Storage Heads BrickStor Foundation Units 10 x BrickStor Bricks (36 x 3.5″ Bay JBOD) 2 x 16-port SAS switch 1 x pullout rackmount KVM 1 x 48U Rack 1 x 10Gb Network Switch (24 x 10Gb non-Blocking) NexentaStor Plug-ins:VMDC, WORM, HA-cluster or Simple-HA Onsite installation 5-days 24/7/365 day email and phone support Onsite Support