我正在一家小电视公司工作。 他们每个月生成11TB的video文件。
我能做什么？。 我只需要普通的SATA磁盘，在RAID中。 我应该买什么解决scheme？
（他们使用了很多Iomega NAS）
嗯
“扩大广告无限”吓死我了。 你真的需要网上每一秒的电影吗？ 你可以考虑分层存储吗？ 快速存储最近/高度使用的东西; 更慢的容量存储，你需要方便的东西，但不要把手指就在那里; 最后是磁带或类似的东西存档旧数据？
至于实际的select，你的预算是什么样的？ 因为这是我最熟悉的，所以我会提出戴尔系列的东西，但是所有顶级服务器厂商都会有相同的产品，但是我不太了解这些，所以您需要build议，而不是一长串驱动器模型。
如果您想通过多个服务器发布这些数据，我喜欢Dell的Equallogic系列SAN设备，并且他们提供了许多选项，可以为您提供快速存储层和较慢的较高容量层，当然，您也可以购买您也可以从戴尔的任何规模的磁带库中进行归档。
如果你只想通过一台服务器发布这个东西，那么就考虑直连存储选项 – 可以插入服务器的磁盘库。 从戴尔的范围，我知道你会谈论PowerVault系列
正如我刚才所说，我并不是说你必须购买戴尔，我不为他们工作，我不是为他们而生，只是我们使用了很多东西，而且我知道这很好。 你可以看看惠普，Sun / Oracle，IBM，他们都有类似的产品范围在相同的水平，有很多公司专门从事存储。 但是让文件使用增长而不pipe理它，这是灾难恕我直言。
我知道你可能被告知他们需要一切可用的东西，而且你需要这样做便宜，我知道压力。 但是，如果没有pipe理策略，试图pipe理这样的数据就是要求一个棒子上的月亮，而这是行不通的。
我为广播公司工作，我们每个月都会产生大量的video/audio数据。 我们的解决scheme是2个Hitachi SAN，一个更快（FC）和一个更慢（SATA），拥有大量caching（256GBcaching）。 我们预计它会在3年内耗尽。 是的，高清video是一个婊子。
我们有一个处理所有内容生命周期的pipe理系统，将它从较快的存储（在线）转移到较慢的存储（近线），最后在磁带上存档（有很多涉及元数据的快速和之后轻松find存档上的内容）。 我们有一个（可扩展的）1000 LTO 4磁带库用于归档。
这是你应该记住的事情。 你真的只需要快速访问/空间来确定你的编程时间。 说，上个月。 这将是来自新闻队，录制录音室节目，现场节目录制，以及外部制作（辛迪加的东西，广告等）的原始镜头。 这就是要播放和编辑的内容，因此必须快速访问（例如，SAN连接到编辑完成的MAC）。
东西播出后，你可以（你应该）把它移动到一个collections/档案（不知道英文的正确名词），可能是在磁带上。 如果稍后需要确定的新闻，节目或节目，则将其重新注入更快的存储空间以供使用，并在完成后将其删除。
希望我的个人经验帮助。
如果您正在寻找一个商业解决scheme，Isilon是其中一个更便宜的解决scheme，并且应该很容易地满足您的需求。 他们的产品是一个集群解决scheme。 您可以从3个以上的节点构build存储群集。 每个节点都有一堆磁盘，并且容错可以自定义，以便可以丢失节点和/或多个磁盘，并且仍然可以运行。 您只需通过向现有节点添加新节点或外部磁盘包来进行扩展。 非常简单，易于使用。
之后，我将把NetApp视为亚军。 它们有点贵，但是它们的产品比Isilon提供更多的function和性能。
我假设这是video数据，这意味着压缩和重复数据删除不会带来任何好处。 我还假设你已经决定了这个大的，防弹的商业SAN / NAS厂商太昂贵了。 如果一切都需要在线，并在快速的局域网上（而不是云服务，我想你已经看了）：
您最具成本效益的select就像这些45-bay SuperMicro磁盘机箱塞满3 TB驱动器。 在4U的情况下这是135TB的原始数据，并且<1500瓦特。 您可以根据需要继续购买类似的文件，并根据需要将其添加到现有的文件服务器前端。 RAID 6通过好的LSI硬件控制器，而不是软件，如果你能负担得起 – 阅读“RAID 5写入漏洞”，并害怕软件奇偶校验RAID。
随着存储密度的提高，您可以将旧存储盒中的数据迁移到较新的存储盒，从而使服务器的占地空间长期保持稳定。 将磁带或可移动SATA磁盘用于非现场存储，因为这是备份这些数据的唯一经济高效的方法。
你将会每六个月购买一台135TB的硬盘（包括硬盘），以解决RAID和文件系统的开销问题。 您还需要每隔一段时间需要一个额外的前端文件服务器。 并全天候为其供电和冷却，并更换故障驱动器，并自行开发pipe理软件。 也许你可以使用OpenStack在这些机器上创build你自己的内部云存储，或者在一些开源集群文件系统上危险地存活。 你可能需要两个或更多的全职机构pipe理所有这些东西。
云看起来越来越好，不是吗？ 如果数据必须是本地的和在线的，我会认真考虑数据的缩减……大约一个月左右之后，将您的所有数据stream（推测为MPEG-2广播）重新编码为VBR H.264video，并以更低的比特率。 '–crf 23'的X264接近透明，大部分广播MPEG2stream的比特率是一半或更less。 当出现这些成本时，我怀疑pipe理人员只会将X天以前的数据置于可移动SATA磁盘或磁带上。
如果你有足够的时间来设置自己的东西，Backblaze的家伙对于如何构build他们的存储容器有一个很好的写法： http : //blog.backblaze.com/2009/09/01/petabytes-on-a -budget，如何对构build廉价云存储/
检查GlusterFS ：可扩展性很高，每千兆字节成本低，pipe理控制台，设备类存储砖，可configuration的复制级别，networking允许的速度，开放源代码等。整个硬盘驱动器。