在NAS中寻找短期存储的特性有哪些?

背景

我在一个研究部门工作的生物医学数据,我们正在考虑修改我们的IT结构。 我们有几台仪器每天生成大量的数据,连接到networking隔离的计算机。 数据在networking中传输,在中间步骤中处理,然后传输到大学的国家数据存储服务。

我们需要改进的是数据存储短期(〜3个月)的中间步骤,在这个过程中研究人员可以访问数据,而无需查询远程数据中心的数据。 实际上,中间服务器用于许多不同的目的,并且通常耗尽空间。 我们打算购买一台专门用于短期存储仪器数据的NAS。 我有责任提出替代scheme。

我首先列出了我们需要的东西 ,这导致了我们的要求列表如下:

  • 至less8TB的空间:这不应该是现代设置的问题
  • Gb带宽:与上述相同
  • 机架安装:使NAS在物理上与我们所拥有的其他服务器相近
  • 可扩展:如果我们的数据量在不久的将来会增加(我认为会)
  • 最less的维护:我们没有自由(经济上和官僚上)有全职的系统pipe理员,因为它是最科技的科学家帮助进行服务器维护。 我们都不是IT专业人员

问题(S)

我开始阅读存储系统, meta上最常见的问题清单是一个很好的资源。 同样,我发现了两个类似的问题,在研究环境中询问存储:

  • 可扩展(> 24TB)的研究部门的NAS
  • networking存储为一个研究组,10-100 TB

然而,这两个问题似乎都集中在长期存储上,也关注于个人电器,而我最感兴趣的是弄清楚在这种情况下哪些特性/规格/特性是有价值的。

根据先前的知识和最近的阅读,我认为在我们的案例中selectNAS时可能有一些重要的方面:

  • 支持SAS驱动器 – 这真的很关键吗? 据我所知,SAS驱动器的质量一般较高,但假设arrays中存在冗余,如果SATA磁盘死了,那么有什么大不了的?

  • 链路聚合 – 我不得不说,我没有很好的了解networking层和设备,但是我对链路聚合的理解有限,就是在多个网卡的情况下,理论上NAS可以使带宽增加一倍/三倍多条链路可用于纠错(至less根据Synology)。 我将不胜感激任何额外的信息,可能会帮助我理解这一点,并区分营销谈话的现实。

  • 多个networking – 我们可以在两个不同的VLAN中使用NAS,因为我们在某些计算机上使用的隔离标准不能看到彼此。 如果NAS有两个以太网端口,是不是像连接到两个不同的networking那么简单?

  • 热插拔等 – 似乎有这方面的许多不同版本。 我的理解是,热插拔是指连接到NAS的额外磁盘,当一个磁盘发生故障时,它将被首先写入。 它是否正确? 如果是的话,热插拔一个很酷的function,或者一个必须,即使arrays运行单/双冗余?

  • 另一个版本的“热插拔”(我不确定它是如何被调用的)允许在服务器联机的情况下更换磁盘,所以它是一种热插拔(Drobo提供了类似的东西)。 这是一个常见的function,还是特定于Drobo的? 有没有类似的技术? 有没有我可能不知道的“抓”? 否则,我认为这是非常有趣的,因为它允许在线扩展存储空间。

上面的function列表是我一直在思考的一些,我真的很感谢对这些和我可能错过的其他一些洞察力。

购买基于ZFS的设备。 任何使用NexentaStor的东西都是一个好的开始,但是您听起来像是也想要/需要厂商支持。

像PogoStorage StorageDirector可以工作。
DataON NexentaStor产品是另一个不错的jar装选项。

这两家供应商都可以根据您的存储和性能需求来configuration和定制解决scheme。 这不是一个不寻常的要求,所以与一个有关你的领域知识的供应商交谈会有帮助。

为什么selectZFS?

  • 在容量和性能方面具有出色的可扩展性。
  • 智能caching。 这适用于您的特定应用程序。 数据的工作集可以在更快的存储层(SSD)上增加。 这是ZFS L2ARCcaching。
  • 如果您通过NFS或CIFS进行挂载,则可以进行写入加速。 这是由ZFS ZIL设备实现的。
  • 这是非常有弹性的 。

所有的复选标记都被打了出来:

  • SAS驱动器。 是。 它们比基于SATA的解决scheme更重要,更稳定 。
  • 链路聚合。 当然。 如果有很多消费者,我更喜欢从存储单元到交换机的10GbE。 10GbE端到端更好,这取决于您预期的工作量。
  • 多个networking当然是可能的。 考虑从存储arrays到交换机的中继。
  • 热插拔驱动器。 这是一个给定的。 它允许您在系统运行时交换磁盘。 但是,在这种容量级别上,您可能还需要热备用驱动器,如果驱动器出现故障,将立即调用该驱动器。

几乎任何NAS(小型消费者型号除外)或SAN都支持在线扩展,这意味着如果您需要更多空间,则可以插入更多驱动器,而现有卷可以增加以包含新驱动器。

具有多个端口的SAN和NAS设备可用于链路聚合或从多个networking进行访问。 但是,这两个function都会因产品而异。 许多人会明确列出支持链接聚合,但我怀疑你会find一个产品列出来自多个networking的访问。 这不是一个常见的要求。

你似乎混淆了热插拔热备份

  • 热插拔驱动器允许您在开机时更换驱动器。
  • 热备件 (也称为在线备件,或简称备件)是物理插入的驱动器,但没有数据。 如果arrays中的另一个驱动器发生故障,则该arrays将从发生故障的驱动器重build数据到热点区域。

SATA驱动器可以正常使用,只要使用SAN / NAS制造商推荐的驱动器即可。 至less,SATA驱动器应该是企业级的,并且可以在RAIDarrays中使用。 这些types的驱动器具有特殊的固件,使其更适合在arrays中使用。 使用标准的客户驱动器(特别是那些未经SAN / NAS制造商authentication的驱动器)通常会导致奇怪的故障情况。 就整体可靠性和稳定性而言, 这绝对是你得到你所支付的一个例子


购物问题不在话下

但是,购物问题是无关紧要的,所以对产品的具体build议将不会出现。

我build议你联系一些SAN / NAS制造商(Synology,Drobo,HP,Dell,EMC)并描述你的需求。 他们会build议产品,你可以select他们之间。

有些事情你需要找出或决定之前,你这样做:

  • 你需要什么样的吞吐量? 仅仅因为你的服务器上有一个千兆以太网端口并不意味着你的服务器实际上可以以千兆速度在磁盘上和从磁盘上移走数据,b)你使用的是1千兆位的带宽。
    • 此问题的答案将决定SAN / NAS控制器所需的性能,networking接口的数量以及磁盘的保护策略(即RAID级别)。
  • 你使用多less空间?
  • 你有多less空间?
  • 你想要多less容易成长?
  • 你打算如何备份这些数据?
  1. 如果您需要与其相关的速度,则支持SAS驱动器是很好的。 他们比SATA更昂贵,但不如SSD,他们在速度方面处于中间位置。 如果速度不是问题,支持是好的,但不值得付出更多的。

  2. 链接聚合正是你所说的,能够将两个真正的网卡组合成一个更快的单一网卡,我从来没有听说过纠错,但也许我只是没有find正确的地方。

  3. 多个networking通常只涉及连接和configuration网卡。

  4. 您提供的热插拔的第一个定义看起来更像是热备用/备用,其中安装了一个磁盘,可用于另一个正在使用的磁盘发生故障的情况。 第二个是我一直对热门话题的理解,即在不更换磁盘的情况下更换磁盘的能力。

至于进一步的考虑,从长远来看,ewwhite的答案可能会更有用;)