我的团队目前有两个较大的存储服务器，都运行debian linux的NAS。 第一个是一个几十年前的一个全function的24盘（SATA）服务器。 我们有两个设置LVM的硬件RAIDS。 第二个服务器是64个磁盘，分为4个机箱，每个机箱都有一个硬件RAID 6，通过外部SAS连接。 我们使用LVM的XFS来创build100TB的可用存储。 所有这些工作都很好，但是我们超出了这些系统。 在构build了两个这样的服务器并仍在不断增长的情况下，我们希望构build一些能够使我们在未来增长方面更具灵活性的备份选项，在磁盘故障下更好地运行（检查更大的文件系统可能需要一天或更长时间）在一个严重的并发环境中（思考小型计算机集群）。 我们没有系统pipe理支持，所以我们自己pipe理所有这些（我们是一个基因组实验室）。
因此，我们所寻求的是相对低成本，可接受的性能存储解决scheme，它将允许未来的增长和灵活的configuration（认为ZFS具有不同的操作特性）。 我们可能超出了单个NAS的境界。 我们一直在考虑将ZFS（例如openindiana）或者每个服务器的btrfs与运行在其上的glusterfs结合起来，如果我们自己做的话。 我们所反对的仅仅是咬紧牙关，投资于Isilon或3Par存储解决scheme。
任何build议或经验，表示赞赏。
我希望这会有所帮助。 我试图不让它变成一个完整的文本墙。 🙂
如果你能够也将会为那些承担SANpipe理angular色的人奉献一定数量的工时，并且想用睡眠而不是夜间工作享受无痛的生活，那么这就是我要去的方式。
一个SAN可以让你做所有的事情，一个单一的“存储”将限制你（即连接一个纯粹的存储闪存arrays和一个大的3par sata怪兽到同一个服务器），但你也必须付出代价，并保持良好的维护如果你想利用灵活性的时间。
Amplidata
优点：扩展，便宜，devise有一个很好的概念和专用的读/写caching层。 这实际上对你来说可能是最好的。
RisingTideOS
他们的目标软件现在已经在几乎所有的linux存储中使用了，并且比普通的linux / gluster可以提供更好的pipe理。 （Imho）商业版本可能值得一看。
Gluster / BTRFS
PRO：扩展和“砖”给你一个非常好的pipe理抽象层。
CON：第一个是我的PITA。 这不是健全的，失败可能是一块砖块的本地或拿出一切。 现在，在掌握RedHat的情况下，它可能会变成一些可以工作的东西，我甚至会遇到能够驯服它的人，以便它能够工作多年。 而第二个还是半实验的。 通常情况下，财政司司长需要3 – 4年的时间才能“完成”，直到它被certificate是有效的。 如果你关心数据，为什么你会考虑这个？ 谈到实验，Ceph的商业支持现在已经差不多了，但是你需要坚持“RBD”层，FS还没有经过充分的testing。 我想澄清的是，从长远来看，Ceph更具吸引力。 🙂
ZFS
专业：肯定把钉在其他东西的棺材。 这些function是精心devise（想想L2ARC）和压缩/重复数据删除是有趣的。 拥有更多的“存储集群”意味着只有小的失败，而不是一个大的整合繁荣
Con：维护许多小型软件盒而不是真正的存储器。 需要整合它们并花费$$$时间来进行强大的设置。
在过去的几年中，XFS + LVM路线确实是扩大的纯Linux存储解决scheme的最佳select之一。 我很高兴你已经在那里。 现在，你需要增长更多，你有更多的select可供select。
如你所知，那里的大硬件供应商确实有NAS头来存储。 这确实会给你一个单一的供应商，以使所有这一切都发生，它会工作得很好。 他们是简单的解决scheme（与DIY相比），并且其可维护性较低。 但是，他们花费了很多。 一方面，你将有更多的工程资源来解决你的主要问题，而不是基础设施问题。 另一方面，如果你像我认识的大多数大学的部门那样，相对于为事物付钱而言，人力真的很便宜。
去DIY路线，你已经有一个很好的DIY选项可用的赞赏。 ZFS / BTRFS是从XFS + LVM扩展存储的明显升级途径。 我将避开BTRFS，直到在Linux主线内核中声明为“稳定”，这应该是很快的，现在几个主要的免费发行版都将它用作默认文件系统。 对于ZFS，我build议使用BSD而不是OpenIndiana，因为它已经存在了很长时间，并且有更多的结果。
Gluster是为你在这里描述的用例而devise的。 它可以执行复制以及提供一个具有大量存储的虚拟服务器。 他们的分布式音量听起来正是你要找的东西，因为它们将文件传播到声明音量的所有存储服务器上。 您可以继续添加离散存储服务器以继续扩展可见卷。 单名空间！
Gluster的问题在于，当客户端可以使用Gluster Client访问系统而不是CIFS或NFS选项时，效果最好。 由于您正在运行一个小型群集计算群集，因此您可能只能使用GlusterFS客户端。
你在这里正确的轨道上。
据我了解，您可以使用基于Linux SCST + FibreChannel或infiniband的SAN解决scheme，这是现在正在build设的东西。 作为LUN的基础，您可以在硬件RAID之上使用LVM，并在文件系统级别之下处理快照/复制（以DRBD为例）。 作为一个文件系统，我不知道任何好的解决scheme，因为我把ESXi放在节点之上，所以数据存储由ESX并发FS来pipe理。 我认为GFS2可能适用于这种环境，但我不能100％确定，因为你应该检查你的确切要求。 无论如何，一旦你有一个强大的SAN在你的节点下，完成任务是相当容易的。