我们有一个Web服务器集群，当前在中央共享文件系统上存储临时文件（已被用户上传）。 限制是任何时候，包含共享文件系统的服务器在我们整个站点停机（或者至less是瘫痪）的时候。 我已经看过像Gluster和GridFS这样的解决scheme来创build一个容错文件系统，但是对于经常被创build和删除的临时文件，没有一个是理想的。 安全性也很重要，Gluster似乎没有任何encryption手段。 什么是一些好的容错分布式文件系统选项，具有安全性和处理频繁的文件创build/删除function？
我知道有很多类似的问题，有几个很好的答案。 尽pipe如此，我仍然没有find所需的东西：支持快照的分布式，横向扩展FS。 Gluster与完成快照支持将是伟大的，但他们似乎仍然在这个概念阶段… 该系统应该能够从20-40TB到100TB以上的多个步骤进行扩展，并且理想情况下是自由许可和开源的。 我对商业解决scheme有点感兴趣，如果它们很实惠（硬件的完整解决scheme可能不在图中）。 GPFS听起来很有趣。 重要： 快照！ 高可用性 商品或标准服务器硬件（无Infiniband或FibreChannel） 在POSIX系统上运行 不那么重要： 数据局部性意识 性能（包括吞吐量和延迟） POSIX合规性（ACL，权限，…） 我曾经考虑过在ZFS中使用Gluster作为砖块，并简单地在砖块上进行快照，但是我怀疑这会在Gluster层次上产生可用的快照。 我的另一个考虑就是在Ceph块设备上使用ZFS，并有可能遇到诸如https://github.com/zfsonlinux/spl/issues/241之类的问题，并且性能可能不好。 我也担心ZFS远离实际的硬件。 有没有人有这样的设置经验？
我不知道是否有人可以推荐我一些解决scheme来共享less量的Linux VPS（虚拟专用服务器）之间的文件。 基本上我有一堆Linux VPS来pipe理，我想在他们之间共享文件。 典型的用例是共享数据文件，预编译库或二进制文件等，因此写入频率很低，其中大部分是添加新文件而不是修改已有文件。 通常我使用自己的台式机生成数据并构build二进制文件，并发布到机器上。 要求是： 简单。 它不一定是为大型集群devise的复杂技术。 我只有less量的机器，比如10-20。 数据被复制并存储在所有机器上。 VPS彼此不靠近，所以networking连接速度慢，因此所有的数据应该被复制并本地存储在所有的机器上。 分散。 由于忘记及时付款，机器随时都可能宕机或取下。 所以机器不需要保持与中央服务器的连接，而是彼此交谈。 首先，当一台机器第一次安装时，它知道机器列表，但之后他们应该互相交谈并维护一个可用主机的列表。 我的桌面没有固定的外部IP，因此桌面只能用于推出数据，而不能被这些VPS服务器获取。 当我从我的桌面发布新的数据时，应该只发送大约一个数据副本，之后应该从对方获取数据。 （可选function，但强烈首选）数据目录显示为一个VFS和安装到某些目录。 这使它更容易使用。 我考虑的一件事是一些由git支持的基于熔丝的文件系统。 在github或code.google.com上有一堆git-fs，但没有一个看起来成熟和可靠。 而且，在每台机器上，仍然需要维护一个可用的机器列表来交谈，这不是自动的，因此是痛苦的。 另一件事是使用某种types的P2P文件共享软件，但有什么使文件组织？ 例如，当我发布文件时，我也应该能够指定文件应放置在哪个目录。 这应该是自动完成的，而不是我login到每台机器，并在P2P下载文件后手动移动它们。 对于大多数分布式文件系统，它们是为机器相互靠近的群集而devise的。 对于HDFS，它需要集中的名称节点，所以我不能使用它。 有什么想法吗？ 谢谢。
我一直在努力把越来越多的服务从NFS的依赖，我想知道其他人已经做了什么这个问题。 我知道那里有分布式文件系统，而且我也有使用其中之一的经验（mogilefs）。 我很想知道其他人使用NFS来移除，尤其是关于用户上传的内容。 特别是在networking域中，假设用户将内容上传到特定的Web服务器 – 您如何在群集中提供该内容？ 我已经考虑到集群中其他机器的rsync，或者只是单个内容服务器，但很好奇别人为解决这个问题所做的工作。
我正在使用新的LizardFS，太棒了！ 我是LizardFS / MooseFS的新手，但看起来很简单。 我想知道两件事情： 首先，有没有办法设置单独的存储池？ 例如，我可以有五台服务器，每台有两个硬盘。 每个服务器中的一个HDD属于一个存储池，另一个HDD属于另一个。 存储池将是分离的，因为它们将被分开安装，并且将分开维护块。 想要这样做的原因是因为我的第二个问题： 我想有一个快速的存储池和一个慢速存储池。 我的服务器有10GB的SSD，所以LFS的一切都非常快。 但是有些项目（特别是文件types）不需要很快，比如audio和video文件，而且HDD显然更便宜。 最终，我想要做的是让LFS识别条件（如文件types或其他用户定义的条件），以便在将文件写入文件系统时将其存储在快速存储器或caching中，但是作为单个存储卷出现给最终用户。 我相当肯定这是不可能的开箱即用的LFS。 但是，如果可以有多个存储卷，则可以使用符号链接构build一个系统来伪造其余的部分。
我正在使用Linux（内核2.6.32上的Debian Squeeze）机器的networking，使用NFS（v3）共享文件。 客户端A上运行的进程会在文件服务器Z上通过NFS创build一个文件，然后在A完成运行（刷新输出并closures文件）后，客户端B将尝试访问该文件。 99.9％的时间没有这个方法的问题。 问题是客户端B很less尝试读取时会抛出错误，指出文件不存在。 起皱的是，当在包含目录上做“ls”或readdir时，B总是显示文件。 但是，当试图打开，甚至调用文件的“统计”不存在的错误被抛出。 还有一些要点： 这些文件只能在单个客户端上写入一次，但可以被许多不同的客户端（WORM）多次读取。 这些文件也不会在这个过程中被删除。 当出现错误时，他们只会影响一些客户（随机）。 其他客户端可以打开和阅读文件没有问题。 此外，当问题发生时，往往会反复发生。 重新启动文件服务器并重新安装在客户端似乎消除了这个问题 该文件可以在足够的时间后被读取。 可能在几秒到十分钟之间。 有时它会在包含目录的readdir后立即消失，有时不会。 我最初怀疑这是一个NFS属性caching一致性问题。 所以我重新启用了noac选项。 这个问题继续出现（除了慢慢地）。 只有在繁重的NFSstream量时，才会出现这个问题，当大量的大文件正在创build，写入和读取。 在客户端或服务器端的任何syslog或dmesg中都不会显示任何问题。 我强烈怀疑这是某种types的NFScaching一致性问题。 但我无法弄清楚究竟是什么原因或可能的解决办法。 除非我误解了NFS手册，否则这种types的行为应该通过接近开放的caching一致性来排除。 有没有其他人有经验，这个问题的NFS文件存在的“readdir”系统调用，但不存在“统计”系统调用？ 任何有识之士将不胜感激。 谢谢。
自上次用户硬件更新以来，我的公司已经有了一些台式电脑，我想重新使用它们进行演示。 他们足够强大的模拟一些服务器。 我想我可以做一些虚拟化的农场，但是我没有可用的NAS或SAN来连接它们。 而且我需要在节点之间提供共享存储来提供热迁移。 所以这是我的问题，有什么selectbuild立一个共享存储之间约。 10个节点？ 我应该考虑GlusterFS？ Ceph和HDFS是为了这个目的而被考虑的，为什么呢？ 有没有其他的testing，可能与ZFS？ 我甚至可以考虑使用软件RAID和iSCSI在节点之间build立一个RAID。 目标是在节点上构build同时具有虚拟化和存储的系统。 所以如果一个节点松动，两个故障切换function都会起作用。 谢谢
听我说 我在这里看到了这个问题（用不同的forms），也许我find的最好的问题在这里 ，但是我不认为这是重复的，因为问了这些问题之后已经有一段时间了，而且我的问题有它自己的细微差别可能有助于其他类似的情况。 请听我说。 背景 我的问题来自于有很多很棒的分布式文件系统，这些文件系统宣称它们很棒，但是我怀疑并不是所有这些都是我所需要的。 我已经看了这个很棒的列表，提供了什么可用的build议，我不知道哪一个适合我的需要。 用例 这个服务器的目的是为了保证我的数据安全并可用于一般用途。 我将使用它来存储我的个人备份，以及由Nextcloud，Gogs和我自己托pipe的其他数据存储和使用的数据。 我在找什么 我正在寻找一个分布式文件系统： 防止腐烂 有删除编码（或至less是数据重复，所以驱动器故障不会中断使用） 扩展能力 从1个服务器到更多 从2个硬盘到更多 可以通过保险丝连接 强大的API和易用性是很大的优点。 我目前的硬件 这可能不重要，但可能有助于提示实施。 我目前有一个树莓派，一个2 TB的硬盘和一个4 TB的硬盘。 我计划在不久的将来增加一个2TB的硬盘，在更远的将来会有更多的硬盘更多的服务器（现在资金紧张，大学生很差）。 我目前提出的解决scheme 我已经研究了很多，我觉得这有点过头了，但是到目前为止， 我认为，就灵活性而言，Ceph目前是我最好的select。 我的计划是将BTRFS放在驱动器上处理位错，然后将Ceph作为单个节点集群运行，以便以后扩展。 关于这将如何工作的问题 我有关于我的build议设置的一些具体问题： 我知道BTRFS可以防止点腐蚀，但这是默认的？ 我需要什么来启用它？ 我知道驱动器大小的不一致可能是一个问题（一个2TB，一个4TB），但它会工作，直到我得到另一个2TB的驱动器？ 谢谢 我真的很感激你读这个:)
序言： 我有以下设置 – 2个戴尔Poweredge 2950上的Windows 2003 R2，双四核至强，8GB RAM，MD1000外部RAID单元 两台服务器都设置有5个networking共享（共享，组，用户和一些未使用的其他）。 两台服务器都安装了Windows Server 2003 R2版本的DFS来处理故障切换等。 这些启用DFS的共享的暂存区域与共享本身在不同的磁盘上。 两台服务器都安装了SQL Server 2005 Standard。 问题： 在150个networking共享中读取或写入文件时，我有150个用户间歇性冻结，这两个用户都是在Windows Server 2008系统上作为桌面运行的开发人员（虽然他们在一个月前在Windows XP Pro系统上存在问题）。 这两个“问题”用户都是开发者。 公司中没有其他人报告过问题，尽pipe在各种会议上特别提出了这个问题，而且我自己也在公司周围采取了一个草竿。 两家开发商在相同的时间点都会有相同的放缓，并且持续相同的时间。 其他用户可以在此期间访问相同的networking共享，而不会造成问题。 除了每个人共享的最后两跳之外，开发人员都不共享与服务器相同的networkingpath。 两个文件服务器都没有负载，这两个服务器通常处于空闲状态，并有大量的RAM空闲。 由于将临时区域从相同的磁盘移出，所以两个服务器的磁盘队列都如预期的那样并不一致地处于高峰。 问题是： 任何人都可以提出一个方法来解决这个问题？ 我有一种感觉，他们的大部分问题都是由于他们正在使用的开发工具（Slickedit）引起的，但是我想要消除所有的可能性。 我已经使用各种Sysinternals工具监视服务器，导致中转区域被移动，但除此之外，没有明显的问题。
我的目标是在Linux上find一个支持类似ZFS的轻量级快照和快照克隆的分布式文件系统。 这个StackOverflow的问题expression了我正在寻找的很好。 我试图弄清楚Lustre + ZFS是否是解决scheme。 如果我build立了一个ZFS支持的分布式Lustre文件系统，我能够将其快照，然后装载和克隆这些快照？ 或者，ZFS快照function是否在单个OSS级别上运行，而不是在整个分布式文件系统上运行？ 到目前为止，我的研究已经把我推向了Lustre + ZFS，这是一个很有希望的select，但是互联网上的共识似乎是Linux上的ZFS直到最近的0.6.1发行版都是beta。 目前的Lustre文档简要地提到ZFS作为Lustre的可选后端。 可能由于ZFS在Linux上最近的成熟，除了LLNL的Sequoia，我还没有发现任何有关Lustre + ZFS的Linux部署的报告，而且我还没有find与Sequoia有关的文档来回答我的问题。