Articles of 分布式文件系统

分布式文件系统

我需要为连接在网状networking中的一组节点(设备)实现分布式存储系统。 那么基本上我的devise目标是什么: 存储系统应该能够处理节点的dynamic入口和出口。 复制(用于容错)。 为此,我正在考虑使用分布式文件系统。 每个节点都可以透明地访问其他节点中的数据。 是否有一些简单的,易于插入的开源实现? 谢谢你的想法!

那里有一个分布式SAN /存储系统吗?

像许多其他地方一样,我们要求用户不要将文件保存到本地机器上。 相反,我们鼓励将它们放在文件服务器上,以便其他人(具有适当的权限)可以使用它们,并且正确备份文件。 这样做的结果是,大多数用户都拥有大量空闲的大型硬盘驱动器。 现在是2010年。 当然有一个系统可以让你把这个空的空间变成一个虚拟的SAN或文档库吗? 我设想的是一个客户端程序,推送到与中央服务器协调的用户电脑上。 服务器就像普通的文件服务器一样查看用户,而不是保留整个文件内容,而只是logging了在各种用户PC中可以find这些文件的位置。 然后协调正确的客户端来提供文件请求。 客户端软件将能够直接响应这些请求,并且足够聪明以在本地caching最近的文件。 为了冗余,服务器可以确保文件被复制到多个PC,也许允许你在不同的位置定义组,以便整个存储库的一个实例存在于每个组中,以防止在一个build筑物中的灾难取消所有其他的。 显然,你不会在这里指出你的数据库服务器,但是对于更简单的事情,我看到几个优点: 文件通常可以从较近的(或本地 )机器传送。 分配networking连接,而不是在单个连接上拥挤所有文件传输 磁盘空间会像您的公司一样自动增长。 应该最终便宜一些,因为你不需要保留一组单独的磁盘 我也可以看到一些缺点: 如果计算机在繁忙时期必须提供服务或接受大文件传输,则用户计算机性能会偶尔降低。 写作必须在networking上多次传播(虽然我怀疑这不是一个真正的问题,因为阅读在大多数地方比写作更多) 仍然需要偶尔发送一个完整的数据副本的方式,这将使它很难做差异 想象一下,这个云存储系统完全存在于您的企业局域网中,并利用您现有的用户设备。 我们旧的主要文件服务器将在2年左右退休,我正在考虑用小型SAN来取代它。 我们当前的文件服务器使用大约400GB的1TB份额。 由于我们的备份空间有限,我们只保持这样的小。 我希望扩大到至less4TB的可用空间,如果价格下降的话,我预计可能会更多。 我想这样的事情会更好。 作为一所学校,我们有一对电脑实验室可以离开,这对于为这样一个系统增加一些额外的冗余是完美的。 除了极less数例外,我们的用户正在填充不到40GB的120GB硬盘,这意味着我可以轻松地为每台机器预留65GB的存储空间。 随着250Gb硬盘新机的推出,这个数字还会增加,甚至很快就会变大。 在更换文件服务器的时候,考虑到我们的桌面更换计划,我希望这样的系统可以使用5TB的可用存储空间,甚至允许冗余和历史logging。 不幸的是,我能find的最接近的是Dienst ,这只是一个可追溯到1994年的论文。我在search中只是使用了错误的stream行语,还是真的不存在? 如果没有,我缺less一个很大的缺点吗?

地理位置优先的地理分布式文件系统

我正在构build一个需要通过广域网在几个站点上分发标准文件服务器的应用程序。 基本上,每个站点都需要编写大量不同大小的misc文件(一些在100 MB的范围内,但是最小的),并且应用程序被编写成碰撞不成问题。 我想build立一个符合以下资格的系统: 每个站点可以将文件存储在共享的“命名空间”中。 也就是说,所有的文件都会显示在同一个文件系统中。 除非必要,否则每个站点都不会通过WAN发送数据。 也就是说,广域网的每一边都会有本地存储,它们将被“合并”成同一个逻辑文件系统。 Linux&Free($$$)是Plus 基本上,像一个中央NFS共享将满足大部分要求,但它不会允许本地写入的数据保持本地。 来自广域网远端的所有数据将始终在本地复制。 我已经看过Lustre,并且已经对它进行了一些成功的testing,但是,它似乎在整个分布式存储中均匀分布文件。 我已经通过文档挖掘,并没有发现任何东西会自动“偏好”远程存储本地存储。 即使是延迟最低的存储也是可以的。 它大部分时间都可以工作,可以满足这个应用程序的要求。 以下是一些问题的答案: 服务器节点:2或3启动。 每个服务器将有数十个同时读/写客户端连接。 广域网拓扑结构完整,可靠。 (大公司,成本不如繁文</s>节) 客户端故障切换:我实际上并没有想过客户端故障切换(主要是因为我们目前的应用不在一个站点上这样做)。 我认为实际的答案是,每个地理位置分散的站点上的服务器预计会成为他们正在服务的客户端的单点故障。 不过,如果你在想这个问题,我想这个讨论会很有意义。 Roll-my-own:我曾经想过rsync / unison,但是我需要相当多的花式逻辑才能使这个工作的“dynamic”部分无缝地进行。 也就是说,文件似乎是本地的,但只能根据需要检索。 MS-DFS:这当然似乎是我应该看的东西。 我的主要问题可能是不确定在Windows上的NFS服务器configuration/可靠性/性能,因为许多连接的客户端是NFS客户端。

NFS如何在Debian上读caching?

我打算使用NFS来提供很多小文件。 他们会经常阅读,所以客户端caching是至关重要的。 NFS是否处理这个? 有什么方法来增加客户端caching在某种方式? …或者我应该看看另一种解决scheme? 定期使用rsync或unison进行同步不是一个选项,因为这些文件在客户端不时被修改。

GlusterFS vs Ceph,现在更适合生产用途了?

我正在评估GlusterFS和Ceph,似乎Gluster是基于FUSE的,这意味着它可能不如Ceph那么快。 但看起来像Gluster有一个非常友好的控制面板,并易于使用。 几天前Ceph被合并到了linux内核中,这表明它有更多的潜力,可能是未来的一个不错的select。 我想知道哪个(甚至两个?)是生产用途的更好的select? 如果你能分享你的实际经验,那将是很好的

ZFS群集文件系统可能吗?

是否有可能创build一个ZFS集群? 或者你是否需要去GFSTERFSpipe理的UFS格式化池的看似丑陋的(至less对我来说)ZFS路线? 这个想法是看看是否有可能扩展到ZFS应该能够处理而没有打嗝的多Petabyte分布式存储。 任何指针,博客,文章?

为什么SSHFS不让我查看挂载目录?

我使用SSHFS在远程服务器上安装一个目录。 客户端和服务器上有一个用户xxx。 UID和GID在两个框上都是相同的。 我用 sshfs -o kernel_cache -o auto_cache -o reconnect -o compression=no \ -o cache_timeout=600 -o ServerAliveInterval=15 \ [email protected]:/mnt/content /home/xxx/path_to/content 在远程服务器上安装目录。 当我在客户端以xxx身份login时,我没有任何问题。 我可以cd到/ home / xxx / path_to /内容。 但是,当我作为另一个用户zzz然后login到客户端 $ ls -l /home/xxx/path_to 我明白了 d????????? ? ? ? ? ? content 和 $ ls -l /home/xxx/path_to/content 我明白了 ls: cannot access content: Permission denied […]