Articles of 分布式文件系统

与UNC共享的分布式存储?

您将使用多台运行Linux操作系统的PC来构build海量存储? 我想使用的配方听起来像这样:10个电脑配备6个2TB磁盘,在每台电脑上安装* NIX OS最喜欢的风格,configuration某种types的DFS软件,最后与您共享创build的存储(作为UNC)朋友和同事。 除了UNC共享之外,似乎有不less解决scheme提供了大多数人想要的function。 有什么build议么? 米哈

GlusterFS – 无法find主机名错误

我在CentOS 6.2上运行的几台服务器上安装了GlusterFS 3.2.6 。 我没有工作主机名,因为它是一个testing设置,所以我刚刚将服务器的IP添加到/etc/hosts文件中。 问题是由于DNS错误,我无法创build存储池: [root@san ~]# gluster peer status Number of Peers: 1 Hostname: example.com State: Establishing Connection (Disconnected) [root@san glusterfs]# tail -f /var/log/glusterfs/etc-glusterfs-glusterd.vol.log [2012-04-05 16:21:08] I [glusterd-handler.c:623:glusterd_handle_cli_probe] 0-glusterd: Received CLI probe req example.com 24007 [2012-04-05 16:21:08] I [glusterd-handler.c:391:glusterd_friend_find] 0-glusterd: Unable to find hostname: example.com [2012-04-05 16:21:08] I [glusterd-handler.c:3427:glusterd_probe_begin] 0-glusterd: Unable to find […]

从文件大小分布生成I / O的文件系统基准testing

我正在寻找一个文件系统基准testing工具来testingCephFS。 这个基准testing工具必须: 根据特定的分布生成一组文件(称为文件集),例如,伽玛,经验性,非档案性或适合的等等。 基于生成的文件集,它应该能够使用该集合并运行testing,从而对性能进行基准testing。 得到结果,完成。 在对SSD / HDDalgorithm,系统等做一些修改后重新testing 我想知道如果你能build议我任何生成/接收特定工作负载(分配文件大小)的基准testing工具。 任何其他build议,表示感谢。 提前致谢

联网的内存文件系统,带有zram + XFS + GlusterFS – 最佳实践

几个月前,我使用XFS格式的zram设备与GlusterFS串起来,在几台裸机服务器(运行RHEL 7.2)上创build分布式/networking/复制的内存中文件系统。 我使用这个FS作为一个高性能的方式来存储,服务和复制我的多服务器应用程序服务器的图像和video。 而我无法find任何其他内存中的FS解决scheme,所以我一起砍了这个。 它已经运行了4个月,但是昨天晚上其中一台服务器因为XFS损坏而崩溃 – 我最终不得不做了一个OS Reload。 我不知道这个设置是怪罪的,但是可能性是。 这导致我… 1)为了使这个设置更加稳定,我应该遵循哪些最佳实践? 2)是否有我可以(甚至应该)设置一个日志logging系统,以便我可以监视每个zram + xfs节点的健康状态? 而且知道如果再发生碰撞事故又出了什么问题。 一些性能testing: / dev / loop0 = https://erlhelinfotech.wordpress.com/2013/02/20/ramdisk-service-for-systemd/ / dev / zram0 =我的zram设置 / dev / sdb2 =标准的7200rpm磁盘 用hdparm -Tt进行性能testing

分配3 VPS之间的所有服务

我只租了3个VPS服务器: 4GB内存 150GB硬盘 2个CPU 6个IP地址 所以我们有vps1,vps2和vps3,我在想 分配这样的服务: VPS1 – 前端 + DNS服务器 + MySql服务器 + NFS(在vps2和vps3之间共享文件) VPS2,VPS3 – 应用服务器 + PHP + Apache + Lighhttpd(静态文件) + Postfix +鸽子 vps1具有应用程序,php文件,js文件,css文件,html文件等的所有文件,VPS2和VPS3通过networking安装该文件。 vps1收到来自互联网的请求,在端口(80,110,25)将请求传递给VPS2或VPS3(如果需要的话)可以连接到VPS1中的mysql服务器 VPS1安装HAProxy是否是一个好主意,用于平衡VPS2和VPS3上的负载? 任何人都可以build议我一个更好的设置,提示或想法? 谢谢

GlusterFS服务器逻辑

我很不了解GlusterFS探测器。 看,我将所有服务器添加到/ etc / hosts文件,我为每个服务器执行此操作。 比方说,我有100台服务器,后来我又增加了100台。 我无法想象更新所有200服务器的主机文件看到对方。 有什么我错过了吗? 我怎样才能轻松添加更多的服务器,而无需修改每个服务器主机文件? 我应该使用专用局域网,并使用IP地址,而不是主机名? 这会工作吗? 卡在这一点上…

在寻找一个分布式的文件级文件系统

我正在寻找一个分布式,容错的文件级(不是块级,最好是)文件系统,用于基于Linux的小型HA集群。 存储的文件将相当小(我想象不到1%是> 1GiB)。 我正在考虑的要求是 尽可能快地同步群集中所有机器上的文件(因此群集中的每个节点都拥有相同的文件) 作为正常的文件系统可见的应用程序 必须能够继续工作,如果任何节点(即使只有两个节点)发生故障。 (我想这意味着一个无共享的架构。) 如果一个节点在恢复后可能需要自己的时间与集群中的其他节点进行同步,那也没关系。 工作量主要是读取,偶尔会有很小的写入,甚至更less的较大的file upload。 有什么build议么?

将大量文件存储在文件系统中?

我正在创build一个应用程序,它将保存一个.txt文件(大约10 KB /文件,我猜)在一个文件系统中,将保存在MS SQL数据库的path。 现在按我的估计,每年大约需要保存350-400 million个这种性质的文件。 什么是最好的方式或最好的文件系统来存储这些大量的文件? 目前我的服务器运行在Windows Server 2008 R2 ,windows文件系统能处理这么多文件吗? 还是我需要看看unix / linux解决scheme? 注意:顺便说一句,我只需要存储它们,它们将被读取一次,然后很less(在一些特殊情况下),或者根本不会。 这就是为什么我只能保持2,3年。

分布式文件系统 – 困惑

我是这个概念的新手。 🙂 我可以使用分布式文件系统来为Web应用程序提供冗余吗? 服务器A和服务器B将在分布式文件系统上安装Apache / mySql,服务器Cpipe理连接(如果sAclosures,则转到sB或循环DNS)。 会这样的工作吗? 如果是这样,这将是非常棒的,因为我不必担心数据库同步和文件同步。 谢谢! 编辑:非常感谢你所有的信息答案! 很多东西让我消化。 我(几乎)随机提名了一个答案。

如何加速networking文件系统(NFS)上的“ls -l”?

我有一个NFS卷以下面的方式安装: theHostname.com:/path/on/theHostname on /local/path type nfs (rw,nosuid,addr=10.0.0.54) /local/path目录有30_000个文件。 当我做一个ls in /local/path ,平均需要大约1s。 当我做ls -l时,平均需要60秒。 除了加速networking连接之外,有没有办法在NFS上加速ls -l ?