我正在寻找关于在我们的SAN上设置多主机I / O访问的build议: 我有一个包含Equallogic PS-M4110存储刀片的刀片机箱(PowerEdge1000e),其中一个RAID6卷目前格式为ext4。 这通过iSCSI连接到其他刀片(所有运行的Ubuntu服务器14.04)之一,并安装在那里作为一个标准的驱动器。 现在,我正尝试将机箱中的另一个刀片以允许多主机I / O的方式连接到SAN。 最好尽量避免使用NFS的明显解决scheme,因为我们使用的一些稍微有些可编码的工具在进行NFS的高I / O时有一个崩溃和烧毁的习惯。 这是特别有问题的,因为这些工具需要数周的时间才能运行,而且没有太多的机会检查点(你猜这是一个学术环境了吗?)。 然而,一切都与当前的iSCSI设置很好地发挥。 所以我倾向于一个集群感知或分布式文件系统+ iSCSI作为最好的select,但我担心裂脑问题等,因为我们只有一个节点。 1)上面的任何一个都是远程理智的吗? 2)你有什么build议使用哪个fs(最好是FOSS和linux兼容)?
我们有一个运行GlusterFS的2节点集群。 这是一个4卷群集,副本2,每个服务器一个砖块。 死服务器:nnfs02 带有所有数据的实时服务器:nnfs03 新服务器:nnfs01 在nnfs02死后,我们添加了nnfs01,并且能够为4个卷中的2个删除砖块,在nnfs01上使用replica 2创build新砖块,并且修复卷以使两个服务器上的数据都达到100%。 卷名称:源,头像。 我们有两卷,我们不能修复,这两个是防止从头开始。 电子书/封面。 在服务重新启动之前,我分离了死亡节点(nnfs02)并尝试删除它的砖块。 没有运气。 debugging日志: https : //gist.github.com/anonymous/d8c412bda8754b4b67a1 [2015-10-21 08:07:35.029300]我[glusterfsd.c:1959:main] 0-glusterd:开始运行glusterd版本3.5.5(glusterd –debug) [2015-10-21 08:07:35.029548] D [glusterfsd.c:596:get_volfp] 0-glusterfsd:加载卷文件/etc/glusterfs/glusterd.vol [2015-10-21 08:07:35.032568]我[glusterd.c:1122:init] 0-management:使用/ var / lib / glusterd作为工作目录 [2015-10-21 08:07:35.032614] D [glusterd.c:345:glusterd_rpcsvc_options_build] 0-:listen-backlog值:128 [2015-10-21 08:07:35.032784] D [rpcsvc.c:2183:rpcsvc_init] 0-rpc-service:RPC服务被inited。 [2015-10-21 08:07:35.032802] D [rpcsvc.c:1812:rpcsvc_program_register] 0-rpc-service:注册的新程序:GF-DUMP,编号:123451501,版本:1,端口:0 [2015-10-21 08:07:35.032831] D [rpc-transport.c:262:rpc_transport_load] 0-rpc-transport:尝试加载文件/usr/lib64/glusterfs/3.5.5/rpc-transport/socket 。所以 [2015-10-21 […]
我不明白是否可以在两种模式下同时configurationHDFS。 是否有意义? 有人可以在两种模式下显示HDFS的简单configuration吗? (nameNode1,nameNode2,nameNodeStandby1,nameNodeStandby2)
我正在使用GlusterFS 3.7.9,目前在一台带有4块砖的服务器上。 每块砖都有4TB,卷的设置只是分配。 卷被安装在辅助服务器上,并用于备份目的。 问题是,每隔几天,辅助服务器就会看到较小的卷(12TB),并尝试访问某些文件,导致transport endpoint not connected 。 就好像它停下来看到4块砖头中的一块,而音量大的服务器看到它们都没有问题。 我有防火墙白名单中的IP, gluster volume status说一切都很好。 我应该检查什么? 我找不到任何理由。
对于我的一个项目,我正在寻找一个共享存储解决scheme,尽可能提供以下function: 来自多台机器的磁盘显示为一个虚拟磁盘(或文件夹) 访问数据的新副本是按需实现的(即,更改为一个文件不会自动传播到其他机器,除非机器要读取/写入文件) 高读/写性能 低带宽要求 增量更新(如果说在1TB文件中改变了10个字节,那么我预计整个文件将不会通过networking发送到需要它的节点) 事务支持(由于并发危害,一台机器不能覆盖其他机器所做的更改) 最初我看了分布式文件系统(Win Server 2012的一部分)。 DFS命名空间不会削减它AFAIU,因为它只是一个共享文件夹的容器(除非我接受来自每台机器的文件系统成为一个单独的文件夹,我想避免)的事实。 DFS复制不是我所需要的,因为它正在同步节点之间的数据,无论他们是否需要它。 所以我开始使用googlesearch,并且find了向外扩展文件服务器 , 群集共享卷和群集存储池的参考 ,以便意识到我开始在黑暗中漫步。 那么任何人都可以把我指向正确的方向吗?
我是一个交易系统pipe理员,我在家里工作,也是为了好玩。 我有一台Gentoo Linux笔记本电脑,运行Raspian的Raspberry Pis,一台Gentoo服务器,运行Debian的ARM设备以及各种Android设备。 我总是摔跤和担心在备份设备之间备份和同步我自己的主目录,同时保持合理安全而不被窥探。 我在80年代在CMU有过与Andrew的经验,这就像魔术一样。 我会考虑NFS,如果它有一些机制来处理断开的访问,并不假定一个恒定的networking连接。 OpenAFS会是pipe理员可能考虑处理同步现代用户的“轻微连接”主机的数据吗? 我也考虑过像Lustre这样的东西。 我正在寻找一些需要在初始设置后进行适度维护的东西。 看起来OpenAFS也可能是有趣的,因为我可以将家庭划分成不同的pipe理子目录,这些子目录可能以不同的方式分布到不同的设备上。 (例如,对于必须存在于我的手机和平板电脑上的文件,对于树莓派文件,〜/ pi等) OpenAFS为此目的而死路一条?
我听说过一些像Gluster和Moose这样的分布式文件系统。 有没有更好的想法,我不知道?
我们希望在两台服务器之间复制一个邮件投递文件夹。 但是,当文件被写入源文件夹时 ,该服务器上的计时器作业也会定期处理和删除它们,这意味着它们可能不会持续很长时间。 我的问题是:DFS是否保证写入源文件夹的所有内容在某些时候也被写入到目标文件夹中 ,而不pipe初始写入之后它在源文件夹中的删除速度如何? 我应该补充说,我们不复制删除,只是写(并没有更新操作)。 参考文献: http://blogs.technet.com/b/askds/archive/2010/03/08/read-only-replication-in-r2.aspx
有两个物理服务器上我们要安装MS SQL 2008和我们的应用程序。 我们的应用程序使用独立的* .mdf文件中的数据库。 我们的应用程序只能在一个服务器上运行。 我们可以在DFS上创build这个文件(* .mdf)吗? 如果我们在第二台服务器上启动我们的应用程序,这个文件是否一样
亲爱的Serverfault社区, 在研究了一系列分布式文件系统在生产环境中进行部署,其主要目的是执行批处理和实时分布式计算之后,我确定了以下列表作为潜在候选者,主要是成熟度,许可证和支持: 头孢 光泽 GlusterFS HDFS FhGFS MooseFS XtreemFS 我们的系统应该显示的关键属性: 一个开放源代码,开放许可,但生产就绪,例如成熟,可靠,社区和商业支持的解决scheme; 在商品硬件上运行的能力,最好是为它devise的; 提供数据的高可用性,最重视读取; 高可扩展性,因此可能在全球范围内运行在多个数据中心上; 通过使用复制和分配(元数据)来去除单点故障,例如提供容错。 确定的敏感点,并导致了以下问题: 处理层/应用程序对于数据局部性的透明性,例如知道数据在物理上位于服务器级别的位置,主要用于资源分配和快速处理,高性能,如何实现? 你从经验中知道什么解决scheme提供这种透明度和程度? 在大多数上述列出的解决scheme的wiki页面上都提到了posix合规性或一致性。 这里的问题主要是,posix标准的支持有多相关? Hadoop的例子是不是posix符合devise,什么是亲和骗局? 那么分布式文件系统的同步和asynchronous操作之间的区别呢。 尽pipe同步分布式文件系统由于可靠性而具有偏好,但其在可伸缩性方面也施加了一定的限制。 从你的专业知识,到如何去做呢? 我期待着你的回复。 提前致谢! 🙂 亲切的问候, Tim van Elteren