我正在为openx组build一个集群,并对集群文件系统vs rsync提出了一个问题。 这是我目前的设置: 负载平衡的2个主力箱来提供服务和计数广告(使用“分布式统计”方法)这些服务器将拥有自己的数据库,每隔10分钟将其迁移到主数据库。 – 一个pipe理员/桂盒直接连接到“主”数据库(只是为了拉动报告,贩运等) – 一个数据库框,将容纳数据库 一旦我得到在群集上运行的服务器,如果我决定将横幅上传到“pipe理员”框,它只存在于pipe理员框中。 这可能会导致群集尝试拉取图像时出现问题。 为了解决这个问题,我已经考虑过对“images”目录进行rsyncing(每10分钟一次,或者只是设置一个基于群集的文件系统来容纳所有的图像。 哪个更好? 还有没有想过的另一种select? 谢谢! 我正在按照这里写的方法: http : //blog.openx.org/10/serving-billions-of-ads-using-openx/
似乎不可能find有关Gluster最新版本(3.2.x)的configuration文件的任何信息。 我想使用configuration文件而不是CLI,因为我想用厨师自动configuration。 这可能吗? 当我GOOGLE了这一点,我发现是这个,这是非常无用的: http : //community.gluster.org/q/does-glusterfs-support-configuration-files/ 如何做到这一点?
我试图find最佳的方式将我的VHD迁移到异地的数据中心进行灾难恢复。 目前我有一些Xen Stacks设置如下: 双RAID ISCSI SAN多path至less两个Xen Server 下面是一个示例图: 我一直在testing和研究的一个选项是: 将CentOS安装到SAN上 将Gluster安装到SAN上 使用UCARP创build一个VIP用于将NFS存储附加到Xen 使用Gluster的地理复制function将这些数据复制到另一个非现场存储的Gluster节点。 把所有的Xen服务器放在办公室的一个单一的堆栈,给我更多的RAM玩。 我已经设法得到这个设置,它工作得很好,但是我非常关心磁盘I / O。 在Gluster上testing一个在NFS共享上创build的磁盘我似乎得到了10MB / S的写入和大约5MB / S的读取,这似乎很慢。 由于大多数虚拟机将运行SQL服务器,因此具有较高的磁盘I / O非常重要。 一个重要的因素是我的开发设备只有慢速磁盘(7K),所以我知道这可能会影响速度一点点。 为我的VHD实现冗余存储系统可能有哪些更好的方法? UPDATE 那么,我把我的gluster集群迁移到一些体面的硬盘上,并且顺序写入已经增加到100MB / S,读取到80 MB / S,似乎比从iSCSI存储直接运行大约30-40MB / S,但是我猜测这是与NFS预期的。
我已经用主机名replace了所有的IP地址,并且在我的shell脚本中用/ var / lib / glusterdreplace了重命名的configuration(IP到主机名)。 之后,我重新启动Gluster守护进程和音量。 然后我检查是否所有的同伴都连接上了: root@GlusterNode1a:~# gluster peer status Number of Peers: 3 Hostname: gluster-1b Uuid: 47f469e2-907a-4518-b6a4-f44878761fd2 State: Peer in Cluster (Connected) Hostname: gluster-2b Uuid: dc3a3ff7-9e30-44ac-9d15-00f9dab4d8b9 State: Peer in Cluster (Connected) Hostname: gluster-2a Uuid: 72405811-15a0-456b-86bb-1589058ff89b State: Peer in Cluster (Connected) 当我执行df命令时,我可以在所有节点上看到装入卷的大小变化,所以新的数据即将到来。 但最近我注意到应用程序日志中的错误消息: copy(/storage/152627/dat): failed to open stream: Structure needs cleaning readfile(/storage/1438227/dat): failed […]
我正在尝试使用分布式文件系统作为XenServer的后端存储。 我已经设置了DFS(分布式文件系统)(使用CentOS和GlusterFS),一切都工作完美,令人惊讶的IOPS速度,但是我现在遇到与正在同步到我的VHD(虚拟硬盘)的问题计划的DR(灾难恢复)存储。 我的VHD正在写入两个本地SAN(存储区域networking)服务器,然后使用地理复制将它们同步到离线SAN服务器。 我还有两台连接到异地SAN服务器的xen服务器。 我可以在我的异地存储中看到VHD,我发现如果: 我只是将VHD移入SR(存储库),导致SR中断。 如果我将VHD复制并重命名为SR,SR工作良好,我可以在Xen Center中看到VHD,但是当我尝试使用此VHD启动VM时,Xen会引发错误。 有谁知道这是为什么发生,我可以做什么来尝试解决这个问题。 我知道我可以使用XenCenter将VHD导入到XenServer,但是我正在寻找一些我可以用脚本来完成的事情,而不是手动。 谢谢。
我使用高可用性存储设置运行Gluster-FS 。 客户端和服务器节点都运行NginX来提供相同的文件。 main.mysite.com mirror1.mysite.com ..etc.. 问题是镜像节点不能提供文件,因为所有者和组是不同的。 主服务器上的所有者/组是: web1:client0 为了使镜像节点能够为文件服务,它们的所有者/组应该是: www-data:www-data 但是由于它们是从主服务器复制的,所有者/组属性与web1:client0相同 有什么解决scheme?
我的EC2实例尝试挂载位于另一个EC2实例上的glusterfs卷。 客户端实例的/ etc / fstab文件包含: glusterserver1:/export/brick1 /mnt/glusterfs glusterfs defaults 0 0 当我尝试挂载它 mnt -a 但它给错误。 我的客户glusterfs日志如下所示: [2013-02-19 17:49:46.757834] I [glusterfsd.c:1666:main] 0-/usr/sbin/glusterfs: Started running /usr/sbin/glusterfs version 3.3.1 [2013-02-19 17:49:46.777490] E [socket.c:1715:socket_connect_finish] 0-glusterfs: connection to failed (Connection refused) [2013-02-19 17:49:46.777581] E [glusterfsd-mgmt.c:1787:mgmt_rpc_notify] 0-glusterfsd-mgmt: failed to connect with remote-host: Transport endpoint is not connected [2013-02-19 17:49:46.777608] I [glusterfsd-mgmt.c:1790:mgmt_rpc_notify] […]
经过几天的试验和错误,我已经成功地创build了一个EC2实例(此刻一个单一的)我的gluster卷,它已成功启动… [root@domU-12-31-39-10-26-7E ec2-user]# gluster volume info Volume Name: gv0 Type: Distribute Status: Started Number of Bricks: 1 Transport-type: tcp Bricks: Brick1: ec2-107-20-245-144.compute-1.amazonaws.com:/export 从我的客户端EC2实例,我已经安装了gluster和保险丝 – 但是,当我尝试挂载驱动器,我只是不断得到这个错误。 [root@ip-10-202-210-190 glusterfs]# mount -t glusterfs upload.themixtapesite.com:/gv0 /var/www/vhosts/i-16852366/wp-content/uploads/gravity_forms/1-9e5dc27086c8b2fd2e48678e1f54f98c/2013/02/gluster Mount failed. Please check the log file for more details. 所有必需的端口都在TCP和UDP的安全组111,24007,24008,24009中打开,以确保安全。 如果是这样的话,我已经禁用了gluster服务器上的selinux。 我甚至试图从服务器到目标客户端做一个“gluster peer probe”,它会看到它并将其添加到列表中。 这里是日志错误 [2013-06-13 06:24:41.022793] I [glusterfsd.c:1666:main] 0-/usr/sbin/glusterfs: Started running […]
我需要创build一个私有云,我正在寻找最好的设置。 这是我最重要的两项要求1.磁盘和系统冗余2.价格/ GB尽可能低 系统将被用作备份设置,它将通过SFTP和rsync 24/7接收数据。 高吞吐量并不重要。 我打算使用glusterfs和消费级4TB硬盘。 我已经制定了3个可能的设置 3个服务器与11 4TB硬盘build立一个副本3 glusterfs和设置每个硬盘作为一个单独的ext4砖。 总容量:44TB硬盘/ TB比率为0.75(33HDD / 44TB) 2台带有11个4TB硬盘的服务器将11个硬盘组合在一个RAIDZ3 ZFS存储池中。 随着副本2 gluster设置。 总容量:32TB(+ zfs压缩)HDD / TB比率为0.68(22HDD / 32TB) 3个服务器和11个4TB消费类硬盘驱动器build立一个副本3个glusterfs并将每个硬盘驱动器设置为单独的zfs存储池,并将每个池导出为一个块。 总容量:32TB(+ zfs压缩)HDD / TB比率为0.68(22HDD / 32TB)(最便宜) 我的言论和担心:如果一个硬盘驱动器失败,哪个设置将恢复最快? 在我看来设置1和3,因为只有1个硬盘驱动器的内容需要通过networking复制。 硬盘驱动器需要通过读取系统中所有其他硬盘驱动器的奇偶校验来重build。 1硬盘上的zfs池会给我额外的保护,以防止比特腐烂? 使用设置1和3我可以松动2个系统,仍然可以运行设置2我只能松开1个系统。 当我使用ZFS时,我可以启用压缩,这将给我一些额外的存储空间。
重要的细节:我们运行gluster 3.2.5跨4个服务器(每个数据中心两个复制到另外两个)所有正在运行的debian squeeze(尽pipe如果可能,我想“replace”运行wheezy,因为我将格式在我改变angular色之前)。 好的,所以我在工作中有一些情况。 以前的系统pipe理员安装并开始使用GlusterFS在我们的两个数据中心分发我们的文件。 那么它的时间来升级我们的系统,他把每个gluster砖绑定到主机名,而不是一个别名。 基本上我想要做的是,用不同的服务器replacegluster砖。 本质上是因为我们要replace的服务器目前有类似的规格,但是现在的砖可以升级得更多(所以我们要改变它的angular色)。 问题是,我对gluster知之甚less,从我所了解的情况来看,它与砖的名字非常接近。 那么设置它的人使用服务器的主机名而不是别名,我被告知“如果可能的话,不要交换两台服务器的主机名,因为在将来看旧文件“。 所以,简而言之,我需要用另一台服务器来replace一个砖块,这个服务器已经使用主机名来设置了….没有人有任何build议吗? 我很抱歉,如果这个post有点混乱…整个事情有点让我困惑。