Articles of 集群

传入文件的roundrobin

一个具有唯一文件名的新文件在一台服务器上经常“出现” 1 。 (像每天数百GB的新数据一样,解决scheme应该可以扩展到千兆字节,每个文件大小可以达到几兆字节,最高可达几十兆字节。) 有几台机器处理这些文件。 (十,应该解决scheme可以扩展到数百)。应该可以轻松地添加和删​​除新的机器。 有备份文件存储服务器上每个传入的文件必须复制的档案存储。 数据不能丢失,所有传入的文件必须在备份存储服务器上传送。 每个传入文件myst被传送到一台机器进行处理, 并应复制到备份存储服务器。 接收方服务器在发送文件后不需要存储文件。 请build议一个强大的解决scheme,以上述方式分发文件。 解决scheme不得基于Java。 Unix方式的解决scheme是可取的。 服务器是基于Ubuntu的,位于同一个数据中心。 所有其他的东西都可以适应解决scheme的要求。 1 请注意,我故意省略了有关文件传输到文件系统的方式的信息。 原因在于这些文件现在由第三方通过几种不同的传统方式发送(奇怪的是,通过scp和通过ØMQ)。 在文件系统级别切割跨集群接口似乎更容易,但是如果其中一个或另一个解决scheme实际上需要一些特定的传输,则可以将传统传输升级到该传输。

SSH使用VIP的主机密钥validation问题

VIP上有两台生产服务器,一次只能使用一台,例如: myservice.mycompany.uk通常指向server1,如果server1发生故障,它将更改为指向server2。 还有一些服务器需要通过SFTP将文件发送到myservice.mycompany.uk,如果我们故障转移到server2,它们应该是完全透明的。 问题是,虽然在服务器1和服务器2上安装了密钥,但由于服务器2的主机密钥与服务器1的主机密钥不同,因此其他服务器将具有主机密钥validation问题。 这会导致安全错误(因为严格检查),并且必须从known_hosts中移除一行以使其正常工作。 我们的IT人员build议我们可以在known_hosts中创build2个条目,其中一个使用server1的密钥,另一个使用server2,两者都使用myservice.mycompany.uk主机。 这是否有可能工作? 这怎么能在windows上用putty / psftp来完成呢? 由于主机密钥存储在registry中,因此不允许使用重复名称。 有没有更好的方法,例如,我们可以强制服务器具有相同的主机密钥?

加内蒂vs Proxmox

我是小软件公司的系统pipe理员。 我要虚拟化我们的服务器。 这样做的主要原因是提供了尽可能长的正常运行时间,但也可能会增加资源利用率。 我们有两台服务器。 在一个我们有几个发展虚拟机,也作为build设服务器(jenkins硕士,而且build设执行)。 在第二个,我们得到了一些关键的服务(代码库,问题跟踪)。 我想使用这些机器来创build两个节点群集并为每个服务创build虚拟机。 我想使用DRBD,因此可以在节点之间移动机器。 经过一些研究,我的候选人是Proxmox和Ganeti。 哪一个会更好我的情况? 我喜欢Proxmox的简单性(尤其是安装简单),但也许有使用Ganeti的正当理由?

Clusterssh替代pipe理多个SSH服务器

有什么替代Clusterssh,pssh等,通过一个接口来pipe理多个基于SSH的服务器? Clusterssh的一个弱点是我的服务器使用基于密钥的身份validation,使用passhpraselogin,无法使用私钥login到服务器。 有没有其他支持使用私钥进行身份validation的可用选项?

在几台服务器上镜像文件系统

我正在寻找一种解决scheme来跨越几个Linux服务器镜像或复制一个目录(或一个文件系统)。 理想的解决scheme将是一个允许所有服务器读写访问的解决scheme。 如果其中一台服务器出现故障,我也希望它对我有弹性,rest时应该仍然可以工作,而不会丢失任何数据。 我一直在寻找一些解决scheme: DRBD :块级复制,似乎有点矫枉过正; lsyncd :看起来很简单,但我对性能有怀疑; GlusterFS :似乎是一个很好的匹配,还没有弄清楚复制模式的工作原理。 它会有我需要的特征吗? 欢迎任何其他build议。

DIY Hadoop集群 – 热和灰尘问题?

以下是我的DIY 6节点Hadoop集群使用i3机器的链接, 什么是最好的方式来保护我的devise免受灰尘和提供更好的传热? 我应该使用什么来覆盖我的机架的四个侧面以防灰尘?

多台服务器像所有硬件一样运行?

现在我有10台服务器,面向电力计算。 我的用户需要使用qmake启动多个进程。 用户习惯于使用Ubuntu 9.10,而软件库中的软件是可以切换的。 我已经将ubuntu 9.10部署到所有10台服务器(pxe岩石)。 到目前为止,我们使用parallel-ssh和cluster-ssh,它允许为所有服务器启动相同的进程。 使用这个工具这个工具,服务器保持独立,但使用相同的软件和相同的启动命令。 现在我们想进入下一步,将所有的服务器看作是一个单一的服务器,其他服务器的所有资源就像资源一样。 处理的时间差别很大,也是devise启动命令的时间。 任何意见,至极软件使用将是非常有用的? 谢谢

在多个静态文件服务器之间均衡负载平衡的最佳方式,甚至是带宽分配?

首先,我会向你解释我的情况。 我正在运行一个相当受欢迎的网站作为一个副项目,所以我不能真的投入大量的资金。 我目前只有一个HAProxy服务器,向Apache发送正常请求,并向Lighttpd发送所有静态文件请求。 这是工作得很好,因为所有的PHP和POST请求都被Apache处理,而所有的图像被发送到更快的Lighttpd(该网站主要是图像,所以这是非常重要的)。 如果不需要build立一个服务于图片的子域名,这将是很好的,因为短的URL也是非常重要的,所以我使用HAProxy的原因。 我find了一个托pipe服务提供商,提供了我一直使用的相当便宜的无限量带宽,问题出现在我开始推出100MB网卡所能处理的带宽时,因此需要第二台服务器。 我已经对我的select进行了很多的思考,所以我会向你解释每一个。 希望你能提供一些洞察力,哪一个对我来说是最好的select,或者还有另一个我还没有想到的select。 要求: 甚至带宽分配也是必须的。 我有一个非常强大的服务器,所以扩大是不是一个选项。 我需要扩展以获得更多的带宽。 短url。 我真的不想设置像img.example.com这样的子域来提供我的图片。 example.com/image.jpg是如何现在,我真的很喜欢它留下来。 但是,如果没有别的办法,那么我明白了。 处理请求的最接近的服务器将是非常好的,但不是必须的。 有一些事情要记住。 HAProxy负载平衡: 无论如何,因为我已经在使用HAProxy,所以做起来真的很容易。 不过,我认为问题出现在分配带宽时。 我可能在这方面是错误的,但不HAProxy发送请求到服务器处理它的服务器,然后通过HAProxy发送回到客户端? 因此,所有stream量都通过负载均衡器返回,从而使其占用与所有服务器组合在一起的带宽。 DNS循环: 这可能是我最好的select。 只需复制网站跨多台服务器,并做我现在正在做的事情。 缺点是如果一台服务器停机,客户端仍然被发送到它。 我也需要在多个服务器上复制站点。 我有种希望,我可以有一个主要的服务器,除了静态文件处理一切,然后有几个静态文件服务器。 我还看到,这就是“穷人的负载平衡”,如果有更复杂一点的东西,那就太好了。 直接服务器返回: 这似乎很复杂,但可能是一个不错的select。 我仍然能够发送特定的URL到某些服务器? 就像现在使用HAProxy一样,每个以正确文件扩展名结尾的URL都会被发送到Lighttpd,而其他扩展则被发送到Apache。 所以我需要类似的东西。 就像所有的php请求都由运行平衡软件的服务器处理,而所有的jpg请求都被发送到多个服务器。 理想情况下,如果HAProxy支持Direct Server Return,那么我的问题就可以解决了。 我也不想使用CDN,因为它们非常昂贵,毕竟这只是一个副项目。 你明白我的问题吗? 让我知道如果我没有解释正确的东西,或者如果你需要更多的信息。

如何在双节点主动/被动Linux HA起搏器集群中设置STONITH?

我正在尝试使用corosync和pacemaker设置一个主动/被动(2个节点)的Linux-HA集群来启动并运行PostgreSQL数据库。 它通过DRBD和一个服务IP工作。 如果node1发生故障,node2应该接pipe。 如果PG在节点2上运行,则失败。 一切正常,除了STONITH的东西。 节点之间是一个专用的HA连接(10.10.10.X),所以我有以下接口configuration: eth0 eth1 host 10.10.10.251 172.10.10.1 node1 10.10.10.252 172.10.10.2 node2 Stonith已启用,并正在使用ssh代理进行testing以杀死节点。 crm configure property stonith-enabled=true crm configure property stonith-action=poweroff crm configure rsc_defaults resource-stickiness=100 crm configure property no-quorum-policy=ignore crm configure primitive stonith_postgres stonith:external/ssh \ params hostlist="node1 node2" crm configure clone fencing_postgres stonith_postgres crm_mon -1显示: ============ Last updated: Mon Mar 19 15:21:11 […]

什么集群pipe理软件用于Linux?

我find了以下集群pipe理软件工具: 起搏器(clusterlabs.org) – 最初是一个Heartbeat项目,专注于高可用性,将在下一个Debian版本 openqrm(openqrm.com), – web gui – 更广泛的用法,a 一个网站与两个介绍 虚拟整合HA:使用KVM,Pacemaker和DRBD进行虚拟化 虚拟机pipe理和openORM 看来,起搏器使用更广泛。 我有2个硬件服务器的12个不​​同的虚拟机。 我将使用的Linux系统是debian lenny。 安装程序我想要使用:drdb,heartbeart,kvm。 我没有集群pipe理软件的经验。 有没有人有起搏器和/或openqrm的一些经验? 哪个更容易使用? 还有其他候选人吗?