Articles of 集群

如何在集群内部设置各种websphere服务器

我想安装2个单独的websphere服务器(安装程序中的AppServer选项),稍后安装Deployment Manager并将它们联合在一起,以形成群集。 任何帮助是受欢迎的。 我已经想到了如何使用wasservice [1]来启动nodeagent和我的故障server1(它并没有在机器启动时启动),并安装了IBM HTTP Server,但它不在集群中。 提前致谢。 [1] http://pastebin.com/peihzsHY

运行apache mahout quickstartryin时出现问题

我试图从快速入门运行mahout集群示例: https : //cwiki.apache.org/MAHOUT/clustering-of-synthetic-control-data.html 当运行这里指定的任何集群实现时,我会得到以下exception: 我不明白的是,我已经从网站上下载了最新的mahout副本,并使用maven构build它。 一个class级如何失踪? 任何帮助,高度赞赏。 谢谢。 Error: java.lang.ClassNotFoundException: org.apache.mahout.math.Vector at java.net.URLClassLoader$1.run(URLClassLoader.java:202) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:190) at java.lang.ClassLoader.loadClass(ClassLoader.java:307) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) at java.lang.ClassLoader.loadClass(ClassLoader.java:248) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:247) at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:762) at org.apache.hadoop.io.WritableName.getClass(WritableName.java:71) at org.apache.hadoop.io.SequenceFile$Reader.getValueClass(SequenceFile.java:1613) at org.apache.hadoop.io.SequenceFile$Reader.init(SequenceFile.java:1555) at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1428) at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1417) at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1412) at org.apache.hadoop.mapreduce.lib.input.SequenceFileRecordReader.initialize(SequenceFileRecordReader.java:50) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:418) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:620) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305) at org.apache.hadoop.mapred.Child.main(Child.java:170) 11/06/19 […]

优化Linux计算集群

我正在build立一个超级计算的Linux集群。 我们使用OpenMPI和GoToBlas2运行最新的HPCC基准testing,但结果非常糟糕。 当我使用一个进程对集群中的每个核心运行基准testing时,结果比在单个进程中运行基准testing结果差得多(超过100倍)。 这显然不是我们所期望的那种performance。 我唯一的想法就是MPI在这些进程之间传输消息的时间太长了。 有没有人有任何想法,我怎么可以优化服务器设置,使性能不吸收这么多? 我们正在使用OpenMPI v1.4.3的Rocks集群发行版。 我们的计算节点是戴尔机架式服务器,每台服务器带有两个四核英特尔至强处理器。 它们通过千兆以太网电缆连接。

PBS / Torque中的非排他性作业调度

群集资源pipe理器Torque通常独占地分配计算节点。 但是,当你有很多小型工作(比如我们)在多核计算节点上运行时,这可能会导致大量浪费的资源。 有什么办法可以configurationTorque来允许在计算节点上非独占分配内核? (这些工作都是平行的,所以我们不关心共享networking资源的争夺,因为我们的客户的工作脚本都是PBS / Torque,所以我们不能切换调度器。

处理负载均衡apache时的日志和configuration文件

我问了堆栈溢出问题,然后我发布了serverfault会更合适,我很抱歉,如果有人绊倒这两个问题。 所以,我现在正在将我的networking平台从单机重build到一个机器集群,我将使用Apache负载平衡来做到这一点,但是我有两个问题,在继续之前我需要一个很好的答案。 我已经在谷歌search和search,但没有发现什么好的。 我的设置将是运行Apache负载平衡服务器(即Apache与mod_proxy),然后任何数量的“奴隶”机器,即平衡成员的Debian机器。 所有这些都是VMWare机器内的VPS,所以根据需要设置新的从站将是微不足道的。 日志文件第一个问题是日志文件的问题。 为了排查我的平台,我有时需要分析来自Apache的日志文件,访问日志和错误日志。 当负载均匀分布(即我不知道是否会使用粘滞平衡,任何主机都可能随时处理任何请求),每个从属Apache实例的日志文件也是如此。 有没有办法整合这些live ,这意味着我的活动日志分析器可以看到来自所有主机的日志文件? 我当然明白,这样做,而在几个主机上的文件将是困难的,所以有办法确保所有的日志文件保存在一台服务器上? 我自己在想两件事情,但是我会非常感谢你的意见。 syslogd第一个是syslogd,在这里可以有多个主机写入一个日志logging主机。 这个问题是,在我目前的设置中,Apache中的每个虚拟主机都有自己的日志文件。 这可能可能以某种方式修复。 我的主要用法是为了排除故障,而不是为每个主机保留单独的日志(尽pipe如果两个目标都能被满足,那肯定会是一个奖励)。 NFS我的下一个想法是关于NFS,即在局域网上有一个NFS共享,每个从站可以写入同一个日志文件。 我将继续,并假设这将是困难的,因为奴隶1将打开日志文件,然后奴隶2将无法写入它。 正如我所说,你的意见是非常感谢,因为我觉得我卡在如何解决这个问题。 configuration文件这是另一回事。 每个从机都会响应每个请求,就好像作为一台服务器一样。 这是整个想法。 但是,如何更改apacheconfiguration文件,添加虚拟主机,设置其他参数? 如果我有十个奴隶,五十个呢? 有没有办法确保所有这些奴隶始终保持同步? 我已经使用NFS导出来确保它们都具有相同的文件,但是我应该使用与configuration文件相同的方法吗? 或者我应该有这些作为一种forms的存储库,然后使用rsync将它们复制到奴隶? 一个问题是,我在我的Web平台中构build了一个接口,用于编辑这些configuration文件(即带有虚拟主机的文件),并且由于该操作将发生在其中一个从属设备上,因此该文件的最新副本可能会潜在在一个奴隶上。 我意识到这是一个漫长而又浪费的职位,我很抱歉。 我只是想确保我的问题的所有参数都被expression出来。 我希望有人能帮助我,就像以前一样! 先谢谢你!

Tomcat Web应用程序高可用性

我已经设置了Apache-Tomcat集群(Ubuntu服务器),并且我使用了tomcat支持的集群技术和mod_jk,下面的链接清晰易懂。 我在我的局域网中做了这样的事情, three computers 1 as LB and other two as tomcat web servers ,一旦我对设置完全满意,我就想到实现这个function。 我跟着很多链接,我粘贴的链接是其中之一,我configuration在不同的物理机器上。 configuration是successful ,我觉得它很容易设置。 我检查了停止一个tomcat的networking服务器,它立即开始发送请求到另一个networking服务器。 据我所知,我很清楚,这种configuration支持HA和LB. 以下是我的Apache Tomcat集群详细信息: 1 Load Balancer(192.168.1.100) 2 web Servers(192.168.1.101, 192.168.1.102) On all the three servers, I installed apache2 & tomcat6 and configured tomcat to run on port 80 with mod_jk on all the servers. Load Balancer: […]

如何构build一个用户有权删除/添加的群集?

我在一家公司工作,每个工程师/科学家都有一台非常高端的台式机。 80%的时间,他们没有把它抽到满负荷……这让我难过。 我希望能够在我们的每台机器上安装一些软件,这些软件应该允许任何节点在另一台机器上使用计算资源。 但是,每个工程师/科学家应该能够将他们的机器从集群上卸下来作为专用工作站使用。 我应该看什么软件? 我认为这与网格计算不同,因为任务不是事先确定的。 我认为这是不同于传统的集群计算,因为我没有独占访问所有的从节点。 谢谢! 每台电脑都是Ubuntu 10.04

如何通过MySQL集群实现高可用性?

这个问题不是关于如何安装服务器和它的function,而是更多的devise问题。 所以我有一个MySQL服务器集群。 我也有一个DNSlogging“ data.example.com ”。 MySQL集群具有三个MySQL /查询节点 (应用程序连接到的集群的端点)。 在那之后是该集群的其余服务器(数据/pipe理)。 目标是把这个集群当作一个坚实的单位 (从外部的angular度来看)。 现在,一个外部应用程序(比如一个web服务器)想要在数据库上执行(写/读)。 这里是步骤: 1)parsingDNS“data.example.com”。 2)连接到IP(这是一个SQL节点)。 3)做工作。 出现的第一个问题 ,更容易的问题是: 如何通过单个DNS公开所有三个SQL节点? – DNS服务器级别的循环法? – 将该DNSlogging设置为指向SQL节点的三个IP? 第二个问题出现了,假设DNSparsing为10.0.0.7,它只是三个SQL节点之一: 如果该节点closures,该怎么办? 整个集群仍然很好,但现在尝试连接到该节点的应用程序将该集群视为“closures”,因为该节点确实已closures,因此我失去了“高可用性”。 所以我的问题很简单: 你会怎么做来解决这个问题? 请详细描述,复杂性并不吓倒我:) 请注意,我会在这里询问负载平衡或类似的东西,但我更愿意将这个问题保持“开放”,并听取更广泛的解决scheme。 谢谢!

保持活力的问题(要求,能力,限制)

1)keepalived的(物理/networking)要求是什么? 两个(或更多)keepalived节点是否需要连接到同一个交换机? (可能与广播有关)。 2)keepalived节点可以运行在不同的networking,“互联网”networking? 3)keepalived取决于路由器? (据我所知,虚拟IP应指向连接两个节点的真实路由器/交换机)。 4)keepalived“服务无关”? – > keepalived的参与领域是什么? 只有IP? 还是服务/协议导向? – >它只处理IP,或者它是为HTTPdevise的? – >换句话说,我可以用它来定制(基于networking)的应用程序? 5)有多个故障转移服务器? 如果问题#4的答案是“是”,即它取决于服务types,那么是否有任何一般的select? 最好容易安装/configuration:)

红帽集群:共享同一个虚拟IP的两个服务之一的故障将IP拆除

我正在Red Hat 5.5下创build一个2 + 1的故障转移群集,其中4个服务需要在同一个节点上运行,共享相同的虚拟IP地址。 每个节点上的一个服务(在下面的cluster.conf中称为disk1和disk2 )需要一个(SAN)磁盘,另一个不需要(它们被称为nodisk1和nodisk2 )。 所以在每个节点上应该有一个服务需要一个磁盘( diskN )及其相应的不需要磁盘的服务( nodiskN )。 我正在使用HA-LVM。 当我closures连接到SAN的两个接口(通过ifdown)来模拟SAN故障时,需要磁盘的服务被禁用,另一个按预期运行。 令人惊讶的是(不幸的是)同一台机器上的两个服务所共享的虚拟IP地址也被删除,导致仍在运行的服务无用。 如何configuration群集以保持IP地址? 到目前为止我发现的唯一方法是为每个不需要磁盘的服务分配一个不同的虚拟IP地址(在下面的cluster.conf中没有实现)。 cluster.conf看起来像这样: <?xml version="1.0" ?> <cluster config_version="1" name="cluster"> <fence_daemon clean_start="0" post_fail_delay="0" post_join_delay="3"/> <cman shutdown_timeout="10000"/> <clusternodes> <clusternode name="node1" nodeid="1" votes="1"> <fence> <method name="1"> <device name="device1"/> </method> </fence> </clusternode> <clusternode name="node2" nodeid="2" votes="1"> <fence> <method name="1"> <device name="device2"/> </method> </fence> […]