目前,我正在为我的雇主负责一个快速增长的Hadoop集群,该集群目前build立在0.21.0版本上,CentOS作为每个工作者和主节点的操作系统。 我已经完成了大部分标准configuration问题(负载均衡,HDFS的IO规划,确保有足够的磁盘空间可用于溢出操作等等),但是没有find关于pipe理文件描述符数量的好文档每个任务跟踪器,数据节点,映射器或Reducer所需的。 到目前为止,我已经阅读过的文档(跨Hadoop和HBase)隐约地指向溢出操作,当它试图写入磁盘时,会同时消耗大量的描述符。 这个文档当然不提供所述描述符的范围或预期的生命周期的细分。 唯一的build议是提高系统的限制,这是一个合理的解决办法,而且作为长期规划战略是虚假的。 我没有关于Hadoop对所需文件描述符数量的假设的信息。 因此,在普通作业(即,不依赖MultipleOutputs)的生命周期中,每个映射器,Reducer,任务跟踪器和数据节点所需的文件描述符总数的configuration相关计算将非常有用。 目前是否有这样的计算?如果是这样的话,我可以合理地估计一下,我的极限应该与定义的任意数量的工作相关吗? (为了增加这个问题的可能性,其他人会遇到这个问题,当可用的描述符池已经耗尽时,Hadoop会高兴地抛出java.io.EOFException和java.io.IOException(指向一个坏文件描述符)。因为这些例外所包含的信息是非常通用的,所以花了我几个小时来追查。)
我有CentOS的一个SSH用户是根。 如何为我的Web开发人员创build更多的用户,以便他可以将文件scp到/ var / www / html? 它将成为一个静态页面,所以MySQL和类似的都没有问题。 我所需要的是用户能够scp进出文件/ var / www / html 我尝试添加用户与家庭目录作为/ var / www / html键入 # adduser -d /var/www/html webdev 但 1.此用户无法将文件写入此目录 2.他可以浏览服务器上的其他目录
这可能比expression更容易解释… -bash-3.2$ id uid=501(admin) gid=503(admin) groups=100(users),501(admins),503(admin) -bash-3.2$ groups admin users admins -bash-3.2$ ls -l total 8 drwxrwxrwx 78 admin www 4096 Dec 9 09:02 Inbox drwxrwxrwx 21 admin www 4096 Dec 8 21:45 Movies drwxrwx— 3 admin www 52 Dec 9 07:57 TV -bash-3.2$ cd Movies -bash-3.2$ ls -l total 20 drwxrwx— 7 admin www […]
我正在运行一个Web服务器(Apache + PHP),数据库(MySQL)和SMTP服务器(Exim)的VPS。 操作系统:Debian Lenny。 内存:512MB。 使用(配额)( http://packages.debian.org/lenny/quota )。 目前,我已经将/tmp挂载为tmpfs。 这并不理想,因为我只有512MB RAM,因此/tmp只有256MB。 我决定在/var/tmpdisk上创build一个1GB的ext3分区文件(或者其他名称)。 (关于使用ext3的决定是在阅读Askubuntu.com之后做出的:用于/ tmp的好文件系统? ) 为了在运行时保持/ tmp干净,我find了tmpreaper: serverfault.com:清除/ tmp 什么build议快速擦除/var/tmpdisk ,同时保留配额设置? 目前,我正在考虑在启动时执行以下操作( /etc/rc.local ?): 检查/var/tmpdisk的存在。 如果不存在,则运行dd if=/dev/zero of=/var/tmpdisk bs=1K count=1000000 在/var/tmpdisk创buildext3文件系统。 这是我清除“磁盘”最快的方法。 命令: mkfs.ext3 -F /var/tmpdisk 挂载在/tmp : mount -t ext3 -o loop,rw,nodev,noexec,nosuid,quota /var/tmpdisk /tmp 在这个草案中,我没有添加保留配额设置的方法。 有任何想法吗?
我需要在iptables中创build一个路由,当我连接到外部FTP服务器时,允许使用我的第二个IP地址作为源(不是默认值)。 我如何创buildiptables的路线? 我不是很熟悉Linux / Redhat的命令的任何帮助将不胜感激。 感谢任何方向!
我必须将一些Linux应用程序移植到Windows。 为此,我想在虚拟环境中安装Windows。 你会推荐哪一款KVM或Virtualbox? configuration不是问题,重点主要在于性能。 谢谢
我们目前在Exchange 2003环境中有大约50个用户。 我们有大约25个用户通过iPhone或其他智能手机收到电子邮件。 目前,我们正在推动Exchange数据库上限(75场演出中的70场)。 我们正在考虑Zimbra的专业版。 鉴于这种环境,你会推荐什么?
有谁知道如何使后缀避免进入无尽的错误循环时,远程MX服务器parsing为0.0.0.0? 问题听起来就像这里描述的那样: 邮件循环回到我自己| 后缀,但我正在寻找一个修复,因为这使得后缀使用100%的CPU。 希望这是一个相当简单的调整后缀configuration。
我有一个post-receive钩子,它运行在一个使用gitolite设置的中央git仓库上,以触发临时服务器上的git pull。 它似乎工作正常,但运行时会抛出“命令未find”错误。 我试图追查错误的来源,但没有任何运气。 手动运行相同的命令不会产生错误。 错误将根据正在推送到中央存储库的提交所做的更改而变化。 例如,如果'git rm'被提交并被推送到中央仓库,错误信息将是“remote:hooks / post-receive:line 16:Removed:command not found”,如果'git add'被提交并被推送到中央repo错误消息将是“远程:钩子/ post-receive:行16:合并:命令未find”。 无论哪种情况,即使出现错误消息,登台服务器上运行的“git pull”也能正常工作。 这是post-receive脚本: #!/bin/bash # # This script is triggered by a push to the local git repository. It will # ssh into a remote server and perform a git pull. # # The SSH_USER must be able to log […]
我试图用Nagios监视交换机。 我做了本教程中的所有内容,但是我在Nagios浏览器窗口中获取状态信息,如下所示: (Return code of 127 is out of bounds – plugin may be missing) 所以我检查了谷歌,发现我需要安装check_snmp插件。 那我该怎么做呢?