Articles of linux

无法在请求的2181端口启动ZK,而导出HBASE_MANAGES_ZK = false

问题 第一个目标是单独运行HBase。 一旦HBase启动,导航到ip:60010 / master-status会成功。 第二个目标是运行一个独特的ZooKeeper法定人数。 ZooKeeper已经下载并启动了: netstat -nato | grep 2181 tcp 0 0 :::2181 :::* LISTEN off (0.00/0/0) conf/hbase-env.sh被更改如下: # Tell HBase whether it should manage it's own instance of Zookeeper or not. export HBASE_MANAGES_ZK=false 为了避免HBase一旦启动就启动ZooKeeper。 但是,一旦HBase启动,就会发生以下错误。 Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting […]

通过高延迟链接提高大文件传输的速度

所以,我最近需要从海外的一个办事处通过互联网提取一个大文件。 两个办事处的双向都有50Mbit的光纤链路,但是往返时间是可怕的,从一个好日子的450毫秒和一个废话750毫秒。 最初,我试图通过VPN连接拉动文件,但一些失败的转移(smb真的吸收了慢速链接),速度最高达到128kBps快速谷歌显示,我正在对Windows TCP窗口缩放问题运行。 我已经通过一个商业的私有云types的服务,该文件在这里得到更快的文件,所以下面是更多的好奇心比其他任何。 有趣的是,两端的互联网访问是通过一个HTTP代理。 不过,我确实有两端机器的pipe理员权限。 你将如何获得更好的速度? 我试过的东西: 1)在两个linux虚拟机之间使用简单的SFTP,使用corkscrew通过http代理和第三个中介将两端连接在一起。 速度达到了:大约600kBps。 2)SFTP,但使用OpenSSH修补HPN-SSH。 开瓶器和中介configuration与1)相同。 如果有任何速度改善,很less 3)按照2,但用pget pget -c -n 10使用LFTP将传输分成块。 这是迄今为止最好的,看到3.5MBPS … 所有改进都欢迎。

Linux上超过65536个TCP连接

我试图从Linux(RedHat5)框中设置超过65536个传出TCP连接。 我已经configuration了传出和接收框以允许足够的文件描述符。 我不相信接受方面有问题 – 我有多个目标框,每个有多个IP地址,我使用多个端口。 在传出方面,我不相信我每个IP地址的限制 – 我使用多个IP地址和端口(我打开连接从端口30,000 – 60,000为每个IP地址)。 有一些Linux内核可调参数我错过了吗? 或者TCP有一些根本的限制? 失败的是,我的应用程序打开连接挂在connect()调用。 感谢NickB的帮助

在md / LVM / dm-crypt中使用4k驱动器

我知道我必须将我的4K驱动器与8个扇区的倍数alignment,但是md-RAID / LVM / dm-crypt又如何呢? 我如何告诉这些图层我的硬盘是4k? 如果他们不尊重4k扇区大小,分区alignment是没有用的。 如何alignmentLVM / md / crypto-layers? 谢谢。

保持linux ubuntu服务器最新的最佳做法是什么(构build软件包,dist-upgrade,alt repos …)

我们正在运行一个基于Ubuntu 9.10 Karmic Koala的生产服务器,内核几乎是最新的(2.6.38.2-grsec-xxxx-grs-ipv6-64),但是业力软件包仓库现在已经过时了,例如。 Nginx是0.7.62 – 真的越野车,而最新的稳定是1.0.x! 此外,Karmic刚刚走到了尽头。 这个问题: 使UNIX包保持最新的最佳实践? 看起来相似,但实际上只包含一些关于包pipe理者的build议 根本不是我所需要的! 所以我看到的选项是: 得到一台新机器,从头开始安装,迁移 分销升级 使用不同的存储库( launchpad / ppa / backport / pinning ) build立你自己的 1的缺点非常明显。 尽pipe如此,我不敢做一个远程升级的途径,因为宕机时间和可能的灾难性后果对于生产服务器来说是无法预测的,而且目前大部分都是重新构build我自己需要的软件包。 但我相信我可能会错过一些。 我真的不清楚使用ubuntu后端的风险(稳定性/兼容性),此外,9.10已经没有任何官方提供了。 启动板是个人build设,类似的问题 – 这比编译自己的更好。 构build包似乎很好,但是:1.有时我有麻烦重现正确的./configure选项,以重新使用我现有的configuration文件1.我相信有大量的包和依赖关系,现在是相当过时和可能的来源的错误 最后…在最近的distrib中,“旧”包怎么样? 我想没有别的方法可以自己重build它们了吗? 是2.和4.的组合,最后是最佳path吗? 对于做这件事的最好方法有什么客观的一致意见,或者为什么我的一些select是好的/不好的原因? 如果真的没有,我会接受在创build一个无尽的线程之前closures的问题!

远程经理为Linux?

在过去的6年里,我一直在Windows下使用远程pipe理器 ,并且在linux上找不到类似的东西。 MC不是一个合理的替代品,GNOME指挥官也不是。 那里有没有OFM的老兵可以指出我正确的方向为Linux?

Keepalived超过20个虚拟地址

我已经在两台Debian计算机上设置了keepalived以实现高可用性,但是我已经遇到了可以分配给我的vrrp_instance的最大数量的虚拟IP。 我将如何去configuration和失败20多个虚拟IP? 这是非常简单的设置: LB01: 10.200.85.1 LB02: 10.200.85.2 Virtual IPs: 10.200.85.100 – 10.200.85.200 每台机器还运行Apache(后来的Nginx)绑定在虚拟IPs SSL客户端证书终止和代理到后端Web服务器。 我需要这么多VIP的原因是无法在HTTPS上使用VirtualHost。 这是我的keepalived.conf: vrrp_script chk_apache2 { script "killall -0 apache2" interval 2 weight 2 } vrrp_instance VI_1 { interface eth0 state MASTER virtual_router_id 51 priority 101 virtual_ipaddress { 10.200.85.100 . . all the way to . 10.200.85.200 } 备份机器上有相同的configuration,并且工作正常,但只能达到第20个IP。 我发现一个HOWTO讨论这个问题。 基本上,他们build议只有一个VIP,通过这个IP路由所有的stream量,“一切都会好的”。 这是一个好方法吗? […]

分析和优化crontabs

是否有一个工具来绘制,分析和帮助优化crontab执行? 为了澄清,我正在考虑一个工具,它会生成cron作业执行的时间图,并帮助系统pipe理员巧妙地重新组织它们。

Rsync -avzHP遵循硬链接,而不是将其作为硬链接复制

我使用rsnapshot为我的“工作”共享创build每小时/每天/每周/每月的备份。 现在我试图使用rsync将整个备份目录复制到外部驱动器上。 我使用这个命令/参数在一个屏幕会话(是的,rsync-exclude.txt位于我运行命令的目录) rsync -avzHP –exclude-from 'rsync-exclude.txt' /share/backup/ /share/eSATADisk1/backup/; 整个东西在QNAP TS-439上运行,内部驱动器是一个单一的磁盘(没有RAID)EXT4格式化,外部驱动器形成EXT3。 会发生什么情况是:Rsync跟随每个硬链接并复制实际的文件,而不是重新创build外部驱动器上更新的硬链接 。 我没有马上意识到这一点,所以外部驱动器最终被同一个文件的xxx副本丢弃了。 我想实现的是:将由rsnapshot生成的整个文件结构复制到外部驱动器,保持硬链接节省空间。 注意:这不一定是使用rsync完成的。 感谢您的想法和时间。 我很感激你的帮助,大的时间。 更新:我知道,rsnapshot没有使用符号链接,它使用硬链接,所以我现在使用-H选项,它应该根据Rsnapshot保存硬链接结构到多个目的地(或维护硬链接结构),但它仍然不会工作…我在这里错过了什么? 更新2:在这里我发现了另一个关于这个话题的观点/陈述: rsync和–hard-links冻结了 Steven星期一build议不要尝试rsync包含硬链接的大文件结构,因为它吸收了很多内存,对于rsync来说是一件很难的事情。 所以可能更好的解决scheme是制作一个.img数据结构,我试图备份。 你怎么看?

Linux主机上与桥接和ipv6相关的邻居表溢出

注意:我已经有了解决这个问题的办法(如下所述),所以这只是一个“想知道”的问题。 我有一个高效的安装与约50个主机,包括运行xen 4的刀片和提供iscsi的equallogics。 所有的xen dom0s几乎都是纯Debian 5.这个configuration在每个dom0上都包含了几个网桥来支持xen桥接networking。 每个dom0总共有5到12个网桥,每个网段都服务一个vlan。 没有主机启用路由。 在某个时间点,我们将其中一台机器移到了一个包含raid控制器的新硬件上,所以我们安装了带有xen补丁的上游3.0.22 / x86_64内核。 所有其他机器运行debian xen-dom0-kernel。 从那时起,我们注意到在设置中的所有主机上,每2分钟就会发现以下错误: [55888.881994] __ratelimit: 908 callbacks suppressed [55888.882221] Neighbour table overflow. [55888.882476] Neighbour table overflow. [55888.882732] Neighbour table overflow. [55888.883050] Neighbour table overflow. [55888.883307] Neighbour table overflow. [55888.883562] Neighbour table overflow. [55888.883859] Neighbour table overflow. [55888.884118] Neighbour table overflow. [55888.884373] Neighbour table overflow. […]