服务器问题集锦,包括 Linux(Ubuntu, Centos,Debian等)和Windows Server服务器
我在一台服务器上启动了1-3个并发的hadoop实例(v.1.2.1) 这些是完全独立的,其中: 他们正在使用不同的端口 他们可以访问完整的独立文件系统(HDFS) 我已采取措施消除任何潜在的瓶颈: 设置唯一的服务器作为“主”(Namenode / Jobtracker)和“从属”(Datanode / Tasktracker)节点。 这已经完成,以消除任何潜在的networking瓶颈。 在tmpfs上挂载整个hadoop文件系统; 这包括hadoop.tmp.dir (在core-site.xml )以及dfs.name.dir和dfs.data.dir (在hdfs-site.xml )。 因此,HDFS和映射器的中间数据都直接写在tmpfs 。 这已经完成,以消除任何潜在的硬盘瓶颈。 我试图解决的问题是:当这1-3个并行实例同时执行相同的数据集时,执行时间会更长。 每个执行都被configuration为尽可能less的任务资源:每个执行产生11个映射器和1个reducer。 我已经测量了各种潜在的瓶颈,但是我没有能够拿出令人信服的解释。 我的本能告诉我这是在CPU上,但是我的测量结果certificate了我的不然。 特别是:(数字如下) 时间:我运行的并行执行越多,执行时间就越长。 Mappers似乎直接受到影响,并有助于延长执行时间。 CPU:使用PCM工具测量的利用率。 活动核心的利用率在80%左右,表明这些工作确实是CPU密集型的,但整体(名义)利用率根据租户数量进行很好的扩展,表明我们有足够的CPU资源来执行所有的工作。 内存IOPS:IOPS的规模与租户数量一样好,因此似乎没有明显的瓶颈。 内存IOPS很高,因为我们直接写入tmpfs 。 还使用PCM工具测量。 内存空间:绰绰有余; 每个执行需要大约3个GiB(input,映射器的输出,reducer的输出),并且在每个hadoop实例的临时/ HDFS文件夹上挂载10个GiB的tmpfs 。 PCIe(QPI):随着越来越多的租户带宽的增加,似乎也没有任何瓶颈。 基于另一个问题 ,我的系统似乎能够支持高达32 GB /秒,因此我们远远没有达到最大容量。 还使用PCM工具测量。 硬盘:写入IOPS非常低,因为我们没有写入硬盘。 读取IOPS报告为零。 使用iotop -bot测量。 交换:通过htop视觉检查; 没有使用交换空间。 networking:只有一台机器正在使用,所以networking没有被利用。 我的瓶颈在哪里,或者我应该测量什么? 此外,我是否正确解释CPU测量 ? 很明显,在一个活动周期内,我们的利用率在80-100%之间,但这只影响一次执行的执行时间。 由于我们有足够的核心,理论上可以在不影响性能的情况下维持多次执行,总体利用率的提高表明了这一点。 […]
如果我检查我的网站,它告诉我,我需要压缩以下URL> https://distance2job.com/jm-ajax/get_listings/ 。 我目前有这个加载在我的apache2configuration。 ## mod_expires Caching ## # Cache Control via HTTP Headers + Expires # Generation of Expires and Cache-Control HTTP headers according to user-specified criteria # http://httpd.apache.org/docs/2.0/mod/mod_headers.html # ———————————————————————- # Expires Defaults <IfModule mod_expires.c> ExpiresActive On # Set default expires to 2 days ExpiresDefault A172800 ExpiresByType text/css A31536000 ExpiresByType application/x-javascript A31536000 ExpiresByType […]
对于已标记为“已损坏”的AWS EBS卷,通过SNS发送警报的最佳方法是什么? 在控制台> EC2中,在实例>状态检查选项卡下,您可以设置CloudWatch警报。 但是,在卷>状态检查选项卡下没有function。 我在“健康事件”中发现了一对夫妇,但他们只是因为“音量丢失”和“性能下降”。 不完全是一个受损的音量。 该卷没有收到很多活动,因此监控任何性能指标可能不是一个好的解决scheme。
我们使用的是RHEL 6.9,并试图创build一个没有组权限的原始设备 – 但是udev似乎完全忽略了udev MODE设置。 如下所示,它parsing设置应该是0600,但是然后创build设备0660。 我猜这是因为裸设备有一个固定的权限,但无法find任何参考。 我们很自信 有任何想法吗? 谢谢! udevadm test / class / raw / raw1 … udev_rules_apply_to_event:OWNER 1201 /etc/udev/rules.d/60-raw.rules:8 udev_rules_apply_to_event:GROUP 1201 /etc/udev/rules.d/60-raw.rules:8 udev_rules_apply_to_event:MODE 0600 /etc/udev/rules.d/60-raw.rules:8 … udev_node_add:创build设备节点“/ dev / raw / raw1”,devnum = 162:1,mode = 0660,uid = 1201,gid = 1201
我们有一个OpenStack设置,负载平衡器将stream量引导到默认池(在这种情况下,我们称之为green_pool)。 在部署期间,我们将新构build放置在非活动池(blue_pool)上,并在访问它之前完成最终testing,然后再引导实际stream量。 在我们切换到OpenStack之前,我们在f5平衡器中进行了configuration,使我们能够将请求指向非活动池以完成最终testing。 但是,现在我们没有这样的configuration。 OpenStack中有一个聪明的方式来访问非活动池吗? 我读了关于创build一个浮动IP池与下面的选项,但我想知道是否有一个更好的方法,因为我们已经有一个池: neutron net-create ext-net — –router:external=True SPECIAL_OPTIONS neutron subnet-create ext-net –allocation-pool start=FLOATING_IP_START,end=FLOATING_IP_END –gateway=EXTERNAL_INTERFACE_GATEWAY –enable_dhcp=False EXTERNAL_INTERFACE_CIDR
我在CentOS 7.3上使用了Tomcat 8.0.x。 我使用systemd来启动Tomcat,这里是单元文件: # Systemd unit file for tomcat [Unit] Description=Apache Tomcat Web Application Container After=syslog.target network.target [Service] Type=forking Environment=JAVA_HOME=/usr/lib/jvm/jre Environment=CATALINA_PID=/opt/tomcat/tomcat-instances/tomcat.pid Environment=CATALINA_HOME=/opt/tomcat/tomcat-engine Environment=CATALINA_BASE=/opt/tomcat/tomcat-instances/ Environment='CATALINA_OPTS=-Xms128M -Xmx1024M -server -XX:+UseParallelGC' Environment='JAVA_OPTS=-Djava.awt.headless=true -Djava.security.egd=file:/dev/./urandom' ExecStart=/opt/tomcat/tomcat-instances/bin/startup.sh ExecStop=/opt/tomcat/tomcat-instances/bin/shutdown.sh #ExecStop=/bin/kill -15 $MAINPID User=tomcat Group=tomcat [Install] WantedBy=multi-user.target 我们可以看到“Xms128M和-Xmx1024m” 在setenv.sh文件中我们有这个: export JAVA_OPTS="-Xms256m -Xmx2048m" 所以当我做一个“ps -ef | grep tomcat”时: tomcat 14051 1 2 09:06 ? […]
使用squid3 -kparsing我看到这个: 正在处理:https_port 443 cert = myCA.pem 错误:'https_port'需要–enable-ssl 如何启用ssl? 输出squid3 -v squidcaching:版本3.4.8 linuxconfiguration选项:'–build = x86_64-linux-gnu''–prefix = / usr''–includedir = $ {prefix} / include''–mandir = $ {prefix } / share / man''–infodir = $ {prefix} / share / info''–sysconfdir = / etc''–localstatedir = / var''–libexecdir = $ {prefix} / lib / squid3' '–srcdir ='。 '–disable-maintainer-mode''–disable-dependency-tracking''–disable-silent-rules''–datadir = […]
我想在一台机器上安装两台proxmox instanes? 我必须将proxmox从2.1迁移到4.4,同时将hdd更改为ssd。 我发现最简单的方法是在ssd上安装新的proxmox实例,而不是恢复备份并删除旧的磁盘/系统。 当我试图在testing服务器上安装2个系统时,我收到一个错误“无法创build卷组pve:一个名为pve的卷组已经存在”,所以我认为我必须更改pve的名称,任何想法如何在proxmox中执行? 有可能吗? 谢谢
我们在内部networking中有两个可写的Server 2012 R2域控制器,在我们的DMZ中有一个Server 2012 R2 RODC。 我不想在内部networking中连接DMZ。 我只需要一个从内部networking到DMZ的连接。 所以我的问题是:你能告诉我如何configuration可写的DC推送所有的configuration到RODC? 那可能吗? 谢谢!
有时我们遇到一些奇怪的问题,应用程序无法连接给套接字错误。 当检查netstat时,我们可以看到RECV_Q列中的非零值,因为所有新的连接都以SYN_RECV状态登陆。 所以不知道如何排除故障 tcp 661 0 198.1.70.137:21000 198.64.77.31:56812 CLOSE_WAIT tcp 660 0 198.64.70.137:21000 198.64.77.31:53236 ESTABLISHED tcp 0 0 198.64.70.137:21000 198.64.77.31:59716 ESTABLISHED