在我的HFT软件中,我打算使用一个核心进行股指计算。 这就是简单的while(true)循环,没有任何延迟,会尽可能地计算(总和相乘)分量(每秒数百万次),我打算每天每天8小时。 我以前从来没有把我的电脑加载到每天100%全天候regullary。 可能会有危险吗? 处理器有一种“资源”(当然很大),之后它可以停止工作?
“回到当天”我们总是将我们的操作系统驱动器(在Windows中)从我们的数据驱动器中分离出来。 在Linux世界,尽pipe我对它不太熟悉,但我知道智慧决定了更多的定义和使用在最佳实践configuration中。 既然服务器存储器可能位于SAN上(其中磁盘资源被许多单独的操作系统和应用程序共享),那么操作系统和数据分区是否在音量级别隔离呢,真的很重要吗? 你怎么看?
我正在尝试诊断服务器上的文件系统问题。 这已经持续了相当长的一段时间了,我已经没有什么想法可以尝试。 这是它的厚度。 服务器本身是戴尔Poweredge T310。 它有4个SAS硬盘,configuration为RAID5,并运行Citrix XenServer 5.6。 虚拟机是一个(相对)旧的Debian 5.0.6安装。 它有4个内核,4Gb的RAM。 它有3卷。 系统的10Gb容量(ext3),数据的980Gb容量(xfs)(约94%满容量)和另外200Gb容量(xfs)的数据(约13%满容量)。 现在这是奇怪的事情。 对980Gb卷的读/写访问非常慢。 如果我幸运的话,我可能会得到5Mb / s。 起初,我认为它实际上是在系统或虚拟机pipe理程序级别的磁盘访问,但是完全排除在同一台主机上的其他虚拟机运行得非常好(几百Mb / s磁盘访问)。 那么我开始瞄准这个特定的虚拟机。 我开始认为这是XFS,但是为了certificate我不打算改变980Gb硬盘上的文件系统,在那里有几年和几十亿的文件。 所以我调配了200Gb的驱动器,并做了相同的读/写testing(基本上是dd),并且获得了几百Mb / sr / w的访问权限。 所以排除了VM,硬件和文件系统的types。 在/var/log/kern.log中也有很多这样的内容。 (对不起,这很长) Sep 4 10:16:59 uriel kernel: [32571790.564689] httpd: page allocation failure. order:5, mode:0x4020 Sep 4 10:16:59 uriel kernel: [32571790.564693] Pid: 7318, comm: httpd Not tainted […]
我看到的奇怪和极其缓慢的IO模式是( iostat -dxk 1 /dev/xvdb1 ): Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util xvdb1 0.00 0.00 0.99 0.99 7.92 3.96 12.00 1.96 2206.00 502.00 99.41 Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util xvdb1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 100.40 Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s […]
在执行小写操作时,我一直在努力修复SMB / CIFS共享的性能问题。 首先,让我描述一下我目前的networking设置: 服务器 Synology DS215j(启用SMB3支持) 客户端(同一台计算机双启动有线Gig-E) Ubuntu 14.04.5 LTS,Trusty Tahr Windows 8.1 smb.conf文件 [global] printcap name=cups winbind enum groups=yes include=/var/tmp/nginx/smb.netbios.aliases.conf socket options=TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=65536 SO_SNDBUF=65536 security=user local master=no realm=* passdb backend=smbpasswd printing=cups max protocol=SMB3 winbind enum users=yes load printers=yes workgroup=WORKGROUP 我目前正在使用C ++编写的以下程序testing小写性能(在GitHub上): #include <iostream> #include <fstream> #include <sstream> using namespace std; int main(int […]
在我工作的地方,我们有许多“大铁”服务器,用于使用Xen Hypervisor托pipe许多虚拟机。 这些通常configuration32GB内存,双四核处理器和具有I / O容量的快速磁盘。 现在我们正处于现有硬件configuration日益枯竭的时候,现在是时候出去,寻找更大,更快,更新的硬件。 如上所述,现有的套件已经部署了32GB内存,并有效地限制了我们可以部署到主机的虚拟机数量。 然而,在调查新硬件时,显然你可以在单个机箱内使用64,72甚至96GB的单个机器获得更多的RAM。 显然,这将使我们能够获得更多的机器给一个给定的主机,这总是一个胜利。 到目前为止完成的分析表明,限制因素现在将转移到磁盘子系统。 现在的问题是试图弄清楚我们所处的位置。根据使用情况,我们知道我们不限制I / O带宽,更重要的是随机数I / O操作,可以完成..我们知道,一旦我们打到这一点,然后艾奥瓦特将上空火箭,整个机器的性能将去的狗。 现在,这是我所问的问题的症结所在,是否有人知道如何准确跟踪/趋势现有的I / O性能,特别是随机I / O操作数量的完成? 我真正想要得到一个指标是“这个configuration可以成功地处理X个随机I / O请求,而且我们目前(平均)正在执行Y操作,带有Z操作的峰值”。 提前致谢!
对于某些读/写工作负载,我使用esata端口倍增从4磁盘arrays中获得30 MiB / s。 当我将完全相同的arrays移动到四个单独的sata连接时,我获得90 MiB / s的工作量。 这是乘数的预期性能影响? 如果不是的话,我该如何缩小软件,控制器或机箱之间的问题? 即使在多年来尝试了大量variables之后,我也得到了完全相同的结果: 许多Linux版本(RHEL5,Fedora 9,11,13,16)以及所有的内核。 两种types的机箱(包括低端的$ 100 4个硬盘型号),共四个机箱。 两种types的SATA控制器芯片组(Marvell 88SE91xx和Silicon Image 3132) 四个SATA控制器(约30-60美元的PCI-X1接口卡和一个PCI,所有基于FIS的交换)。 三个SATA速度(1.5,3.0和6.0 Gbps) (三星Spinpoint F1 1TB,WD Caviar黑色2TB,希捷Barracuda XT 3TB)四种types。 三台电脑(Athlon 3ghz + 1GB RAM,当我做第一个e-sataarrays,然后Core 2 Duo + 4GB,现在是Core i5 750 + 8GB)。 当我多年前做了我的第一个eSATA机箱时,我认为速度慢的原因与使用PCI(33mhz)卡,不成熟的SATA驱动程序或者SATA-1.5Gbps 5400 RPM驱动器有关。 但是现在用x1 6Gbps控制器,3.0内核和6Gbps 7200rpm HDDS,仍然没有任何改变。 我仍然得到相同的30 MiB / s的特定工作量,直到我将它移动到单独的SATA连接。 这是所有端口乘法实现的基本限制吗?
我们在相距200英里的地点之间有一对新的不同路由的1Gbps以太网链路。 “客户端”是一台function强大的新机器(HP DL380 G6,双E56xx Xeon,48GB DDR3,R1对300GB 10krpm SAS磁盘,W2K8R2-x64),“服务器”也是一台相当不错的机器(HP BL460c G6双E55xx至强72GB R1对146GB 10krpm SAS磁盘,连接双Cisco MDS9509s的双端口Emulex 4Gbps FC HBA,然后连接到带128 x 450GB 15krpm FC磁盘(RHEL 5.3-x64)的专用HP EVA 8400。 从客户端使用SFTP,我们只能看到使用大(> 2GB)文件的大约40Kbps的吞吐量。 我们已经执行服务器到“其他本地服务器”testing,通过本地交换机(Cat 6509s)看到大约500Mbps,我们将在客户端做同样的事情,但是这一天左右。 你会用什么其他testing方法向链接提供者certificate问题是他们的?
我有很大的静态内容,我必须通过基于Linux的networking服务器来提供。 它是一套超过一百万个小的gzip文件。 90%的文件小于1K,其余文件最多50K。 在将来,这可能会增长到超过1000万个gzip文件。 我应该把这个内容放在一个文件结构中,还是应该把所有这些内容放在一个数据库中? 如果是在文件结构中,我可以使用大型目录还是应该考虑使用较小的目录? 我被告知一个文件结构的交付速度会更快,但另一方面,我知道这些文件会占用大量的磁盘空间,因为文件块将超过1K。 交货业绩最好的策略是什么? UPDATE 对于logging,我已经在Windows 7下执行了一个testing,有五十万个文件:
我在我的Linux笔记本上运行一个MySQL 5.0.75服务器,我想从本地networking中的另一台计算机连接到该服务器。 这个连接需要5-6秒钟: mysql -h 172.22.65.101 -u myuser -p123 一个ping到MySQL主机: PING 172.22.65.101 (172.22.65.101) 56(84) bytes of data. 64 bytes from 172.22.65.101: icmp_seq=1 ttl=64 time=0.799 ms 64 bytes from 172.22.65.101: icmp_seq=2 ttl=64 time=0.000 ms 64 bytes from 172.22.65.101: icmp_seq=3 ttl=64 time=6.43 ms 64 bytes from 172.22.65.101: icmp_seq=4 ttl=64 time=0.000 ms 64 bytes from 172.22.65.101: icmp_seq=5 ttl=64 […]