我们有一个系统,每天生成5k – 10k的XML文件。 这是一个很长的故事,但这个系统不会改变一段时间。 无论如何,系统将这些XML文件(每个3k-20k)转储到一个文件夹中。 所以想象一下这个文件夹开始变得有多快。 我写了一个程序,把文件和组织成年/月/日格式的层次结构。 然后另一个程序进入并删除任何超过90天的文件。 这是问题。 我们的备份系统(又是一些无法更改的function)需要HOURS来备份这些存档的文件夹,因为有近100万个文件。 备份做了完整的备份(再次,我们不能改变),发生的事情是备份必须打开并检查每个XML文件。 所以备份速度非常慢,以至于在第二天晚上的备份之前,备份速度并没有完成! 所以我一直在做每月文件夹和创build一个7z档案。 这很好。 200k文件下载到一个文件。 但是,我必须手动执行此操作。 另外还有一个问题。 我们无法存档当前月份。 所以总是需要30天(x 5k – 10k)的文件即时“search”。 有关如何更好地处理此问题的任何build议? 以下是我的头: 1)编写一个前一天的程序并转储到SQL。 然后将该文件添加到档案。 2)XML可以移动到的某种types的“活动归档”文件系统。 谢谢。
几个星期前,我去了一个演讲,一个家伙说,在他的公司,他使用了一个反向代理,logging所有传入的http请求到生产服务器。 然后他可以在另一台服务器上执行它们进行性能testing。 我做了很多search,但从来没有find理想的工具来做到这一点。 有谁知道一个代理服务器,可以做到这一点?
我有一个rackspace Linux服务器,内存为512 MB,EC2上有一个Linux Micro实例(它有613 MB的RAM)。 我想要一个新的Web应用程序,我们公司正在部署另一个庞大的实例。 我打算去亚马逊标准实例(它有1.7GB的内存,如果保留3年,花费约10美元 )。 具有相同数量内存的服务器会在Rackspace Cloud上花费我很多钱(成本87美元 ),我不明白为什么会有这样的差异,我错过了什么?
在工作中,我们有一个基于Windows 2008 Server的networking,拥有60多台计算机。 我们计划很快build立一个Windows 2008 VPN服务器来提供远程访问,我想知道我们应该期待什么样的性能损失。 内部networking是1Gbps,上行到Internet是100Mbps线路,所以我们的用户习惯于高性能的networking。 浏览共享文件夹并在内部networking中打开大文件通常是即时的。 我知道我们将无法通过VPN获得这种带宽,而且无论如何,VPN用户体验在很大程度上将取决于他们的方面,尤其是他们和我们的VPN服务器之间。 不过,我会重视两个特定问题的答案: 我们应该期望什么样的性能损失? 我们如何才能减轻性能损失? VPN服务器硬件真的很重要吗? 谢谢。
我试图说服我们的系统pipe理员从NFS 3或NFS 4升级,因为我认为这会显着提高性能,特别是在处理很多小文件时。 不过,同事们担心升级会造成严重的问题。 目前,我们的基础架构包含Solaris SPARC和Linux x64。 对于目前只提供NFS 3的大部分共享,我们使用大型NetApp存储系统。 你可以看到升级到NFS 4有哪些优点(和缺点)? 哪些问题可能会出现? 你有这样的升级经验吗? 任何帮助表示赞赏。
我们在数据库应用程序中遇到了一个令人困惑的问题。 我们正在运行3个不同的(但类似spec'd)环境中的应用程序。 Select Insert Env1 0.81ms 0.94ms Env2 0.69ms 5.79ms Env3 0.52ms 15.61ms 我们在3个环境中对磁盘和内存性能进行了基准testing。 Env3稍快于Env2,稍快于Env1(不超过10%)。正如你所预料的那样,Env3中的select比Env2中的select略快于Env1中的select。 但是,Env1中的插入比Env2 快5倍,比Env3 快15倍 。 在Env2和Env3中写入的性能可能很差吗? 一些相关的背景资料。 上面的数据是通过我们编写的testing应用程序来收集的,以便尝试和诊断问题。 select和插入是基本的,并在一张小桌子上执行。 我们的testing应用… a)是用C#编写的,并使用基于System.Data.SqlClient.SqlConnection的类。 b)通过执行1000次的动作并将所花费的时间除以1000来计算平均次数。 c)在两种模式下工作… 一世。 我们的代码称为插入/select/更新1000次 II。 我们的代码称为单个存储过程,称为insert / select / update 1000次 d)与数据库在同一台机器上运行 除非存储过程称为更新,否则更新会受到类似于插入的影响。 当存储过程在Env3中调用更新时,它比Env1慢了4倍,但是当客户端调用1000更新时,速度慢了17倍。 下面的扩展表格说明了不同之处。 环境。 Select SP Select Insert SP Insert Update SP Update Env1 0.81ms 0.015ms 0.94ms 0.72ms […]
我有一个Web应用程序(从iis6服务的.NET),为最终用户提供接近实时的数据。 我们的服务器坐落在北美的数据中心,但是我们的澳大利亚用户正在经历不可接受的性能(毫不奇怪)。 鉴于我们没有无限的资源,有哪些策略可以提高澳大利亚的业绩? 在澳大利亚放置networking/应用程序服务器是显而易见的答案,但是我们也需要复制我们的数据库(快速接近100 GB),并且假定复制需要接近实时(最多一分钟就可以)像一个昂贵的努力。 使用CDN将有助于获取静态内容。 有什么其他策略可以帮助我们?
我最近build立了新的基于Linux的文件服务器。 我使用的是Ubuntu 10.10。 我创build了两个软件RAID设备,如下所示: mc@vmr:~$ cat /proc/mdstat Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] md0 : active raid1 sdf1[1] sdh1[3] sde1[0] sdg1[2] 19530688 blocks [4/4] [UUUU] md1 : active raid10 sdh3[3] sdf3[1] sde3[0] sdg3[2] 1912461184 blocks 64K chunks 2 near-copies [4/4] [UUUU] / dev / md0(raid1)安装在“/”上,/ dev / md1(raid10)安装在“/ home”上。 不幸的是,我的raid10的performance令人深感不满。 以下是每个硬盘的性能: […]
我已经在SharePoint平台上工作了两年,并使用了多种机器来开发我的SharePoint。 当我创build一个新的框,最初的框将是快速的,Web应用程序将响应。 但是后来机器在开发过程中变得非常缓慢并且没有响应。 而且我正在使用任何虚拟机。 除SQL Server 2008,VS 2010和SP 2010,MS Office 2010外,我不安装任何重要的应用程序。 有什么技巧来保持机器更快? 任何configuration与SharePoint服务器或机器调整,任何最佳实践等? 我的规格 – 惠普Pavilion DV4 i5 2.27GHz,4GB内存DDR2,320GB磁盘,64位Windows Server 2008 R2,SharePoint 2007(或)SharePoint 2010,VS 2010和SQL Server 2008 R2。
我在一个embedded式平台(OpenWRT)上使用nginx作为IP摄像头前面的反向代理,我遇到了一个问题,即摄像头比nginx能够更快地将数据推送到nginx。下一阶段。 随着反向代理删除,额外的框架只是被丢弃,就是这样。 但nginx似乎缓冲了大量的相机数据(多达10-15秒的价值),这本身就performance为对观众的极度迟钝。 那么,首先,是否有显而易见的事情可以增加逆向代理的吞吐量? 我没有使用HTMLparsing或翻译,只是过滤几个目录到其他地方,代理其余的相机。 像包检查一样的其他代理function需要显式禁用? 其次,如何大幅度减less或消除nginx积累这个大缓冲区的意愿? 我宁愿看到丢包时超载,而不是把它们存储起来。 谢谢。