单个15K RPM磁盘的带宽？ 10MBps或100MBps？
我试图find一个适合我的数据库服务器的SSD驱动器（postgres在debian 7 amd-64），我发现对于一些SSD驱动器，虽然读取速度是以MB / s为单位指定的，但写入速度是IOPS。 为了使事情更加复杂，有时顺序访问是以MB / s为单位的，在IOPS中是随机访问的。 这些单元如何相互比较以及硬盘（使用旧的MB / s）？
我是一名计算机工程专业的学生，与一个Verari刀片集群项目合作，有点过时了今天的标准。 我已经获得了一些Unix的经验，但我不是一个专家。 这个Verari集群有30个工作刀片节点，20个有两个双核AMD cpus（Opteron 250），4Gb DDR ram和两个250GB的IDE硬盘。 其他10个节点刀片有两个四核Opteron cpus和8Gb ram，以及相同的IDE HDD。 这30个节点连接到以两个千兆交换机为terminal的配线架上，两个千兆交换机之间通过两根cat-6电缆连接，绑定使能。 此外，我有一个IBM工作站，为我的域主持DNS，DHCP，HTTP，LDAP，PXE / TFTP和FOG服务器。 我的任务是用这个硬件安装一个beowulf集群。 它将用于MPI程序，科学计算和地质模拟。 我最初的计划是使用CentOS 6.5和一个好的kickstart文件，以便在每个节点上使用软件RAID 1设置进行部署，使用OpenLDAP服务器，OpenMPI软件和SLURM资源pipe理器进行中央用户身份validation。 由于我还没有中央存储设备，所以我必须寻找一种方法来保持每个计算节点的用户主目录的可访问性，并且只需要最小的性能开销，并在出现问题时确保冗余（这是一个2004〜2006年的硬件更容易失败）。 我想到的是使用自动安装的NFS共享，其中每个计算节点导出一个/ home文件夹和存储在用户ldap帐户上的homeDirectorypath。 这在多达30个NFS服务器的千兆字节链路上结束，将存储节点与计算节点混合在一起，这不是一个好习惯，而是我得到的。 请记住这些是IDE HDD，所以我们在那里有很好的写作和阅读瓶颈。 我想到的其他想法是使用分布式文件系统，再次将计算节点与存储节点混合在一起。 我有红色的GlusterFS，Ceph，AFS，PVFS2，OrangeFS和Lustre。 对于我所需要的，我认为Lustre是要走的路，但是它意味着与Infiniband，Myrinet或其他高速和低延迟链路连接在计算节点上的一组NAS / SAN服务器上。 要在我的基础设施上使用Lustre，我需要有一个用于MDT和MDS的中央节点，其他29个节点作为OST /计算节点。 如果两个选项都出现故障，我可以恢复，但是我不知道Lustre如何在同时作为存储和计算单元的30多个节点上进行扩展。 任何人有更好的想法在我的项目中使用？ 任何经验或类似的设置反馈？ 预先感谢您的答案。
我试图从一台服务器的4TB存储空间复制数TB到另一台服务器的4TB存储空间，但由于第二台服务器上的存储空间不足，超过600GB的额外隐形幻像数据，复制失败。 组态： 服务器1（源） ：Windows Server 2012 Essentials，4TB（3.63 TB格式）镜像ReFS存储空间，已启用文件完整性stream。 存储空间包含3.01TB价值的文件，554GB可用空间。 服务器2（目标） ：Windows Server 2012 Essentials，4TB（3.63 TB格式）镜像ReFS存储空间，已启用文件完整性stream。 文件复制是通过启用validation的FastCopy从服务器1通过networking完成的。 文件复制在大约3TB的文件上失败，服务器2上的Windows资源pipe理器报告目标3.63TB存储空间卷被完全填充。 Windows资源pipe理器报告传输文件的文件夹只有大约3TB。 这留下了652GB的价值，完全不了了解。 包含此652GB的卷上没有其他文件或文件夹。 传输的数据是卷的根目录中的唯一文件夹，除了回收站和（可能是第一次）System Volume Information（系统卷信息）（唯一其他寻找幻影数据的明显位置）之外。 根据vssadmin list shadows ，此卷上没有卷影副本，而vssadmin list shadowstorage不显示卷上的任何卷影存储。 我曾尝试运行多个磁盘使用实用程序 – WinDirStat，TreeSize和SpaceSniffer – 只有TreeSize甚至可以看到除了传输数据的3TB之外，还有其他东西正在填充卷。 但是，TreeSize将这个652GB的内容报告为“未知”。 我甚至尝试在本地系统帐户下运行这些工具中的几个，包括Sysinternals的Du（磁盘使用），并没有改变任何东西。 实用程序仍然看不到有什么东西填满了额外的空间（除了前面提到的TreeSize），更不用说关于幻影数据的细节了。 我删除了目标服务器上的卷，存储空间和存储池，然后重新构build它们，然后再次启动文件复制。 在检查完文件复制过程的一半之后，目标服务器的存储池卷上已经有近300GB的数据未被logging下来。 在接近3TB的时候，文件副本再次失败，就像第一次一样，数百GB的内容填满了剩余的空间。 再次。 有人知道这里发生了什么？
有没有办法，我可以追查是什么导致的问题，我有一些用户说，他试图发送一个非常大的依恋，认为这可能是相关的？ 任何帮助将不胜感激，因为他们正在接近sbs 2003 sp2 18GB的限制。 谢谢。
我原本是以超级用户的身份提出这个问题的，但是对我来说这更像是一个服务器主题。 我刚刚买了一个16G内存的6核Phenom。 我主要用它来编译和video编码（和偶尔的web / db）。 我发现所有的活动都是磁盘绑定的，而我无法保留所有的6个内核。 我正在购买一个SSD RAID来坐在硬盘和tmpfs之间。 我想设置一个“分层”的文件系统，读取caching在tmpfs上，但安全写入到SSD。 我想要在SSD上最近没有被读取的文件（或块），然后使用压缩的FS或块层写回到HDD。 所以基本上读取： – 检查tmpfs – 检查SSD – 检查HD 并写道： – 直接SSD（安全），然后tmpfs（速度） 并定期或空间不足时： – 将最不频繁访问的文件向下移动一层。 我见过一些有趣的项目。 CacheFS，cachefsd，bcache看起来非常接近，但是我很难确定哪一个是实用的。 bcache似乎有点冒险（早期采用），cachefs似乎与特定的networking文件系统绑定在一起。 有“联盟”项目unionfs和aufs，让你挂在彼此的文件系统（通常在DVD上的USB设备），但都作为补丁分发，我觉得这种“透明”安装将成为一个内核function而不是FS。 我知道内核有一个内置的磁盘caching，但它似乎不适合编译。 当我将源文件移动到tmpfs时，速度提高了20倍。 我认为这是因为标准缓冲区专用于一个特定的进程，编译创build并在构build过程中破坏成千上万的进程（只是在那里猜测）。 看起来我真的想要这些文件预先。 我读过tmpfs可以使用虚拟内存。 在这种情况下，在SSD上创build一个带有swap的巨大tmpfs是否可行？ 我不需要从生成的分层文件系统启动。 我可以从别处加载grub，kernel和initrd，如果需要的话。 我倾向于使用ZFS与l2arc和zil上的固态硬盘和zfs压缩和物理硬盘驱动器上的重复数据删除。 所以这是背景。 这个问题有几个组成部分我猜： * Recommended FS and/or block layer for the SSD and compressed HDD. * Recommended mkfs parameters (block […]
我们正在为一个基本上使用LAMP + Java编写的应用程序的客户设置一些虚拟机（大约250个），并在这250个实例中进行一些定制。 本质上，每个应用程序都可以被视为一个Web应用程序，它可以扩展到大约200-500GB的数据（大部分是文件），大小约为1-1.5GB的MySQL数据库。 我们有一个标准的42U机架，我们正在考虑这样的架构。 1）在具有32 GB RAM（250 GB SAS 15 K RPM x 2（RAID 1））的大约14个2x四核/ 6核1U服务器上运行250 Vms。 基本应用程序适合在2 GB以内，包括操作系统舒适 2）拥有一组专用的1U MySQL数据库服务器，并启用了300 GB SAS x 3（RAID 5 H / w）。 添加更多，因为我们需要扩大规模 3）有一堆JBOD（大约6个），容量为30 TB，存储容量为1：1。 这是每个30 TB的JBOD有一个镜像的30 TB的JBOD。 这些将用于存储主要由PDF，word，excel，JPG和一些电影文件组成的文件。 每个应用程序将有大约2-10个同时在线的用户将会写入数据库以及上传文件。 该应用程序是一个商业应用程序，其中每个部门的日常交易数字存储。 可能有几百个页面浏览量或尝试下载为每个应用程序上传的一些文档。 粗略地说，这相当于在10个小时的工作时间内在原始的NAS服务器上，在接近250,000个读写的地方。 预计在MySQL服务器上也会有类似的加载 由于缺乏资金，我们不想投资EMC或NetAPP或任何大型存储供应商的存储盒。 实际上，我们考虑运行基于RAID 0的30 TBarrays，每个arrays都镜像到另一个arrays。 所以如果出现任何故障，冗余盒接pipe，给我们足够的时间来切换。 我们有一些备用的3U机箱，有15个热插拔驱动器托架。 我们正在考虑抛出Dual Xeon处理器，每个处理器都有16 GB ECC RAM，并且在每个盒子上都考虑使用软件RAID而不是H / W […]
我使用OCFS2运行了两个iSCSI目标。 由于某些硬件更改，我必须重新启动iSCSI Target（物理iSCSI目标），并导致所有启动器重新启动。 我想要防止这种情况发生，或者至less让他们在重新启动前等待很长时间。 有一些我可以用来修改目标的sysctlvariables吗？ 我在我的主系统上有多个iSCSI目标，由于需要与多个系统共享，我将OCFS2作为启动器上的文件系统
我在本手册的帮助下安装了UEC。 而且，我没有任何问题，直到我试图进入Web界面中的商店节。 在这一点上，得到错误消息： Error 60: server certificate verification failed. CAfile: /etc/ssl/certs/ca-certificates.crt CRLfile: none 可能是什么问题呢？
我正在做一些启动的开发工作，并被要求处理所有被服务内容的目录结构以及主机服务器的可扩展性（负载平衡等）。 目前，大约有50万个文件，但预计会继续扩展，每个文件应该是唯一的，但有些文件只是同一个文件的旧版本。 所有的文件将被保存在一个SQL数据库以及更多的文件信息。 每个文件都包含一个标识，这个标识是id的，比如file.coder.project每个文件都包含一个标识，这个标识是id的修订版，例如：1或者2或者14等等 到目前为止文件已经在这个结构（string也存储在数据库）： File\coder\project\file.coder.project.rev-md5.ext （文件编码器和项目不是字面上的段，只是一个例子） 问题是一些子文件夹会被其他人填满，我很担心跨多个服务器的复制问题。 我一直在辩论切换它削减其md5sum或沙的价值喜欢3/4水平，只是更新数据库（不是一个问题，很容易） 计划的同步过程将是lsyncd和rsync脚本，因为数据库将被复制到任何地方。 寻找其他的build议或想法，或者是md5 /沙可能更好地切割文件夹密度？ 即使已经知道完整path，两种方法都会影响文件加载/读取时间吗？ 所有的系统都将是Ubuntu的ext3或ext4