Articles of 存储

与在NTFS上存储数百万个文件相关的性能

有没有人有一个方法/公式等,我可以使用 – 希望基于当前和预计数量的文件 – 投影拆分的“正确的”长度和嵌套文件夹的数量? 请注意,虽然相似,但与在文件系统中存储一百万张图像不太一样。 我正在寻找一种方法来帮助使理论更加通用。 假设 我有一些最初的文件数量。 这个数字是任意的,但是很大。 说500k到10m +。 我已经考虑了支持这种努力所必需的底层物理硬件磁盘IO要求。 换一种方式 随着时间的推移,这家店将会增长。 我希望在当前的performance上达到最佳平衡,并且随着我的需求的增加。 说我把存储空间增加了一倍或三倍。 我需要能够解决当前的需求和未来的增长。 我需要提前计划,而不是牺牲太多目前的performance。 我想到了什么 我已经在考虑对每个如此多的字符使用散列分割来将事物分割到多个目录中,并保持树木的均匀性,这与上面问题中的注释中所述的非常相似。 它也避免了重复的文件,随着时间的推移这将是至关重要的。 我确定最初的文件夹结构将根据我所概述的内容以及最初的比例而不同。 据我所知,这里没有一个适合所有的解决scheme。 通过实验工作来完成这项工作是非常麻烦的。

RAID50是否适用于文件服务器?

我们有一个新的存储arrays,包括下周到达的24个600GB 10K SAS磁盘,我试图决定如何最好地分配我们的3节点VMware vSphere集群的可用空间,这个集群将通过8Gb FC访问arrays完全冗余的多path。 我们有两个主要的工作负载 – 内部MySQL和Exchange 2010服务器,我将把它们分类为高IO和Windows域控制器以及一个文件服务器,我将分类为低IO 。 我最初的计划是用RAID10中的6个磁盘分割arrays,其余18个分别使用3个6磁盘RAID5筒仓或6个3磁盘筒仓。 机箱没有“热备份”,但我们已经订购了一个额外的磁盘作为现场“冷备用”。 现在,这在原则上是有效的,但是我不确定在实践中有多安全 – 我已经阅读了几篇文章,虽然提高的空间效率正在向RAID50的方向发展,但是我看到的几个post基本上都是这样说的由于不可靠性和故障风险,RAID50(与RAID5一起)在业界已被弃用。 我是不必要的偏执,如果不是,我应该使用RAID10筒仓而不是RAID50?

ZVOL在iSCSI上的性能?

我有以下testing设置:HP Microserver N36L(双核低功耗Athlon64)8GB ECC内存2端口Intel千兆网卡4x3TB WD Green(5400 RPM?)1个用于操作系统映像(FreeBSD 10.1)的SATA磁盘 交换机是HP v1910-24G(pipe理型二层交换机,24个千兆端口) 客户是:DH67BL主板上的Core i5 2400 24GB RAM 1个Intel千兆位(板载) FreeBSD机器通过iSCSI公开其zvols,发起者是Windows。 在Windows上,iSCSI卷格式化为NTFS,VMWare Workstation将其用作其他VM的磁盘(在这种情况下,也是Windows 7 VM)。 我已经尝试了zvols的几个configuration,主要是从4k到64k的不同值的volblocksize,以及4到64k的NTFS簇大小。 我尝试过blocksize = cluster size和block size> cluster size的组合。 在所有情况下,我基本上都是一样的: 连续读取速度为110-120MB / s(千兆位以太网限制)。 随机读取<5MB / s 在VM之外或之内复制大文件是可以接受的。 启动窗口的速度非常缓慢(全新安装login屏幕需要3分钟以上,桌面更多1分钟) 这是预期的行为?

KVM直接磁盘访问与原始文件

我必须设置14TB的RAID存储空间(只显示为/ dev / sdb)。 我的问题是: 如果我直接在这个大驱动器上创buildext4,在/ mnt / kvms之类的主机上挂载它,然后在其上创build原始kvm磁盘映像,是否会对kvm guest虚拟机的性能产生影响? 在kvm机器上直接configuration/ dev / sdb会快很多吗? 我认为它是一个专业的,如果这个大的存储区域会发生什么事,如果我直接使用该设备,我不能做太多的事情,假设我创build了2x7TB的kvm原始磁盘文件,如果1个文件有问题至less我还有我的数据在另一个访问。 你怎么看?

多个文件系统的MySQL

MySQL是否支持MyISAM中大多数表的多个文件系统? 上下文:我们有一个1.5TB的mysql数据库,每月增加200GB。 存储是直接连接,其插槽几乎满。 我可以添加另一个DAS,并增加文件系统。 但是resize,调整文件系统大小等等都是一团糟。 在MySql世界中有没有“tablespace,datafile”的概念(如在oracle中)? 或者你们如何pipe理这些types的约束MySQL数据库?

在我的硬盘上启用“扩频时钟”的价值/成本是多less?

我正在build造一个比较大的NAS盒子(10倍的WD RE4 2TB SATA RAID10),遇到了一些问题。 在我的研究,debugging,调查等过程中,我发现了标有“ 扩频时钟 ”的物理驱动器跳线。 在互联网上search了一些这样的东西之后,一些人build议(没有提及或解释)启用“存储configuration” ,使驱动器不易受EMI影响 。 但为什么? 我有三个核心问题: 为什么这个function默认不启用? 什么是实际的好处? 有没有费用?

有没有办法build立一个没有所有驱动器的Linux软件RAID系统?

我build立一个raid1(好吧,它可能会是一个raid10,F2,但与2个驱动器的区别…并不多)与2个1TB驱动器的系统。 但是,我订购的驱动器中有一个是坏的,所以我正在使用RMA。 我想知道是否可以分区和安装到1驱动器,然后重buildarrays,当我得到第二个驱动器(当然,我testing之后)我最初的调查没有显示我创build数组的方式没有指定所有设备…第二个驱动器将是一个具有我需要迁移的数据(加上它不够大)的设备。 有没有可能创build一个数组而不指定所有设备? 或指定错误的,然后重新configuration到正确的? 或者我没有想到的其他方法。

HP MSA2000磁盘扩展

我们有一个MSA2000。 我们在其中有7个146GB的磁盘Raid 5。创build了1个虚拟磁盘,我有5个卷。 所有5卷增加了大约817GB左右。 我们的“数据”文件夹是805GB。 最近我们购买了5个300GB的磁盘来装满机箱。 我的想法是,我们只是将额外的空间添加到现有的虚拟磁盘和卷,并增加1.2TB的存储空间。 所以我做了一个虚拟的磁盘扩展,然后进行了扩展。 两者都花了相当长的时间来处理。 所以,我现在回头看看,而且我第一次把这个额外的空间加到了错误的量上,这个量是我用于法定人数的。 哎呀。 然后意识到,为什么在MSA上查看音量只有735GB而不是1.2TB? 所有的计算器在那里说5个RAID 500 500 GB的磁盘将给我1.2TB的可用空间。 所以我首先想的是如何反转这些变化,然后重新开始,创build一个新的虚拟磁盘和一个新的卷。 无法弄清楚如何。 惠普说我不能扭转这种变化。 所以我的问题是。 我在这里有什么select? 另外,为什么只有735GB的解释? 还有一件事,当我进入我的故障转移群集pipe理服务器之一,进入磁盘pipe理,我不能分配磁盘空间或工作? 基本上我很难接受465GB的存储空间 任何build议将是伟大的。 谢谢所有..

为现有文件生成纠错数据(备份)

我的服务器有一个大的数据集存储在磁盘上。 我很担心这些年来数据被无声地破坏的可能性。 我的想法是为这些文件生成“恢复数据”,这样我就可以从小的损坏恢复.rar文件可以(winrar可以添加恢复数据或恢复卷)。 是否有任何工具可用于生成恢复数据,而无需修改文件本身?

如何布置高容量存储

我正在构buildvideo的高容量存储。 目前在20TB大关,并保持增长。 目前,我有12托架shell填充2TB驱动器,并configuration在RAID-6。 我正在考虑购买另一个12托架机箱,并填写2TB驱动器以及我正在考虑以下2个选项: 或者在12个额外的驱动器上扩展我的RAID-6arrays 从12个新驱动器创build另一个RAID-6arrays,然后使用LVM扩展原始卷。 在第一种情况下,我将面临4-6周的重build时间,然后才能使用额外的容量。 另外,如果以后需要将另一个支架添加到此arrays,并使用相同的方法,重build时间可能会更长。 在第二种情况下,我放弃了一些容量和潜在的性能,但似乎更容易处理和可用性时间更可预测。 我也计划在未来2 – 3年内将这个arrays扩大到7-10个架子,整个arrays将包括一个巨大的XFS格式。 那么,有没有人可以从他们的经验中发言,并详细说明每种方法的利弊,以及随着时间的推移将会面临的潜在问题。 谢谢