一个具有唯一文件名的新文件在一台服务器上经常“出现” 1 。 （像每天数百GB的新数据一样，解决scheme应该可以扩展到千兆字节，每个文件大小可以达到几兆字节，最高可达几十兆字节。） 有几台机器处理这些文件。 （十，应该解决scheme可以扩展到数百）。应该可以轻松地添加和删除新的机器。 有备份文件存储服务器上每个传入的文件必须复制的档案存储。 数据不能丢失，所有传入的文件必须在备份存储服务器上传送。 每个传入文件myst被传送到一台机器进行处理， 并应复制到备份存储服务器。 接收方服务器在发送文件后不需要存储文件。 请build议一个强大的解决scheme，以上述方式分发文件。 解决scheme不得基于Java。 Unix方式的解决scheme是可取的。 服务器是基于Ubuntu的，位于同一个数据中心。 所有其他的东西都可以适应解决scheme的要求。 1 请注意，我故意省略了有关文件传输到文件系统的方式的信息。 原因在于这些文件现在由第三方通过几种不同的传统方式发送（奇怪的是，通过scp和通过ØMQ）。 在文件系统级别切割跨集群接口似乎更容易，但是如果其中一个或另一个解决scheme实际上需要一些特定的传输，则可以将传统传输升级到该传输。
我正在寻找可能使用Server 2012R2中的存储空间来构build一个NAS。 我正在寻找build立一个相当大的单位，12-14硬盘，在“RAID10”像设置（我知道存储空间不做RAID10，但也有类似的东西），与SSDcaching。 而且我期待在未来可能挂钩另一个外部JBOD机箱，为“RAID5-6”类似的设置。 我不打算做减压或重复数据删除。 我的问题是，我想要什么样的硬件？ 一个小至强或Opteron能够处理它吗？ 或者我应该拍摄一个更大的2.4GHZ + Xeon 4核心HT或12核心Opteron，甚至是双重cpus？ 系统需要多less内存才能获得最佳性能？ 我一直在寻找微软的Storage Spaces设置的硬件指导方针，但我一直无法find任何东西，所以如果有人知道一些请告诉我正确的方向。 我正在考虑使用FreeNAS或另一种基于Linux的替代scheme来设置这些单元，但是我部门的大多数IT专业人员几乎没有Linux经验，如果遇到公交车，他们更愿意使用基于Windows的解决scheme可能。 同样的道理，任何人都知道FreeNAS或其他Linux NAS备选schemeVS的性能比较。 Windows Server 2012 R2存储空间？
一般的经验法则是不要使用超过80-85％的容量，否则性能会急剧下降，而其他不好的事情可能会发生。 在一个8TBarrays上，这个空间必须保持在1.6TB左右。 40TBarrays将需要大约8TB的可用空间！ 这仍然是数组较大的惯例吗？ 我在桌子上留下太多的磁盘空间吗？
关于IOPS，我在网上看到了几个来源，提示给定数量磁盘的IOPS仅仅是单个磁盘的IOPS乘以磁盘的数量。 如果我对IOPS的理解是正确的（而且我一点都不确定），那么我会认为现实将取决于RAID级别，其中包括许多其他因素。 使用RAID 1/10时，所有数据都至less被复制到两个磁盘上，从而减less某些IO模式在特定磁盘上的争用。 但是，在条带化的RAID级别（如RAID 0/5/6）中，数据是分布式的而不是重复的，这意味着连续的读取请求可能针对同一个主轴，从而导致在前一个IO完成时阻塞。 写作甚至更有争议。 我还要补充一点，我认识到，由于各种优化和其他因素，现实情况要复杂得多。 我的问题实际上只是在一个非常基本的层面上，即我是否理解IOPS意味着什么是正确的。 这可能是因为我认为IOPS甚至会受到RAID级别的影响，这说明对这个概念有一个基本的误解。
有关Serverfault关于alignment4k扇区磁盘有许多问题，但有一件事情还不是很清楚。 我成功地alignment了我的RAID1 + LVM。 我做的一件事是使用mdadm超级版本1.0（它将超级块存储在磁盘的末尾）。 该手册说： 不同的子版本将超级块存储在设备上的不同位置，可以在结尾（1.0），开始（1.1）或从开始（1.2）开始4K。 “1”相当于“1.0”。 “默认”相当于“1.2”。 1.2版本是默认的，用于4K扇区驱动器？ 我看到它的方式不是这样，因为从起始4k开始，超级块的长度不是4k（如果我没有记错的话，超级块的长度大约是200字节）。 任何对此的洞察力都是值得欢迎 编辑： 下面回答mdadm superblock 1.1和1.2是为4kalignment的。 我刚刚创build了一个整体设备突袭： mdadm –create /dev/md4 -l 1 -n 2 /dev/sdb /dev/sdd 然后我添加了一个逻辑卷： vgcreate universe2 /dev/md4 arrays以16 MB / s同步： md4 : active raid1 sdd[1] sdb[0] 1465137424 blocks super 1.2 [2/2] [UU] [>………………..] resync = 0.8% (13100352/1465137424) finish=1471.6min speed=16443K/sec 所以我怀疑它是否正确alignment。 （磁盘是1.5TB的WD […]
好吧，首先，让我说我不是一个操作人员，而是一个开发人员。 所以我在这里进入一个未知的土地，所以请忍受我。 我想使用Azure虚拟机从1.9 GB的zip文件中提取50 GB的XML文件。 所以我一直在testingAzure上的哪个实例大小，以便获得更好的性能，同时不会超出我的需要。 然而，Azure虚拟机的磁盘性能并不是很好，我想知道是我做错了什么，或者如果我的结果是可以预料的。 首先，我一直在testing什么？ 我有一个自定义的.NET控制台应用程序，它只是将一个zip文件作为参数，然后立即开始将zip文件解压缩到zip文件所在的相同目录中。解压缩过程中，应用程序计算有多less兆字节应用程序每秒都写入目标文件并输出。 在我的本地开发机器上，我用这个应用程序获得了非常好的性能，编写160-210 MB / s。 所以整个提取过程大约需要8分钟。 我的本地机器的规格是英特尔酷睿i7 950,3 GHz，4核心（8逻辑），12 GB内存，三星SSD 830系列250 GB。 好的，所以我开始testing不同的实例大小，这是我的结果。 在带有Windows Server 2012 Datacenter R2（8核，14 GB RAM）的A4实例上，使用同一个存储帐户的4个虚拟磁盘的条带化RAID，无需主机caching，我可以稳定的30-35 MB / s，这意味着整个提取花了24分48秒。 我也尝试启用主机caching，但它并没有真正有所作为。 在使用Windows Server 2012数据中心（8核，28 GB RAM，500 GB本地SSD磁盘）的D4实例上，我在第一分钟内获得了非常好的性能（150 MB / s），然后在200 MB / s和山谷在9 MB / s。 平均性能在70到100 MB / s之间。 提取花了9分40秒。 在使用Windows Server 2012 […]
你们中的许多人也可能做到，我有越来越多的电缆，硬件和备件（螺丝，连接器等）。 我期待着find一个好的组织体系，这样一切都不是乱七八糟的，乱七八糟的，并且可能会被损坏。 由于上面列出的三件事物都有不同的尺寸和程度，所以这是一个有趣的问题。 目前我在沃尔玛有一些便宜的塑料存储箱可供select。 曾经包裹得很整齐的电缆由于众多的“我知道我有这个电缆”而变得纠结。 其他箱子里的硬件混杂在一起，没有彼此的保护。 网卡，CPU和硬盘都是相互影响的，可能会造成损害。 最后在这两个塑料袋里散落着零散的零散物品。 我正在把这个存储统一到一个受控制的混乱中。 这是我的想法： 几何和结束是最简单的。 螺丝，连接器和小型电子零件非常适合处理盒子和首饰盒。 由于这些通常是dynamic划分的，我可以调整内容并在盖子的外部或内部标记它们。 电缆很容易用短的维可牢尼龙搭扣缠绕，但这并不能阻止它们混合在一起。 硬件是最严重的罪犯。 美味的大小，形状和程度几乎每一件都有变化。 我愿意为了某种有效的方式牺牲一些组织。 你有什么想法？ 什么是最好的types的解决或首饰盒使用？ 他们大多是廉价和脆弱的。 有更好的select吗？ 我怎样才能组织电缆，确切地知道（在合理的范围内）哪里？ 将电缆与硬件相连（墙上适配器到路由器等）如何？ 什么样的存储单元适用于所有形状的硬件？ 为了更好的组织，我需要根据大小或细微程度分开吗？
这可能是一个愚蠢的问题，请原谅我的无知。 我有一个这样的实例运行： 根设备：EBS是指我的整个系统在EBS上吗？ 我已经在这里configuration了apache和perl应用程序，我所有的configuration和文件都不会消失吗？ 我如何知道在临时存储上运行的是什么以及EBS上运行的是什么？ 如果我在pipe理控制台中单击实例并查看底部的详细信息，则会显示： EBS Optimized: false这是什么意思？ 这是我的存储看起来像： [ec2-user@<MY_IP> ~]$ df -h Filesystem Size Used Avail Use% Mounted on /dev/xvda1 7.9G 1.7G 6.2G 22% / tmpfs 298M 0 298M 0% /dev/shm [ec2-user@<MY_IP> ~]$ mount /dev/xvda1 on / type ext4 (rw,noatime) proc on /proc type proc (rw) sysfs on /sys type sysfs (rw) devpts […]
我的一位朋友告诉我，他实习的公司没有服务器机架，因为冷却只占用太多的能源，因此效率不高。 该公司正在使用“普通”PC塔安置他们的服务器。 这些塔放置在某种重型货架上。 冷却服务器机架是否真的需要比使用塔更多的能源？
我认为这是每个系统pipe理员都很痛苦的一个领域。 用户并不知道他们正在使用多less存储空间，也没有花时间来pipe理存储空间或存储空间。 贵公司采取了哪些策略来保持networking磁盘空间的控制？