为什么企业存储如此昂贵?

这是一个关于企业存储成本的典型问题 。
另请参阅以下问题:

  • 向开发人员和其他用户解释存储问题的最佳方法是什么?

关于一般问题如:

  • 为什么我每个月要额外支付50GB的存储空间?
  • 我们的文件服务器总是空间不足,为什么我们的系统pipe理员不会在这里抛出额外的1TB驱动器?
  • 为什么SAN设备如此昂贵?

这里的答案将试图更好地理解企业级存储如何工作以及对价格的影响。 如果您可以扩展问题或提供有关答案的见解,请发布。

    1. 与桌面硬盘驱动器容量相比,服务器硬盘驱动器的容量是微乎其微的。 450和600GB在全新的服务器中并不罕见,您可以以一个 600GB SAS(服务器)硬盘的价格购买许多4TB SATA桌面硬盘。

    2. 你家里的台式个人电脑的SATA硬盘就像福特,通用汽车或梅赛德斯或任何其他汽车制造商为每一天的人(大容量V8或V12,5或6升)的肌肉车。 因为他们需要由没有驾驶执照的人驾驶,或者理解一个内部的混合引擎是如何工作的,他们有很大的容忍度。 他们有限速器,他们的devise是运行在一定的额定值的任何石油,他们有服务间隔说10,000公里,但如果你错过了几个星期的服务时间,它不会爆炸在你的脸上。 当你长途跋涉时,他们不会着火。

      服务器中的SAS驱动器更类似于一级方程式1引擎。 它们非常小(2.4升),但由于极小的公差,因此具有巨大的功率输出。 他们转速更高,并且通常没有转速限制器(这意味着如果驾驶不正确会造成严重的损坏),而如果错过了维修间隔(每隔几个小时 ),则发生爆炸。

      你基本上是比较粉笔和奶酪。 英特尔白皮书“ 企业级”与“桌面级”硬盘驱动器中讨论了数字和完整细分

    3. 让我们在这里谈一些硬数字。 假设您请求1MB的额外数据(一个不错的整数)。 这个数据真的有多less? 那么,你的1MB数据将进入RAIDarrays。 假设他们正在安全并将其变成RAID1。 你的1MB的数据是镜像的,所以它实际上是2MB的数据。

      假设您的数据位于SAN内部。 在SAN节点发生故障的情况下,您的数据将以字节级别同步到第二个SAN节点。 所以它是重复的,你的2MB的数据现在是4MB。

      您希望您的提供商保留现场备份,以便在非灾难性紧急情况下恢复您的数据? 任何像样的供应商都会为您提供至less1个现场备份,或许更多。 假设他们在现场每周拍一次照片三个星期。 这是一个额外的3MB的数据,所以你现在已经达到了7MB。

      如果发生严重灾难,您的提供商最好有一个副本保存在异地。 即使是一个月大,也应该存在。 所以现在你高达8MB。

      如果它是一个真正的高级提供商,他们甚至可能拥有一个实时同步的灾难恢复站点。 这些磁盘也将被RAID,所以这是一个额外的2MB,因此你高达10MB的数据。

      你将不得不最终传输这些数据。 什么? 转移它? 是的,数据传输花钱。 当你下载它,通过互联网访问它,甚至花钱支持它(有人必须把这些磁带带出办公室,这可能是因为你的1MB的数据意味着他们必须购买一个额外的一套磁带并把它们转移到某个地方)。

    4. 当您的SATA主驱动器出现故障时,您可以致电技术支持,并说服他们驱动器已经死亡。 然后把你的驱动器送到制造商(最常用的是你自己的钱)。 等一个星期吧 获取更换驱动器,并重新安装它(它几乎肯定不是热插拔或在一个驱动器底座已经)。

      当SAS驱动器出现故障时,请致电技术支持。 他们几乎从不怀疑你的意见,驱动器需要立即更换,并下降一个新的驱动器; 通常新的驱动器在当天晚些时候交付,否则第二天也很常见。 通常情况下,制造商会派遣一位代表来实际安装驱动器,如果你不知道如何(如果你计划有假期,非常方便,并需要在离开时继续工作)。

    5. 企业级驱动器的容差很小,请参见上面的#2,并且趋于比消费级驱动器(MTBF)长10倍。 企业级驱动器几乎总是支持先进的错误和故障检测function,而Google的这一报告发现在40%左右的时间内工作正常,但这是任何人都希望电脑突然死亡的原因。

      当您的家用计算机上有一个驱动器时,其统计失败的可能性就是驱动器的可能性。 过去曾被评为MTBF的驱动器(其中SAS驱动器仍然享有高达50%的额定值或更高),现在看到错误率更为常见。 典型的SAS驱动器出现不可恢复的错误的可能性是10到1,000倍(最近我发现的是最常见的100倍)。 (根据Seagate,Western Digital和Hitachi提供的制造商文档的错误率;没有偏见;明确声明不承担赔偿责任)。

      错误率尤其重要,不是在驱动器上运行不可恢复的错误时,而是在同一arrays中的另一个驱动器发生故障时,并且不依赖arrays中的所有驱动器以便读取故障磁盘。

    6. SAS是SCSI的衍生产品,是一种存储协议。 SATA基于ATA,它基于ISA总线(恐龙时代的计算机中的8/16位总线)。 SCSI存储协议有更广泛的命令来优化数据从驱动器传输到控制器的方式。 效率的提高会使得本来比较平等的SAS驱动器本身更快,特别是在极端的工作负载下,比SATA驱动器更快; 这也增加了成本。

    7. 生产的SAS驱动器较less,规模经济决定了其他产品的价格将会更加平等。

    8. SAS驱动器通常采用10k或15k转速; 而SATA通常在5.4k或7.2k。 SAS驱动器,特别是日益stream行的2.5英寸硬盘,其search速度更快,两者的结合大大提高了驱动器可以执行的IOPS,通常SAS驱动器速度提高了约3倍,当多个用户要求不同的数据时,IOps驱动器/arrays的容量成为关键的性能指标。

    9. 数据中心中的驱动器通常都处于启动状态。 研究发现,驱动器故障受其加热/冷却循环次数(从运行和closures)的影响。 保持它们始终运转通常会增加驱动器的使用寿命。 这样做的结果是驱动器消耗电力。 这种电力必须由某种东西来提供(在大DC的情况下,驱动器本身可能需要比小型住宅区更多的电力)。 他们还需要散热,需要冷却系统(自己需要更多的电力来运行)。

    10. 基础设施和人员成本。 这些驱动器是高端NAS或SAN设备。 这些单位是昂贵的,即使没有昂贵的驱动器。 他们需要昂贵的人员来部署和维护它们。 这些NAS和SAN设备所在的build筑物的运行成本很高(请参阅上面关于散热的一点,但是还有更多的事情要做)。备份软件通常不是免费的(镜像的许可证也是如此) ,部署和维护备份的人员通常也很昂贵。 租用场外磁带交付和存储的成本只是当您需要更多存储空间时开始累积的许多事情中的一个。

    请记住,他们的驱动器的容量可能是桌面驱动器的十分之一,五倍的价格,你的1MB的数据实际上是10,而其他所有的差异,你没有办法绘制任何有意义的您桌面存储的价格与企业级存储的价格之间的结论。

    我不会把这个添加到顶端的CW答案,主要是因为这是一个意见分歧。 如果你愿意,可以随意合并/编辑。

    通常情况下,“企业级”存储成本太高的原因可能是提问者不理解需求,但有时系统pipe理员不理解需求,不能将需求传达给有采购权的人,被所述权威忽视。

    高性能,高可用性,低维护成本的存储arrays非常昂贵 。 系统devise人员的一部分工作就是要知道这些是合适的,以及不同的devise是合适的。

    我不认为不同types的磁盘驱动器的相对成本实际上与任何一个示例问题相关。

    为什么我每个月要额外支付50GB的存储空间?

    这显然是针对某种服务提供商的。 我脑海中的两个可能的答案是:

    1. 在曼哈顿/伦敦/香港,你有5个9的正常运行时间,24/7的支持。 旋转的盘片只是你支付的堆栈的一小部分。

    2. 你付出太多了 谈判,交换提供商,或把它放在家里。

    我们的文件服务器总是空间不足,为什么我们的系统pipe理员不会在这里抛出额外的1TB驱动器?

    这几乎肯定是一个糟糕的devise(可能出于政治原因)。 该文件服务器上的数据落在这个范围之内:

    • 数据值得存储在高性能,高可用性,高成本的设置上。 由空间不足导致的停机时间影响您的高可用性,并且是devise或计划失败。

    • 数据不重要或性能下降或停机时间更长是可以接受的。 便宜的磁盘和便宜的备份解决scheme是可以接受 由于缺less磁盘空间而导致的正常停机时间似乎仍然是一个奇怪的折衷,因为在这种情况下,您的大部分成本可能会成为您的系统pipe理员时间,并且从长远来看,他们会花更多的时间解决低磁盘空间。

    请注意,我说这是一个频谱,大部分要求都在两者之间。

    生产任何产品的成本直接与在反馈回路中销售的产品的数量直接相关。

    对于传统的硬盘来说,使用旋转生锈的玻璃和电子元件,机械和电子元件的成本可能会有很大的变化 – 然而,出现了两个明显的价格/质量波段 – 企业和商品。

    然而,一个企业驱动器的销售量减less会对你所得到的东西造成沉重的代价 – 这个成本是七倍的东西不会好七倍。

    企业单位(一定容量)比商品单位稍快,比如希捷Barracuda SATA(商品)和Cheetah SAS(企业)驱动器:

    model Barracuda Cheetah capacity(Gb) 500 450 sustained data 125 168 rate (Mb/s) cache(Mb) 16 64 annual failure <1% 0.44% rate Price GBP 42 275 Price USD 67 440 

    但是在企业环境中,没有一个理智的系统pipe理员会将重要数据存储在单个驱动器上 – 使用多个驱动器可提供更高的可靠性和带宽,并有效地减less延迟; configuration为RAID10的四个Barracuda硬盘将比单一的Cheetah硬盘快很多,数据丢失的风险大约低于60%。

    当然,使用Enterprise驱动器可以获得更好的保修,供应商通常可以在同一天向您提供一个 – 但您可能能够从本地供应商处获得商品驱动器的速度比供应商的速度快快递出更换磁盘。 另一方面,企业磁盘更有可能成为故障驱动器的完全替代品。

    所以也许你从企业级驱动器获得更多的可靠性? 虽然制作和销售驱动器的人经常说这是事实(希捷在他们的网站上对此很吝啬),但即使是他们发布的混淆数字也显示它不到2倍。 独立研究表明, 没有显着差异 。

    与ATA命令集相比,SCSI命令集确实有一些技术上的优势 – 特别是在允许操作系统准确地知道提交到磁盘上的情况方面 – 但是这同样只会影响文件系统的性能和可靠性在单个磁盘上实现。

    如果您的服务提供商使用光纤通道SAN,那么每千兆字节存储的成本将至less是在离您最近的硬件商店购买硬盘时的8倍。 但是还有其他的方法可以显着降低成本。

    请注意,与购买现成的磁盘相比,这仍然不会比购买便宜的磁盘便宜,因为您也在为冗余,电力,空调和支持付费,但这些成本应该与存储成本相比很小。

    同样值得注意的是,“本地”存储的成本可能比你想象的还要高。

    作为将我们的一些“存档”数据移动到云中的练习的一部分,我最近完成了一个定价练习,比较了我们最新的SAN上可用的(例如格式化的而不是原始的)磁盘空间的成本与存储的成本在亚马逊云数据服务中。

    考虑到包括磁盘在内的SAN本身的价格,假设SAN硬件的使用寿命为5年,而不是运行我们服务器机房的“开销”成本,我们150Gb本地存储的价格为31.88美元/月,亚马逊为28.41美元/假设每个月的stream量率上下20%)。

    现在我不急于将所有的存储设备迁移到云端,因为在本地存储方面还有其他的好处,但是我认为这种定价方式非常有用: 如果您认为云存储的价格昂贵,你真的在为本地存储付费吗?

    我同意关于托pipe公司提供的质量的其他职位。 但我们最近重新做了我们的托pipe合同,四处逛逛,没有人在存储空间上具有竞争力,也没有比我们以前的3年合同低。 SAS硬盘的价格一直在下降,磁盘架/arrays/ SAN / FC /交换机已经下降,一切都在降价。 但不是磁盘存储?

    一位经验丰富的同事指出了这个策略。 CPU,内存,带宽定价令人眼花缭乱! 在这里注册! 立即注册并忽略该磁盘空间问题! 你将不需要太多的磁盘空间。 看看CPU和内存!

    一旦你承诺他们的合同,他们真的得到了你,他们在磁盘空间的收入。 是的,它是RAID-5和高性能等,但备份成本更高,异地复制成本更高。

    对于托pipe公司来说,这是一种商业模式。 大多数企业的价格与他们的价格类似 – 在这里降低这个价格,但增加那里的价格,以弥补其他地方的收入。 他们也必须支付他们的租金和薪水。

    对于内部服务器你有不同的问题。 你不能走进一个带有新的3TB硬盘的Fedex盒子的服务器房间。 如果您计划进行扩展,则更容易,但是插槽,I / O,控制器卡和电源方面,服务器/机架/arrays可能已经达到其容量。

    就像在岩石下面看,你会发现你会发现什么。

    我对这个问题的看法是简单的IO …一个文件,坐在一个单一的商品硬盘驱动器没有突袭,可能没有热交换,通常由一个人访问,可能永远不会备份。 这是一个便宜而简单的IO方法…

    在我们的业务中,我使用了最昂贵的raid(raid 10)方法之一,它至less需要4个驱动器;我们使用6 …这使我们获得了高IO率和容错能力。

    这个configuration节省了我的一大笔钱,而这个结果意味着更高的性能和更less的terminal用户的停机时间。对于简单的IO来说,只有一个人失望,并且可能几乎没有与停机时间相关的财务价值。

    我们还有一个专用的iSCSI服务器,用于Xen虚拟化,也configuration为RAID 10 …

    需要使用和备份的IO越多,执行的成本就越高……如果您的企业需求会接受数据丢失,速度非常慢并且没有冗余 – 那么可以在低廉!!! 只是准备被解雇