Articles of 存储

尽pipefsync,stat()mtime在过去

这可能有点深奥,但是我有一个奇怪的与stat()的问题。 特别是 – 在Linux系统上安装了Isilon存储NFS。 我有一个在同一个文件上运行fstat时获得时间差的进程。 我可以使用一点C来重现这一点,它没有比open-write-stat-close更复杂; 开放-STATclosures 这两个数字偶尔会有几个毫秒的差别 – 一个文件可能会比实际上显得“老”。 我不清楚“stat”是从主机还是从服务器读取时间。 而且我也不清楚问题是否与Isilon有关(尽pipe在NetApp存储上似乎没有发生这种情况)。 任何人都可以给我一点洞察可能会发生什么? 举个例子: time mismatch: 1468936451.862865611 != 1468936451.860183107 第一个是文件句柄打开时读取的时间。 第二个是closures(和fsync )后读取的时间。 正如你所看到的那样 – 文件在服务器上比在客户端上老一些。 C来testing这个是: #include <stdio.h> #include <stdlib.h> #include <fcntl.h> #include <unistd.h> #include <sys/stat.h> #include <sys/types.h> int main () { while (1) { struct stat sb[2]; /* * Open file */ int fd […]

监视位级存储的变化

在特定的日子里,我遇到了备份大小差别巨大的问题,这也妨碍了我们通过互联网build立可靠的异地备份系统。 通常每天进行一次+ 10GB的备份,在一周的两个特定日子里增加到100GB +。 罪魁祸首的虚拟机有几个驱动器,8GB的RAM。 我已经使用SysTracer监视文件和应用程序的变化,以确定文件级别的重大变化,但这没有帮助,因为它没有显示任何原因(变化不应该高于15GB)。 由于我们的备份解决scheme(Altaro)在比特级备份,我甚至听说甚至在进行碎片整理之后还能检测到很多修改(结果又重新整理了一遍)这些巨大的备份创build之前的几天。 但是,它确实令我感到惊讶,因为计划的碎片整理作业最多只能运行大约30秒,所以我不会认为很多文件已经被重新定位在驱动器上。 我想知道的是一种监视存储位/块级别真正变化的方法,以便我可以确定这些大量备份的原因,并希望find解决scheme。 例如,查看已修改数据总量概览的工具将非常有助于识别数据。 其他提示或说明也是有帮助的。 谢谢

如何估算用于AWS ECR中泊坞窗图像的存储和stream量?

我正在尝试使用AWS ECR的每月成本。 它将包括:传出stream量成本(下载图像)和存储成本(在ECR中存储图像)。 我们假设: 我们正在使用Mono构build一些Web服务(基础docker图像大小为500Mb); 我们的CI&CD服务器每月build立并推送图像到ECR 300次。 为简单起见,旧图像未被移除; 我们的编译代码在基本映像中增加了40Mb的附加层; 我们每个月从AWS下载图片60次; 第一个问题是: 如何估算每月存储量 ? 什么方程是正确的? Monthly_Vol_1 = 500 + 40 * 300; – 基础图像只存储一次 Monthly_Vol_2 =(500 + 40)* 300; – 每个图像都包含基本图像 第二个问题是: 如何估算来自AWS的每月stream量? 假设主机下载映像不会删除现有数据。 Monthly_Traf_1 =(500 + 40)* 60; – 每次下载基础图像和附加图层 Monthly_Traf_2 = 500 + 40 * 60; – 仅对第一张图像下载基本图像。 只有应用程序更新被下载 Monthly_Traf_3 = 40 * 60; […]

更换了存储控制器,现在找不到ESXi ZFS挂载点

我们有一个旧的文件服务器(运行Gentoo的所有东西),最近遭受了存储控制器故障。 部件已被replace,除了一个项目外,所有内容都重新联机,可能是最重要的:ESXi挂载点。 前系统pipe理员,虽然辉煌,从来没有logging任何变化。 FSTAB或CRONTAB或任何“正常”的地方都没有创build坐骑。 运行zfs list显示了所有的ZFS挂载名称,但挂载点有一个空白。 我的同事和我正在通过日志文件努力寻找历史坐骑的任何迹象,但没有什么。 这通过infiniband连接到开源许可计算服务器,但不确定是通过NFS,iSCSI还是什么共享。 就像我说的,没有笔记工作。

R630的虚拟化基础设施

我最近被分配到一个新项目,在那里我将不得不使用戴尔R630主机搭build32GB内存,E5 2600 v4 CPU和12个10k SAS硬盘。 我还在每个主机和2个Mellanox交换机中安装了2DP 10G Mellanox卡。 我需要决定的是我使用的是S2D还是VMware Virtual SAN。 我认为VMware会更好,因为我有更多的使用和pipe理经验,S2D也是最近发布的,所以没有人花太多时间在生产环境中进行testing。 几天前,我正在和我的同事谈论这个项目,他告诉我也看看StarWind和HPE,他们会做几乎相同的事情,但更便宜,我开始了我的研究。 不幸的是,我没有find任何有用的信息,并决定询问谁尝试这些解决scheme的人分享他们的想法。 欣赏花时间阅读这个,让我知道你在想什么? UPD:是的,我需要在服务器之间build立共享存储。 另外还有一些问题: 我只有两台服务器,而且我听说前面提到的一些解决scheme需要一个目击服务器? 我可以只用2台服务器,只能去吗? 使用Infiniband卡在服务器之间build立共享存储有什么困难吗? (同样,关于上面列出的产品的问题)

硬盘写入caching被禁用时性能更好? (HGST Ultrastar 7K6000和媒体caching行为)

请注意。 长时间阅读。 在我打算在Ceph设置中使用的日立Ultrastar 7K6000硬盘的初始性能testing中,我发现了一个奇怪的现象:当磁盘写入caching被禁用时,写入性能会更好。 我用fio : fio –filename=/dev/sda –direct=1 –sync=1 –rw=randwrite –bs=4k –numjobs=1 –iodepth=1 –runtime=60 –time_based –group_reporting –name=4krandw 写caching禁用时: hdparm -W 0 /dev/sda 4krandw: (groupid=0, jobs=1): err= 0: pid=6368: Thu Jun 22 07:36:44 2017 write: io=63548KB, bw=1059.9KB/s, iops=264, runt= 60003msec clat (usec): min=473, max=101906, avg=3768.57, stdev=11923.0 写caching启用时: hdparm -W 1 /dev/sda 4krandw: (groupid=0, jobs=1): err= […]

testing有故障的板载RAID卡

我们的文件服务器之一,我不断延迟写操作系统磁盘arrays的故障。 它使用板载RAID卡构build在Raid1arrays上。 到目前为止,我已经通过从机器中拉出硬盘并进行全盘检查来validation硬盘是否正常。 (显然不是在同一时间)只有一个磁盘存在写入失败仍然发生,并不会在服务器中完成检查磁盘。 我该如何去检查它确实是RAID卡还是足够安全地说它是卡? 不要忘记,一个错误的卡意味着主板交换。 谢谢

级联HP StorageWorks MSA60和MSA50

我们目前有两个连接到P600控制器的MSA50arrays级联。 是否可以将MSA60arrays添加到级联? HP文档指出,MSA60与P600兼容。

Filer for HP EVA 4400arrays

我们正在计划将部分基础架构迁移到数据中心。我们的大多数硬件是EMC / Dell,而数据中心则使用惠普。 我们使用的一个组件是EMC Celerra NS20 Filer连接到EMC CX3-10存储arrays。这是用户访问CIFS共享的主要设备。 现在我正试图将一些基础设施移到数据中心,一些文件也需要在那里服务。 这个想法是购买独立的Celerra(没有任何集成的存储),并将其连接到数据中心内已有的EVA 4400上。如果需要,也可以使用Celerra复制器来同步两个Celerra。 如果可以使用EVA4 400作为Celerra的存储,并且他们的答案是“我们不支持第三方存储”,我已经与EMC的支持交stream过了,这是完全可以理解的。 现在我有两个select: 购买集成存储的Celerra。这将比最初计划花费很多,但完全解决了这个问题。 购买可以使用EVA 4400支持的其他文件pipe理器。在这种情况下,使用EMC Celerra和EMC EMC filer将成为下一个挑战。 我检查了惠普网站,找不到任何类似于Celerra的设备。 还有哪些可以与HP存储协同工作的文件pipe理器? 我是否有其他select来复制,而不是使用EMC软件? 提前非常感谢!

pipe理高stream量的媒体分享网站

我正在开发一个网站,我预测会产生大量的stream量。 该网站将类似于许多其他网站提供免费的媒体stream:MP3的。 我们将以相当less量的媒体开始分享,但基本的想法是,艺术家将build立一个个人资料页面,提供给消费者浏览网页和听音乐的音乐。 我们从less数艺术家开始,但是我认为这个项目会产生越来越多的艺术家页面。 最终我想设置它,让消费者可以创build个性化的播放列表。 我怎样才能最好地准备服务器空间和带宽的能力? 我有一个在网站上工作的网页devise师和程序员的小团队,因为在网站pipe理方面我还是个不识字的人。 作为这个组织的领导者,我或多或less地寻求财务要求和每月燃烧率估计。 首先,我没有一个国会大厦,把一个商业计划,但我正在寻求投资。 我有一个游戏计划要成长得足够快,足够慢,以pipe理财务增长的要求。 有什么问题我可能没有问自己? 在共享服务器上启动这个项目是否现实,并升级? 你认为我可以使用的任何财务build议? 我真的很感激任何build议,因为这是我第一次创业。 谢谢大家。 乔丹Westerman DBA贝类生产有限责任公司