Articles of 存储

networking存储为一个研究组,10-100 TB

这与这篇文章有关: 可扩展(> 24TB)的研究部门的NAS 但也许更一般一点。 背景: 我们是一个约10人的研究实验室,他们进行了大量的实验,涉及到在几个实验室设置中的一个实验室设置,然后分析一个实验室电脑。 每个实验可能会产生2 GB或3 GB的数据,而我们正在以大约10 TB /年的速度生成数据。 现在,我们将数据存储在6个networking的netgear readynas pro中,但是即使使用2 TB驱动器,这也只能给我们10 TB的存储空间。 而且,现在我们根本没有备份。 我们的短期备份计划是获得第二个readynas,把它放在一个不同的build筑物,并把一个驱动器映射到另一个驱动器上。 显然,这有点不理想。 我们的select: 1)我们可以支付我们大学$ 400 / TB /年的“备份”在线存储。 我们相信他们比我们更信任我们,但不是很多。 2)我们可以继续购买小型NAS,并在办公室之间进行镜像。 一个限制,虽然愚蠢,是我们没有无限的数量的以太网插孔。 3)我们可以尝试实施我们自己的数据存储解决scheme,这就是我问你们的原因。 有一点要考虑的是,我们是一个非常短暂的人口,我们都不是networkingpipe理专家。 我可能在这里只有一年左右的时间,这里最长的研究生有5-6年的时间。 所以没有什么可以要求专家的监督。 我们的数据传输速率很低 – 大部分数据只是坐在服务器上,等待有人看一两次 – 所以我们不需要一个真正的高速系统。 鉴于这些限制,有人可以推荐一个相当低成本,可扩展,或多或less的交钥匙共享数据存储系统,并在单独的物理位置进行备份。 这样的事情是否存在,还是应该交大学给我们照顾呢? 作为第二个问题,我们的教授刚刚获得任期,并正在编制预算。 这里的目标是尽可能多的要求,希望你能得到一小部分。 所以同样的问题,减去低成本。 如果没有预算限制,您能推荐一个可扩展的交钥匙备份存储系统吗? 谢谢

如何加速存储arrays之间的文件传输?

我有两个来自不同供应商的大型存储arrays,每个大约有10Gb / s的带宽供读/写。 我需要将多个TB文件从一个移动到另一个。 每个说NFS和CIFS。 目前使用cp或scp或rsync,中间主机的GbE接口成为瓶颈,因为我必须读取一个数组并写入另一个数组。 这两个arrays上都没有主机,我可以login切断中间人。 我有一堆主机,可以提供额外的带宽,只要我可以做这样的事情: rsync [src] [dest] –parallel-hosts=host1,host2,host3,host4 有没有一个简单的解决scheme呢?

图像存储的服务器设置

我需要以4种尺寸存储25M照片=总共100M个文件,文件大小在每个文件3Kb到200kb之间变化,开始使用的存储大约14-15TB。 我们的目标是让2-4服务器上的数据可用,并使用本地快速Web服务器(nginx或lighthttpd)提供服务,我们需要服务器尽可能多的请求/秒。 我的计划是使用12x2TB(WD RE4)的英特尔2U Servercase,Raid 6(或带冗余的FS)或者操作系统的2x60GB SSD,这是一个好办法吗? 现在:我发现Adaptec 5805ZQ谁可以使用SSD SLC驱动器caching最常用的文件,有什么build议吗? 什么读取caching大小,我需要select? 如果我计划拥有2-4个这样的服务器,那么什么是最好的冗余和负载平衡方式呢? 集群和分布式FS之间关于我们目标的什么pro / con?

提高RAID性能

我刚安装了一个LSI 9260-i8,使用两个虚拟驱动器,第一个由4个SSD组成,其次是4个HDD。 显然这个想法是在保持一定安全性和大量存储容量的同时获得更好的性能。 固态硬盘非常棒,在处理小型到大型文件时,这个arrays的速度非常快。 HDD主要是大型文件(500MB-30GB)。 它的目的是一个主要的长期存储设施,而固态硬盘arrays仅用于操作文件和短期存储。 这意味着文件将经常从SSDarrays移动到HDDarrays。 问题在于,在大写操作的第一个演出写完之后,性能很快就会下降。 它起始于250MB / s左右,对于只有5个HDDS的RAID 5arrays来说,这不是一半坏的写入性能,但是我刚刚做的副本,由4个文件组成,共计12 GB,逐渐下降到了35MB / s的最低值。 现在我想一个人的build议将取决于很多元信息,所以这里是: LSI卡没有BBU(还)禁止回写。 硬盘是WD15EARS 2TB硬盘。 显然,这些并不是最快的硬盘,但是一直持续的200MB / s并没有太多问我想。 SSD是OCZ Vertex 2 60GB驱动器。 不要认为它是相关的,但硬盘的旋转停机时间可以达到5分钟,而不是正常的8秒钟 存储pipe理器中的驱动器显示健康,日志中没有注释错误 就像我说的,SDD速度非常快,高达1100MB / s的读取速度,似乎并不是瓶颈。 复制似乎暂停,它会跑得快,停下来,再跑500MB左右,等等,导致整体速度较低。 在创build硬盘arrays时,我使用了一个512Kb的条带大小。 这是巨大的,但我期望只有大到巨大的文件在该arrays上。 我现在不想改变它,因为它会破坏现有的数据,我没有备份(还) 操作系统是Ubuntu 10.04(64bit) 主板华硕WS Revolution(这是一款工作站),24GB的ECC内存,至强W3570现货3.2GHz 将LSI卡插入第一个PCIe插槽(以避免NF200引起的延迟) 系统是完全稳定的 HDDarrays使用“mkfs.ext4 -b 4096 -E stride = 128,stripe-width = 384 -L”DATA“/ dev / sdb” fstab不包括数据=回写,也不可访问,但我不认为这应该是一个影响大文件的问题 […]

用于SQL 2008群集的SAN设备存储configuration

Windows Server 2008 R2(集群主动/被动) – SQL Server 2008 Enterprise – Dell MD3200i PowerVault SAN 8个450GB 15k SAS硬盘(RAID 10) 此configuration的最佳条带单位大小是多less(为了获得最佳的SQL性能)? 我正在读64k,128k或256k的冲突报告。 请帮忙! 谢谢!

调整用作VMWare NFS数据存储的卷的大小会导致Linux VM问题

我们必须对我们的Netapp上使用的NFS数据存储VMWare使用的实时卷大小进行调整。 所有我们的Windows虚拟机在resize后都很好。 但是,我们的一些Linux VM有问题。 一些Linux VM停止响应。 重新启动这些虚拟机后,我找不到任何指示问题的日志。 但是我在某些虚拟机上find了这样的日志消息: May 29 14:56:02 rhel6-server-1314 kernel: INFO: task jbd2/dm-0-8:382 blocked for more than 120 seconds. May 29 14:56:02 rhel6-server-1314 kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. May 29 14:56:02 rhel6-server-1314 kernel: jbd2/dm-0-8 D 0000000000000000 0 382 2 0x00000000 May 29 14:56:02 rhel6-server-1314 kernel: ffff880037ce9c20 0000000000000046 ffff880037ce9be0 ffffffffa00041fc […]

在使用Synology Hybrid RAID的iSCSI设备上扩展卷时是否有停机时间?

主题总结了这个场景。 我相信答案是没有停机时间,但系统在重build期间可能会变得很慢。 这很好。 但是,如果有宕机,多久? 短暂维修时间的小点是可以接受的。 重build的日子需要一个新的计划来评估如何处理。 详细资料:客户端有一个连接到Synology RS2414RP +(运行DSM 5)的iSCSI连接,它是一个有12个托架的机架式装置。 自最初设置以来,所有托架都装有3TB驱动器。 而且由于它是专门用于一个大型iSCSI卷的设备,因此设置为使用最大的空间量。 尽pipe这个空间大概在1GB左右,但是它已经工作了好几个月了。 现在,系统偶尔会遇到“只读”模式,我认为这是由于iSCSI卷的精简configuration达到卷本身的外部限制所致。 通过SSH和传统的PostgreSQL数据库备份来pipe理卷的“死灰复燃”,这个数据库在保存iSCSI分区的基础卷上释放了大约36MB的空间。 这是足够的喘口气让iSCSI卷再次登上。 但显然是一个等待发生的问题。 所以,由于这台Synology设备的音量格式为具有2个磁盘容错function的Synology Hybrid RAID设置,因此我们决定用一个4TB的驱动器replace其中一个3TB的驱动器,以扩大音量。 该驱动器已被插入,格式化和正在运行通过糖蜜平价检查阶段缓慢。 但一旦完成奇偶校验,我将不得不login才能扩大音量。 在最后阶段,从服务中断的angular度来看会发生什么? 由于Synology DSM是基于LVM(Logical Volume Manager,逻辑卷pipe理器)等标准开放源代码工具,所以我在网上阅读的内容可以在不增加停机的情况下进行扩展 。 但是由于我们正在谈论27TB的存储,我想要双倍/三重地确保我的假设是正确的。 基本上是这样的:当奇偶校验完成后,我又扩大了音量,所有的服务都会继续运行,这个扩展会作为后台进程发生,从而保证零停机。

确定哪些驱动器属于特定的HP RAID 5组

共有32个驱动器从x4退役的HP DL380 G6服务器(每个服务器8个)中移除。 每个主机设置八个驱动器分为两个RAID组:RAID 1 =插槽1,2 = ESXi OS RAID 5 =插槽3,4,5,6,7,8 = VMFS Vol(托pipe虚拟机) 不幸的是,有些数据在移除驱动器之前没有备份,现在它们都混在一起了。 将这些驱动器放回主机而不损坏磁盘所属的RAID组的最佳方法是什么? 有没有一种工具可以用来为每个驱动器准备RAID成员标识符? 不确定ACU是否支持这个! TIA Danny

ZFS L2ARC用于镜像池

我正在阅读关于我的ZFS的L2ARC。 我目前有两个池,一个用于数据,另一个用于Linux容器和虚拟机。 我想要一些帮助L2ARC,我知道如何添加它,但不知道是否会使我受益。 我正在运行带有6-8个LXC容器的Ubuntu 16.04,有时候还有一个虚拟机或两个虚拟机,我想知道是否添加L2ARC将有助于我的虚拟机和LXC容器的性能。 当前设置 pool: black state: ONLINE scan: scrub repaired 0 in 3h57m with 0 errors on Mon Jul 11 04:12:35 2016 config: NAME STATE READ WRITE CKSUM black ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 ata-WDC_WD10JFCX-68N6GN0_WD-WX91A65P0T3Z ONLINE 0 0 0 ata-WDC_WD10JFCX-68N6GN0_WD-WXA1EA4CSNJF ONLINE 0 0 0 errors: No known data […]

将预算紧张的开发环境转换为ESXi – 如何以最低的成本实现最高的可用性

我们已经完成了对生产服务器进行虚拟化的过程,现在我们也想要在开发环境中做同样的事情。 但是,我们的供应商负责所有ESX主机和群集configuration(SAN,物理交换机,主机configuration文件等)。 现在我们想要使用免费的ESXi虚拟化我们的开发环境,并且我知道安装虚拟机pipe理程序后,“开箱即用”,但是我想尝试使用一些冗余来设置它“正确”即使这是一个穷人的解决scheme。 所以这就是我们所得到的: 3个戴尔R710(或类似的)服务器(一个配备1.3TB,另外两个配备600GB)。 我们正在为其中的一个配备36 GB RAM。 另外两个有8 GB的组合。 4个不同能力的怪异服务器 两个小型办公室服务器桌面,一个带有SCSI控制器和600GB存储 我有的问题: 我应该在哪里存储数据? 在1.3 TB的大硬盘上,或者使用其中一台小型办公室服务器(如SCSI设备)build立一个FreeNAS盒子, 如果有一致的备份,依靠1个ESXi服务器可以吗? 是否有廉价或免费的复制解决scheme? 你推荐什么策略?