我已经开始在我的一个数据池中耗尽空间，并决定通过添加一些额外的磁盘来扩展它。 以下是扩展之前的样子： NAME STATE READ WRITE CKSUM data ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 c0t5000C50041BF93A7d0 ONLINE 0 0 0 c0t5000C50041FEBCFFd0 ONLINE 0 0 0 c0t5000C50041FEBE1Bd0 ONLINE 0 0 0 c0t5000C50041FEC223d0 ONLINE 0 0 0 c0t5000C50041FECC0Bd0 ONLINE 0 0 0 c0t5000C500422BAF33d0 ONLINE 0 0 0 现在扩展池后，我有第一套驱动器在raidz1和第二套使用raidz2 NAME STATE READ WRITE CKSUM data ONLINE […]
我已经升级了NAS服务器的4个驱动器Raidzarrays中的驱动器，arrays已经自动扩展到新的大小。 现在在testingNAS服务器的传输速率时，我发现当执行大量读取传输时，性能很差，尽pipeiotop和zpool iostat可以报告高达500MB / s的高数据，但努力达到10MB / s以上。奇怪的行为？ 正如我已经升级arrays，我也可以观察到，无论有4个设备在线还是降级到3，它都执行相同的操作。 服务器连接一个千兆networking连接，并可以用一个驱动器使用ext4饱和它
我有一个关于Apache Spark的基础设施问题，我正在研究在一个新build项目中推出的（至多）大约4 TB用于build模的数据。 应用领域将是分析，模型的培训可能会在一夜之间完成，而不是实时进行。 传统的三层应用程序将工作负载的数据库和应用程序两端分开，这意味着可以优化两个不同的服务器以分别执行存储和计算任务。 这使得build立一个系统变得很容易，因为不同的提供商（例如戴尔 ）都有针对每个应用进行优化的产品。 像Spark这样的新框架似乎将两个方面结合起来，以避免在节点之间移动数据 – 以及由此造成的networking负载 – 但是我想知道这是如何在基础设施级别工作的。 人们在一台机器上整合了大量的存储和计算能力吗？ 对于我的应用程序来说，标准的系统拓扑结构可能会是什么样子？在计划时我会考虑哪些因素？ 最后，有没有提供高存储密度以及良好计算能力的刀片服务器？ 理想情况下，我最好喜欢使用不超过5个节点，但我不知道任何指导资源来帮助规划这样的实现。 任何build议在这方面表示赞赏。
我试图把一个驱动器configuration。 我有一个2 x 146GB SAS驱动器的服务器，并添加了几个300 GB的驱动器。 由于我可以放在这个东西上的驱动器数量有限，所以我想只用一个托架作为全局热备份。 我假设我可以使用一个300GB的驱动器来达到这个目的，而且它可以保护所有的arrays，无论它们是用300或146GB的硬盘build成的。 如果我使用一个300GB的热备份，而一个146GB的硬盘出现故障，我将从制造商那里获得一个146GB的替代品，这个替代品不会成为一个全球备件，所以这个146GB的arrays将不得不被重build第二次到更换的146GB的驱动器，使300GB的驱动器可以作为一个全球备用返回其职责。 也可以运行两个热备份，一个146和一个300，但是这会在我的计划中产生一点皱纹，因为我处于可以放入这个服务器的驱动器数量的极限。 我也可以保留一个146GB的冷备份，而且300GB的热备份只能保护300GB的硬盘。 我出城时失败的可能性很小，也许我可以通过电话交换（yikes）。 从那些谁有更多的经验尝试热备份预算资源，你能提供我任何见解，以帮助我select正确的道路？
有哪些方法可以将文件传入和传出Amazon EC2实例。 我正在寻找用于编辑文件的解决scheme/工具，以及从Mac和Windows将文件复制到EC2实例。 例如，从本地安装驱动器的一些解决scheme是什么？ 一般来说，还有其他什么方法？
在顺序和随机模式下，是否有各种RAIDarrays具有典型吞吐量和IOp / s的资源？ 就我而言，我现在更具体地感兴趣： 6磁盘RAID 10arrays与SAS 10k驱动器 sqlio号码 我知道这里有很多variables，有多less操作正在处理中，控制器，caching等等……我也看到了预测RAID性能的“公式”（我觉得这种公式可能有点像malarkey），但是一些好的基准的一般目标是有帮助的。
我在一个ubuntu盒子（natty）上的postgres 8.4上运行一些沉重的SQL脚本做一些性能基准testing。 我正在经历一些相当不稳定的性能，尽pipe我应该是机器上唯一运行的（相同的数据可能在20米，然后40米，无特定原因）。 所以，记住我的远程DBA培训，我决定我应该刷新postgrescaching，使用sudo /etc/init.d/postgresql restart ，但它仍然摇摇欲坠！ 我的问题：也许我错过了我的磁盘/操作系统中的一些caching？ 我正在使用netapp设备作为我的存储空间。 我在正确的轨道上？ 在开始调整之前，我是否还想确保获得可重复的性能？
在我们的环境中，我们有几个存储柜连接到RH Linux服务器。 根据连接到主机的存储柜，某些LUN可以使用SCSI协议版本2（版本= 0x02 [SCSI-2]）查看，其他协议版本为4（版本= 0x04 [SPC-2]）。 这个协议版本在哪里configuration？ 这是在操作系统方面？ 或者在存储方面？ 我们使用完全相同的方式安装RH服务器。 我们在RHEL和我们的存储供应商开了一个案例，当然RHEL说这是存储，存储供应商告诉我们这是操作系统。 这对LUN发现有影响（LUN ID不按顺序 – >您需要手动指示scsi重新扫描要扫描的LUN ID的范围 – >无法在没有手动干预的情况下在重新启动时查看所有LUN） 。 我们不知道在哪里看，有人有一个身份证去哪里看？ Bellow是3个不同服务器上sg_inq的输出。 [qualification:root@xxxxxxxx:/root]$ sg_inq /dev/sda standard INQUIRY: PQual=0 Device_type=0 RMB=0 version=0x02 **[SCSI-2]** [AERC=0] [TrmTsk=0] NormACA=0 HiSUP=1 Resp_data_format=2 SCCS=0 ACC=0 TPGS=0 3PC=0 Protect=0 BQue=0 EncServ=0 MultiP=1 (VS=0) [MChngr=0] [ACKREQQ=0] Addr16=1 [RelAdr=0] WBus16=0 Sync=0 Linked=0 [TranDis=0] CmdQue=1 […]
我正在将几个hyper-v虚拟机从一个不足电源的主机移动到一个具有iSCSIarrays的新主机上进行存储。 iSCSI卷的最佳configuration是什么使Hyper-V获得最佳性能？ 我应该做一个大的LUN，然后把所有的vhds放在这个LUN上，或者多个较小的LUN在hyper-v上工作得更好？ 主机服务器是戴尔r710，双网卡专用于安装Dell MPIO驱动程序的iSCSI。 MD3000i通过与r710相同的物理交换机使用所有iSSCI端口。 大多数服务器是自包含的机器，大部分机器的磁盘I / O不重。 我有三个开发服务器作为构build目标机器，它具有比其他serevrs更高的磁盘I / O，但构build不会一直运行。
首先，感谢您的阅读，并抱歉提出与我工作有关的事情。 我知道这是我应该自己解决的事情，但是你会看到它有点困难。 一个小的描述： 现在 存储=> 1PB使用DDN S2A9900存储OST，4 OSS，10 GigEnetworking。 （光泽1.6） 带有2个Infiniband的100个计算节点 1个有36个端口的infiniband开关 后 存储=>以前的存储+另一个1PB使用DDN S2A 990或LSI E5400（还有待决定）（光泽2.0） 8个OSS，10GigEnetworking 带有2个Infiniband的100个计算节点 以前的经验：使用以下命令在不到3天的时间内转移120TB： tar -C /old –record-size 2048 -b 2048 -cf – dir | tar -C /new –record-size 2048 -b 2048 -xvf – 2>&1 | tee /tmp/dir.log 所以，这里的大问题，使用大math方程我得出结论，我们将需要1个月的时间将数据从一侧传输到新的一侧。 在此期间，研究人员需要退后一步，我个人对此并不满意。 我告诉你，我们有无限连接，因为我认为可能有机会使用它来传输数据，使用18个计算节点（18 * 2 IB = 36个端口）将数据从一个存储传输到另一个。 我试图弄清楚IB交换机是否可以处理所有的stream量，但万一它烧起来会比使用10GigE更快。 此外，在同一台服务器上configuration光泽1.6和2.0的代理工作得相当好，这样就不用1.8分步升级元数据服务器。 有任何想法吗？ […]