iSCSI + GFS环境的硬件和拓扑结构build议

我们目前正在评估使用GFS + iSCSI的新环境的硬件和拓扑解决scheme,并希望得到一些build议/提示。 过去,我们已经部署了类似的解决scheme,所有访问GFS节点的主机本身都是GFS节点。 新的拓扑结构将分离GFS节点和访问它们的客户端。

基本图如下所示:

GFS_client < – > gigE < – > GFS节点< – > gigE < – > iSCSI SAN设备

  1. 这是设置GFS + iSCSI的最佳方式吗?
  2. 你对GFS节点本身有硬件方面的build议吗(即 – CPU或内存大)?
  3. 你有build议调整/configuration设置,以提高性能的GFS节点?
  4. 目前,我们每个主机使用3-4个千兆以太网连接来提高性能和冗余度。 在这一点上,10GigE或光纤对成本/缩放比例更具吸引力吗?

  1. 我不认为有一个“最佳”的设置。 确保在GFS之前启动iSCSI启动器。 您已经将绑定指定为冗余/性能度量。 如果您有4个网卡,也许应该考虑设置一个到您的目标的多path连接,也许可以通过2个绑定接口创build2个path,以获得更好的冗余。 如果您有支持该function的专用iSCSI交换机,则还应该考虑使用巨型帧。

  2. GFS作为子系统在系统上并不是很重。 内核中有锁,一些会员信息/节点之间运行的心跳,这几乎是它。 另一方面,既然你打算把它们都作为GFS节点和一个被客户端访问的服务器,那么你应该投资你的nics /交换机和服务器的RAM。

  3. 巨型框架。 803.2ad链接汇聚(如果可能的话),双方(iscsi和客户端)。 tcp堆栈优化(/ proc / sys / net / ipv4 / tcp_rmem | wmem)

  4. 我会跳过这一个,我不知道10ge的成本。

这个问题的唯一部分我可以提出一个答案是#4。

我们对SAN的10GbE进行了评估和考虑,并决定采用联合/负载均衡的1Gb分配器来降低成本,提高效率和安全性。 10GigE达到同样的冗余水平是天文数字,为客户提供了额外的性能提升(毕竟,你不会在每个客户端安装10GbE卡)。

你有没有想过networking冗余? GFS集群非常容易漏掉心跳。 我们将所有集群和iSCSI链路的接口绑定连接到单独的交换机。

只要添加到#3和4

Jumbo可以在性能上产生巨大的有益影响,特别是对于99.99%的数据包会很大的“存储”networking。 只要确保首先进行审计,以确保networking上的所有主机都支持它们。

其次,值得validation的是,所有这些额外的千兆以太网接口正在为您提供更多的速度,大多数交换机(默认情况下)实际上使用基于MAC或IP的散列,因此单个主机对之间实际上可能看不到1Gb以上的速度。

当你投入10G的时候,你应该咬紧牙关,使用相同链路速率的FC,或者等到明年年初,融合的以太网应该最终以“早期采用者”价钱。

我们正在评估我们新SAN的解决scheme,而Equalogic产品看起来对于iscsi来说真的很棒。 每个软件包有15个磁盘和2个控制器(每个A / P 4GB)。 当您每15个磁盘添加2个控制器时,在增加存储容量的同时,性能会线性增加。

他们现在不去10Ge,但每个控制器有4个链接。 他们提供了真正的精简configuration

链接到官方页面

我不能在LapTop006的post上发表评论,但是他绝对是位置上的!

捏合是说,IP-SAN中的所有networking设备都必须支持相同数量的MTU(最大传输单元)。 如果我没有记错,规格为巨型帧的最大MTU是9000字节,但我见过使用9100及以上的人。