SAN,ISCSI和多path(MLAG?)

对于使用iSCSI和多path设置SAN,我有点困惑。 我们正在将networking升级到10Gbit,所以有2个10Gbit交换机configuration了MLAG,用于正常的以太网通信。 LAG组是在NIC卡上制作的,所以只适用于以太网。

现在有一个2个控制器的SAN。 每个控制器容纳4个10Gbit网卡。 所以我最初的计划是使用每个控制器上的所有4个NIC来最大化吞吐量,因为有多个服务器连接到SAN。

服务器连接内部2个专用的10Gbit网卡用于SANstream量。 每个NIC都连接到其中一台交换机。 这些接口上没有LAG,它们在SANnetworking中configuration为静态地址。

  1. SAN的2个控制器可以在同一个子网中吗? 所以有一个主要的SANnetworking。 或者我需要每个控制器的独立部分?
  2. 那么每个SAN控制器的4个网卡呢? 我只是在每个控制器的LACP组中捆绑2个NIC? 还是LAG根本不需要? 我有点困惑什么是合理的configuration。 将每个控制器的2个网卡连接到一台交换机上? 我将为每个NIC分配SANnetworking中的专用地址,并将所有8个地址用于多path?

那么,我不是一个可以看到的存储专家,… 🙂


因此,我对第一个问题进行了更新。假设我要使用每个SAN控制器的2个NIC(并非所有的4个都保持简单),使用两个不同的子网是有意义的。 似乎这增加了MPIO被有效利用的机会。

如果所有的NIC都在同一个子网上,则不能保证MPIO正在被使用。

我仍然在调查答案2。 我发现多篇文章描述了如上所述的设置,但仅使用每个SAN控制器的2个NIC。 我testing了一下,但是与所有的文章相矛盾,我没有得到1个单一的iSCSI目标,我得到两个(每个控制器一个)。 当使用两个目标configurationMPIO时,我的吞吐量从1800MB / s下降到30MB / s左右,…


开关:2 x Mellanox SX1012

存储:QSAN XS5200,每个控制器带有4个SFP + 10Gbit适配器

服务器:Supermicro 2028TP-HC1R-SIOM,4个SFP + Intel X710

当前的configuration如下所示:

在这里输入图像说明

由于您拥有iSCSI SAN,因此build议您使用MPIO拆分iSCSInetworking并使用不同的子网。 LACP与MPIO执行相同的故障切换,但由于不支持每个会话的多个连接(MCS)含义而导致性能损失,因此对于相同的configuration不会提高性能。 https://www.starwindsoftware.com/blog/lacp-vs-mpio-on-windows-platform-which-one-is-better-in-terms-of-redundancy-and-speed-in-this-case- 2

调整configurationNIC的性能,并切换9k的Jumbo Frames值。

在这种情况下,您应该遵循存储供应商的指导原则。

我不知道谁会耗费你的SAN资源,但一般的做法应该是:

  • 使用LACP的常规服务器应该具有由两个交换机链接组成的LACP债券。
  • 你的MLAG应该有某种交叉交换对等链路。
  • 您的iSCSI应通过MPIO交付,使用一个或多个端口从一个控制器到特定VLAN上的一个交换机,以及一个或多个端口从另一个控制器到另一个VLAN上的另一个交换机。
  • 这些iSCSI VLAN对于每个交换机应该是唯一的,不参与MLAG。
  • 如果您的服务器将直接使用iSCSI,请使用MPIO方法…从服务器到每台交换机的两个VLAN和一个端口。 如果每个服务器只有两个端口,这可能会使正常数据变得复杂。