光纤通道长途祸患
我需要一双新的眼睛。
我们正在使用一根15km的光纤线路，将光纤通道和10GbE多路复用（无源光纤CWDM）。 对于FC，我们有长达40公里的长距离激光（ Skylane SFCxx0404F0D ）。 多路复用器受限于可以做到最大的SFP。 4Gb光纤通道。 FC交换机是Brocade 5000系列。 FC的波长分别为1550,1570,1590和1610nm，10GbE的波长分别为1530nm。
问题是4GbFC布料几乎不干净。 有时候，即使有很多的交通，他们也有一段时间。 然后他们可能突然开始产生错误（RX CRC，RX编码，RX disparity，…），即使只有边际stream量。 我附上了一些错误和stream量图。 当1Gb / sstream量时，错误目前大约是每5分钟50-100个错误。
光学
以下是汇总的一个端口的功率输出（在不同的交换机上使用sfpshow收集）
SITE-A单位= uW（微瓦）SITE-B
**********************************************
FAB1
SW1 TX 1234.3 RX 49.1 SW3 1550nm（ko）
RX 95.2 TX 1175.6
FAB2
SW2 TX 1422.0 RX 104.6 SW4 1610nm（ok）
RX 54.3 TX 1468.4
我觉得在这一点上好奇的是权力的不对称。 当SW2以104uW接收到的1422uW的SW4接收时，SW2仅以54uW接收具有相似原始功率的SW4信号。
反之亦然SW1-3。
无论如何，SFP的RX灵敏度低至-18dBm（约20uW），所以在任何情况下都应该没问题。
一些SFP被制造商诊断为故障（上面显示的1550nm的“ko”）。 1610nm的显然是好的，他们已经使用stream量发生器进行了testing。 租用的线路也经过了一次以上的testing。 一切都在容差范围内。 我正在等待replace，但由于某种原因，我不相信这会让事情变得更好，因为看起来好的也不会产生零错误。
早些时候有信号上线之前有一些有源设备（某种4GFC重定时器）。 不知道为什么。 那个设备因为问题而被淘汰，所以我们现在只有：
- 开关中的长距离激光器，
- （新）10m LC-SC单模电缆到多路复用器（针对每个布料），
- 专线，
- 同样的事情，但在链接的另一端相反。
FC交换机
这是一个来自博科portcfgshow的端口configuration（显然，这就像是双方）
区号：0 速度级别：4G 填写单词（开启）0（空闲 - 空闲） 填写单词（当前）0（空闲 - 空闲） AL_PA偏移13：closures 中继端口打开 长距离LS VC链接初始化closures 所需的距离32公里 保留的缓冲器70 lockingL_Port OFF lockingG_Port OFF 禁用E_Port OFF lockingE_Portclosures ISL R_RDY模式closures RSCN被禁止 永久禁用closures LOS TOV启用closures NPIV能力开启 QOS E_Port OFF 端口自动禁用：closures 限制closures EX端口closures 镜像端口closures 信用恢复打开 F_Port缓冲区closures 故障延时：0（R_A_TOV） NPIV PP限制：126 CSCTL模式：closures
强制链接到2GbFC不会产生任何错误，但是我们购买了4GbFC，我们希望4GbFC。
我不知道在哪里看。 任何想法什么尝试下一步或如何进行？
如果我们不能使4GbFC可靠地工作，我不知道8或16的人在做什么……我不认为“在这里和那里有一些错误”是可以接受的。
哦，顺便说一下，我们正在和所有制造商（FC交换机，MUX，SFP，…）联系。除了SFP被改变（有些改变之前）没有人有线索。 博科SAN Health说织物是好的。 MUX，好吧，它是被动的，它只是一个棱镜，最好的性质。
在黑暗中的任何镜头？
附录：您的问题的答案
@ Chopper3：这是Brocades展出这个问题的第二代。 在5000年前，现在我们有5100。 一开始当我们还有主动多路复用器时，我们租了一个长距离激光器，直接把它放在开关上，以便testing一天，当然那天是干净的。 但正如我所说，有时候就像那样干净。 有时候不是。 备用交换机意味着重build整个SAN只有那些只能testing。 可select的SFP，以及他们很难来就这样。
@longneck：这条线是租来的。 这是一个黑色的纤维（9um monomode），所以没有其他人在上面。 当然有拼接。 我不能去看，但我必须相信他们已经做好了。 正如我所说的那样，该线路已经过检查和重新检查（使用光时域reflection计）。 显然你自己没有这些设备，因为它太昂贵了。
@mdpc：你认为什么是“错误”的电缆？ 直到开关一切都是单模，是的。 连接器也是正确的。 是的，我知道有一些绿色的纤维是以一定的angular度切断的，但是我们知道的都是正确的。
进度报告＃1
在FabricOS 7.0.2上，我们使用了FabricOS 6.4.1的Brocade 5100和FabricOS 7.0.2的两个Fabric（另外的2×4交换机）。
在长距离ISL（每个结构中有一个）上，事实certificate，使用FOS 6.4.1将其设置为长距离问题，会警告有关VC Init设置以及填充字的问题。 但这些只是警告。 FOS 7.0.2 要求您对VCI和填充字进行长距离链接修改。
将FOS 6.4.1设置为错误的VCI和填充字设置的LS（长距离静态距离）设置使得整个织物处于操作状态（卡在SCN循环中，使用fabriclog -s来查看，在其他任何地方都看不到它，没有端口错误计数器或任何增加）。
目前我正在给一个织物与恕我直言更正确的设置一个跳动，似乎做得很好，而另一个没有太多的交通仍然有错误在这里和那里。
简而言之：
- 我们已经消除了MUX（FC重定时器）的有效部分。
- 我们正在把长距离SFP放入terminal设备中。
- 为了确保我们购买了新的单模电缆，将terminal设备连接到MUX的其余无源部分。
- 我们现在正在尝试几个长途configuration。
这几乎是黑魔法。 所发生的一切大多是经验性的，没有人似乎有什么线索是做什么的确切原因。 （“我们已经试过了，没有用，然后我们试了一下就行了，所以我们坚持了。”但是没有人真的知道为什么。）
我会保持更新。
进度报告＃2
我们为保修期内的其中一种面料获得了新的激光器。 即使在4GbFC上也是非常干净的。
它们的传输功率大约是2mW（3dBm），而其他功率则只有1.5mW（1.5dBm），但实际上应该足够了。
另一种织物（激光器显然是好的）仍然不常产生一个或两个CRC。
使用sfpshow显示产生实际RX错误的SFP
状态/ Ctrl：0x82 报警标志[0,1] = 0x5，0x40 警告标志[0,1] = 0x5，0x40
现在我必须找出这意味着什么。 不知道以前是否有。
那么我会先休假一周，清理一下我的头。 8-）
好吧，我想我需要发表一个答案。 一句话就是： 坚持 。
这个问题没有解决100％，因为我们仍然偶尔有1（1）个CRC错误。 另一个是干净的。 但我可以忍受。
在任何情况下，我们都不会继续长时间使用CWDM设备，而是明年将转向无源DWDM多路复用设备，因为我们的基础设施将发生很大变化。 显然，DWDM激光器也比CWDM激光器便宜。 哦，我们会看到，也许我会有很多问题，然后问你:-)
更新 Nope到上面，我们再次购买了CWDM，而且它真的很便宜。 AFAICS对于某些应用，但是你必须去DWDM，因为它没有CWDM激光器。 最后，我们试图尽可能接近制造商，整个事情的价格大约相当于从分销商甚至整合商处购买的价格的五分之一。
所以我可以得出结论，如果你买了一个不能按预期工作的解决scheme：坚持。 在技术方面，我们做了两件事
- 删除MUX的有效部分（不能说我很遗憾，但也不知道这是否是最后的错误来源）
- 有SFPs通过检查
（当然，所有的标准诊断，一次更换一件事，看看会发生什么，不需要告诉你，所以我们也检查了每条线路和电缆等，不幸的是我们付出了代价）。
在这种情况下，花了很长时间的坚持，最终我们达到了制造商自己免去了几个人的水平和一些设备来执行帮助的检查。 当然，我们有集成商支付，因为我们的硬件正在维护。 所以这是一个技术性的商业挑战。
PS。 噢，我在上次更新中提到的旗帜并没有表明什么不好，但我不记得他们的意思。 当我find声明时，我会为了完整而更新答案。
最终，旗帜意味着什么坏事。 但显然不知道链路的哪一边是错误的原因。 所以这对也必须改变。
哦，顺便说一句，8GbFC DWDM收发器只比8G CWDM便宜; – ）最便宜的方法是在CWDM上使用4GbFC，然后使用ISL中继（如果有许可证的话）