DWDM技术在B站基础工程的落地实践之路

国家老兵

本期作者? ?哔哩哔哩系统部网络团队? ?负责B站数据中心网络规划、设计、建设、运维与优化，为公司业务提供稳定且可靠的网络服务。整个团队专注于数据中心内外网、骨干网络、负载均衡、传输网络、虚拟化网络以及国际化网络的落地和应用，并根据业务的发展需求不断迭代更新底层基础网络设施。?网络管道作为B站视频点、直播稳定运营的重要基础设施，为保证流畅高清的用户体验，其无时无刻不在面临着极为严苛的考验。与此同时，日益增长的用户和内容稿件体量使业务流量迅速向数据中心集中。对于互联网数据中心的规模要求也随之水涨船高。但是，再大的数据中心也是无法避开单一节点的风险因素影响存在，无法在系统的安全冗余性上提供足够的保证。因此，多活的数据中心架构集群概念也随之浮出水面。这些数据中心集群要协同运转，相互之间交互信息。于是就产生了DCI网络需求，即Data Center Interconnect。目前城域DCI和长途DCI是两大最主要的DCI应用场景，其中城域DCI市场的发展尤为迅速。但是，无论城域还是长途，究其底层基础还是基于DWDM技术来实现光信号的合理复用。目前光通信技术的前沿发展分为光层和电层两个方向。光层在以不断探索可用波长窗口为目标的前提下，已经从原先C80扩展至C120乃至C+L方案。在某些特定厂商的技术库内，C4T+L4T：1529~1561nm（4THz） + 1572~1606nm（4THz）C6T+L6T：1524~1572nm（6THz） + 1575~1626nm（6THz）乃至 Super L Band 也已经整装待发。（本文结合实际使用出发，以C96为实际使用方式进行阐述）电层则在以不断探索单波长最大可承载通道带宽为目标的前提下，从原先起步的单波10G 已经跳跃至当下最火热的400G，乃至已初具规模的800G。目前600G和800G已经有多个厂家发布相应的模块，特别是在数据中心互联DCI也有了1.2T模块了，在相干光传输的线路侧光模块演进也已经规划到1.2T，采用5nm工艺的130G波特率。在这里我们要感谢香农老爷子~在他老人家的英明领导下~今天各位看官可以安稳的刷到我们的这篇文章。我们知道，相干600G支持每符号4bit的PM-QPSK，每符号6bit的PM-8QAM和每符号8bit的PM-16QAM。同时相比200G还增加了PM-32QAM（每符号10位）和PM-64QAM（每符号12位）调制。600G的波特率可以从25-72GBaud，各个厂家可能有差异。800G在调制方式上同600G一样，但据了解，其波特率当前固定在96Gbaud，无论采用什么调制。（1）200Gb/s：采用PM-QPSK，此场景主要应用于长距传输。800G的200G速率波特率为96GBaud。而600G模块下的200G虽然也是采用QPSK，但是其波特率只需64GBaud。在以前文章中我们提到过，波特率越高，所占用的频谱宽度就越宽。96GBaud的信道带宽为112.5GHz，64GBaud的信道带宽只需要50/75GHz。根据计算同样波段长度内，系统的总容量800G要比600G模块低。在传输距离的性能上，600G模块和800G模块的OSNR性能相差不大。当然从经济市场的角度来看，无论是800G还是600G模块，应用200G速率，性价比都不划算。（2）400Gb/s：800G模块采用8QAM，600G模块采用16QAM，波特率为64GBaud，此场景一般应于城域。800G模块使用此速率时，相比600G，其调制等级比600G要低，我们知道，调制等级越高，OSNR信噪比越低。因此，600G模块在此400G速率下的性能要比800G模块低一些。（3）600Gbs：在此速率下800G采用，频谱宽度为112.5GHz，采用8QAM调制。600G模块若使用64QAM，信道间隔为75GHz，或者也可以使用32QAM。从调制等级上看，800G模块在600G速率的性能上要比600G模块好一些。（4）800Gb/s：采用16QAM或者32QAM，当为800G速率的，在这里就不对比600G模块了。800G模块可以使相干收发器在双极化32QAM下以96Gbaud运行或者在双极化16QAM下以120Gbaud运行。当前主流是在96GBaud波特率，使用4对DAC和ADC，一个激光器，一对光发射器和接收器。当前800G模块支持200G-800G速率可调。常用的800G模块只支持单路，且是不可插拔的固定MSA模块，考虑集成度等问题，功耗应该比600G要大得多。另外，在上面不同速率下的800G支持不同速率对比，其波特率是保持不变的。不过在此过程中我们依然保持尽可能的减少残余频谱。一般来说，为保障未来更高速率的谱宽的要求并考虑兼容100G等速率的频谱。更高速率的频谱应该以50GHz或者75GHz的整数倍为基准。如下图所示：在以上电层和光层各领风骚的大前提下，我们的技术落地经历了3个阶段：A.基础设施落地阶段传输系统的搭建务必关注于底层系统的前置设计和规划。因此我们在物理光通道层、设备光层线路侧、设备电层支路侧做了如下规划和落地。?1.物理光通道层针对在线环业务采用4线3路由的最低标准完成物理层的搭建工作，离线环业务实现双路由FULL-MESH结构。整体拓扑结构为：2.设备光层线路侧针对在线和离线的不同场景，我们采用了H厂商和G厂商两家不同的光层场景设备。H厂商采用C80波段全40个偶数波长（单波长间隔100hz，此处有伏笔~后续解释为什么在这里选择这个配置），波长范围? 1560.61nm--1529.55nm，应用于离线大颗粒业务；G厂商采用全程C96波段共计96个波长（单波长间隔50hz），波长范围 ?1566.72nm–1528.77nm，应用于在线小颗粒业务。3.设备电层支路侧针对大颗粒离线和小颗粒在线业务的数据通信需求。我们分别采用了200G 单波波长和400G 单波波长来解决资源的最大化利用率问题。200G 波长间隔（50hz）部署于G厂商平面（在线业务），由于200G 波长间隔正好是50hz，因此与G厂商的C96光层完美契合。并且可以根据在线业务的多变灵活性快速部署上线。光层保护拓扑组如图所示：电层部署架构如图所示：400G 波长间隔（75hz）部署于H厂商平面（离线业务），由此可以看出，为什么我们在设备光层线路侧的设计使用了H厂商C80 全40偶波方式，这样做可以无缝结合400G 单波业务落地。避免了剩余40个奇波波长的配置硬件浪费。同时节约了光层机框的插槽（后续还有伏笔~）如下图所示：节省了10，08，07两个槽位。同时在电层机框上将使用率提到了最高——即单框工作带宽为8波 3.2T至此，DWDM技术在目前的架构初步完成基本落地。?在线业务和离线业务的通道服务正式上线运营之后，不但降低了公司以往在业务通道上的成本支出，而且为提升各源站内服务器计算效率起到了重要的承压作用。B.业务融合上升阶段?在以往环境下，通道的质量容易受到外在因素的影响和制约。无论在带宽还是质量上，还是在运维状态的执行过程都无法获得较为直接准确的信息。这种情况自下而上的影响了整体网络环境的工作效率。在当前DWDM系统初期落地之后，容量和线路质量的问题已经迎刃而解。但是物理层线路发生故障后的原因以及运维响应效率问题始终没有得到良好的解决。主要归结于以下2点。1.光层通道故障后运维恢复时间过长，对系统整体稳定有影响。根据2022年的故障记录数据显示，光信号从中断开始到明确断点所需要的时间占整体运维事件时长的50%。通过针对于H厂商和G厂商两家厂商的网管系统北向接口文档的解读分析，在这两套网管北向接口再做统一收敛。成功实现系统在出现光缆中断故障后，OTDR随之自动启动，得出断点数据后直接推送至当值人员。该方案已经于2022年完成相关专利申报。专利号：CN202211192482.6 ??专利名：一种基于原生传输网管系统的定制化光缆告警推送原先的处理流程为：经过优化后系统流程为：北向接口配置示范：北向接口对接设计和实现通过管理系统，可以通过告警如表1触发光纤质量检测，发现断纤会向网管主动上报FIBER_BREAK_POS告警如表1，提示光纤中断位置。表1?告警信息详表通过北向接口，收集告警信息，筛选FIBER_BREAK_POS告警信息中的附加信息字段，获取断点信息，同时关联纤缆名称，综合判断具体中断哪条光缆以及断点信息。关联RMS系统-传输链路资源，获取供应商联系方式，进行断纤信息以微信/企业微信/电话推送，通知供应商进行光缆优化。具体的对接过程为：告警获取报文如下： ? ? ? ? { ? ? ? ? ? ? ? ? ? ? ? ? ? ?"time-created": "2022-03-07T17:21:46.000+08:00", ? ? ? ? ? ?"is-acked": true, ? ? ? ? ? ?"resource-alarm-parameters": { ? ? ? ? ? ? ? ?"perceived-severity": "warning", ? ? ? ? ? ? ? ?"is-cleared": true, ? ? ? ? ? ? ? ?"status-change": [ ? ? ? ? ? ? ? ? ? ?{ ? ? ? ? ? ? ? ? ? ? ? ?"perceived-severity": "warning", ? ? ? ? ? ? ? ? ? ? ? ?"alarm-text": "Alarm cleared.", ? ? ? ? ? ? ? ? ? ? ? ?"time": "2022-03-07T17:22:19.000+08:00" ? ? ? ? ? ? ? ? ? ?} ? ? ? ? ? ? ? ?], ? ? ? ? ? ? ? ?"last-changed": "2022-03-07T17:22:19.000+08:00" ? ? ? ? ? ?}, ? ? ? ? ? ?"x733-alarm-parameters": { ? ? ? ? ? ? ? ?"event-type": "equipment-alarm" ? ? ? ? ? ?}, ? ? ? ? ? ?"operator-state-change": [ ? ? ? ? ? ? ? ?{ ? ? ? ? ? ? ? ? ? ?"operator": "值班人员", ? ? ? ? ? ? ? ? ? ?"text": "Alarm acknowledged.", ? ? ? ? ? ? ? ? ? ?"state": "ack", ? ? ? ? ? ? ? ? ? ?"time": "2022-03-07T17:47:52.835+08:00" ? ? ? ? ? ? ? ?} ? ? ? ? ? ?], ? ? ? ? ? ?"alarm-parameters": { ? ? ? ? ? ? ? ?"repair-action": "", ? ? ? ? ? ? ? ?"ne-name": "1OTM", ? ? ? ? ? ? ? ?"location-info": "0-TO 2-2-F1DFIU-4(EIN/EOUT)-OTS:1", ? ? ? ? ? ? ? ?"native-probable-cause": "FIBER_BREAK_POS", ? ? ? ? ? ? ? ?"probable-cause": "光纤发生中断，智能光纤管理系统启动探测，定位到光纤中断位置后上报此告警", ? ? ? ? ? ? ? ?"root-cause-identifier": false, ? ? ? ? ? ? ? ?"ems-time": "2022-03-07T17:22:21.000+08:00", ? ? ? ? ? ? ? ?"alarm-serial-number": "1241122", ? ? ? ? ? ? ? ?"reason-id": 14009, ? ? ? ? ? ? ? ?"tenant-id": "default-organization-id", ? ? ? ? ? ? ? ?"tenant": "", ? ? ? ? ? ? ? ?"alarm-text": "光纤中断位置提示", ? ? ? ? ? ? ? ?"other-info": "POS(断纤点距离):27.8758km;NENAME(对端网元名称):9-505-主OLA;ALMID(与此断纤相关的告警流水号):1241103;DIR(方向):0-发送; NOTE(异常说明):无; FIBERNAME(光纤名):f-728; SITENAME(对端光网元名):-; ", ? ? ? ? ? ? ? ?"ip-address": "127.0.0.1" ? ? ? ? ? ?}, ? ? ? ? ? ?"common-alarm-parameters": { ? ? ? ? ? ? ? ?"resource": "201e7860-d3f8-11eb-bfbb-903fea16475f", ? ? ? ? ? ? ? ?"resource-url": "/restconf/v2/data/huawei-nce-resource-inventory:network-elements/network-element/201e7860-d3f8-11eb-bfbb-903fea16475f", ? ? ? ? ? ? ? ?"related-alarm": [], ? ? ? ? ? ? ? ?"alarm-type-qualifier": "268374017-14009", ? ? ? ? ? ? ? ?"impacted-resource": [], ? ? ? ? ? ? ? ?"alarm-type-id": "equipment-alarm", ? ? ? ? ? ? ? ?"layer": "LR_Optical_Transmission_Section", ? ? ? ? ? ? ? ?"md-name": "Huawei/NCE", ? ? ? ? ? ? ? ?"product-type": "WDM_OTM" ? ? ? ? ? ?} ? ? ? ?}经过本次优化加持提升后，整体的光通道运维事件时间平均缩短1-2小时。直接将原先的现场定位断点步骤放在系统中实现。运维队伍直接前往事故现场进行恢复即可。2.当光层通道出现双断后，没有可以及时回补的手段。单一平面在双断情况下造成数通设备脱网。在初期阶段，某厂商电层设备必须配合同样该厂商的光层设备（如图1所示），客户侧光模块为厂商配套定制，并且硬件设备必须配合厂家专有的EMS/NMS软件进行管理（如图2所示）。图1 DCI传输传统硬件组网模式图2 DCI传输传统网管组网模式这种传统方式有几大弊端：1、技术封闭，理论上光电层面是可以相互解耦的，而传统厂商故意做成不解耦，以便于控制技术的权威性。2、DCI传输网络的成本主要集中在电层设备，系统初期建设成本低，但是扩容时候厂商会以技术唯一性为要挟进行提价，扩容成本大大增加。3、DCI传输网络光层面投产后，受限于只能同一厂商的电层设备使用，设备资源利用率低（不扩容）；4、多厂商的情况下，存在多套EMS/NMS软件，上联接口类型众多，数据采集效率和网络管理效率低。这种架构会导致在单一平面光层出现双断的极端故障现象时，与该平面对接的数通设备集体脱网。为了解决这一问题，我们尝试将不同厂商的电层与光层根据基准波长数据进行相互交叉进行相互弥补使用。如下图3所示：图3 光电解耦模型客户侧模块解耦说明：传统情况下，客户侧模块由传输设备商光电转发单元配套提供，无法自主选择客户侧模块供应商。解耦模式下，我司可以自主选择客户侧模块供应商，传输设备供应商适配模块供应商的不同型号光模块。传输光模块，可以与交换机模块一同采购，采购成本可以有效降低。光层解耦说明：解耦模式下，技术层面上，电层扩容时可以选择不同供应商电层单元，实现不同厂家电层与光层混合组网；商务层面上，由于竞争因素，一定程度上可以降低电层单元成本投资；交付层面上，可以根据交付周期，选择供货周期更短的供货商；通过这种混合交叉方式，可以在出现单一平面光信号双断发生时。另一平面可以承载起部分流量，保证业务仅出现容量下降的影响。如果长时间无法恢复时，可以将其他受影响电层统一接入正常工作的平面。快速恢复正常通道流量需求。等故障平面修复完毕后，再次回切。C.全网效率提升阶段——roadm，flex grid时间进入道2023年后，随着公司降本增效的工作持续推进。各源站之间的通道需求从原先的2天要缩短至半天内。同时要灵活调度各方向波长为突发的搬迁数据业务提供有效的保障。为了解决这些需求，我们按照如下两个方向去进行交付实现：1.全网开始进入roadm化交付改造，以降低手工对FOADM的时间成本，提升快速交付开通效率。如上图所示，在当前架构下。POP-1至POP-5之间如果需要建立业务通道，需要在POP-3站点根据（POP-1 TO POP-3)和（POP-3 TO POP-5)这两段落的可使用波长找出同一波长的通道进行手工对接。这种方法在资源和交付上都存在着较大的要求。资源上两端落内使用的波长必须一致，交付上现场操作人员需要用尾纤将规划的波道一一对应。为了提升该工作的效率，我们引入了ROADM架构中的CDC 架构直接解决了上溯的两个问题。完成了POP-3的CDC改造后，POP-1,POP-2,POP-4,POP-5可以通过POP-3灵活调度各所需波长进行业务调通，从而提升通道的灵活性和工作交付效率。?2.全网通道开始出现400G ，200G 波长混用现象。对于目前现有波道产生较大的浪费。在Roadm架构成功落地后，200G 波长和 400G 波长均开始又POP-3进行灵活交叉。很快将原定的C80 的偶数波长大量消耗。在当前情况下针对光层的扩容改造会对整网业务造成比较大的影响。为此，我们在进行通道波长扫描后发现400G 波长的75hz实际占用了100hz频宽。为了将现有波道效率提升至最大可用范围。我们再次引入了flex grid 灵活格栅。通过在固定栅格网络中，承载不同速率业务的波长的相邻通道的间隔固定为50GHz，同时每个波长分配固定50GHz的光频谱带宽资源。此时承载不同业务速率的波长只需用ITU-T G.694.1定义的f＝193.1+n×C.S的中心频率来表示(C.S.:channel spacing表示相邻通道的固定间隔，n为整数，n×C.S.代表了相对于193.1THz的位移量)。而对于灵活栅格的光网络，可以根据实际情况，为高速的业务分配较多的频谱带宽资源，对于较低的分配较少并且够用的光频谱资源，这样网络的带宽利用率会大为增加。此时承载不同速率业务的波长可以用两个参量来表示：波长中心频率与光频谱带宽。中心频率计算方式也是f＝193.1+n×C.S.但是灵活栅格支持更小的通道间隔粒度，最小可支持6.25GHz。n为整数，两个相邻通道波长之间的间隔可以为6.25GHz的任意整数倍(y×6.25GHz，y＝n1-n2)。光波长频谱带宽为m×SWG(SWG：slot widthgranularity，光频率隙带宽粒度。而对于C.S代表的通道间隔粒度为6.25GHz的情况，对应的带宽粒度SWG为12.5GHz；而对于C.S为12.5GHz的情况，相对的SWG对应为25GHz。即保证灵活网格中SWG是C.S.的两倍数关系，这样根据分配不同的n值与m值可以实现光谱资源无缝连接使用。这样就可以在原先的光层中再次整理出20%的空间来供给业务通道。光通信传输的技术仍然在向前发展，经过这历时近3年的应用落地。我们还将继续在传输网管APN接入化，面对数据中心内大颗粒业务场景的通道需求继续发力。走出属于适合于自身发展所需要的技术路线。参考资料600G还是800G？– 通信百科（http://ictbaike.com/2020/10/18/600g%E8%BF%98%E6%98%AF800g%EF%BC%9F/）CN102857835B - 灵活栅格光网络节点及节点间的链路属性校验方法 - Google Patents（https://patents.google.com/patent/CN102857835B/zh）以上是今天的分享内容，如果你有什么想法或疑问，欢迎大家在留言区与我们互动，如果喜欢本期内容的话，欢迎点个“在看”吧！往期精彩指路B站公网架构实践及演进哔哩哔哩?数据建设之路—实时DQC篇Apache Kyuubi 在B站大数据场景下的应用实践