大规模SDN云计算数据中心组网的架构设计

本文首先分析了大规模SDN数据中心组网中遇到的问题。一方面Underlay由于设备的实际转发能力和端口密度，底层密度的限制，单一Spine-leaf的Fabric另一方面，架构不能满足大规模组网的需要SDN在技术实现方案方面，Openstack和SDN控制器在管理控制能力上有限制。

本文分别从多POD大规模数据中心Underlay和跨组网及路由规划POD互联互通SDN从技术实现方案两个方面，深入到技术细节，结合网络业务流量模型的实现，阐述了大规模SDN数据中心组网架构。

1.大规模SDN数据中心网络需要解决问题分析

大规模的SDN数据中心网络需要数万台服务器作为资源池来承载和安排调度。综合考虑Underlay组网以及SDN解决方案的实现主要有以下三个问题需要解决。

(一)在数据中心Underlay网络层面。虽然随着芯片的不断升级，数据中心交换机的处理和转发能力有了很大的提高，但考虑到每个机房实际机柜的数量和跨机房布线的难度，基于当前数据中心交换机的端口能力是单一的Spine-leaf两层架构组网不能满足上万服务器的承载需求。

例如，在一个数据中心网络中，选择行业主流厂商成熟的16槽核心交换机设备Spine，100G板卡端口密度为20个/板卡，40G板卡端口密度为30个/板卡；选择48万兆6个40G接入交换机为Leaf。Leaf到Spine全互联，Spine6台核心数量，2台核心交换机100G板卡用于连接外部防火墙、专用网络或专用线路由设备。在满足带宽1:1收敛比的情况下，计算单一Spine-Leaf该架构最多可支持5760台服务器，不能满足数万台服务器的承载需求。

(二)SDN控制器的管理规模和范围。SDN控制器管理VSW或者使用硬件交换机会TCP长连接，从占用CPU内存资源，过多的被纳管设备将大大消耗SDN这是控制器的资源，然后降低控制器的性能SDN控制器管理规模的主要限制因素。SDN因此，控制器的管理范围主要受控制器和纳管设备之间网络延迟的限制SDN建议本地部署控制器，不建议长距离远程管理。目前，主流设备制造商在那里SDN控制器3机集群可管理2000个VSW或者1000个硬件SDN交换机。

(三)云操作系统Openstack管理能力。Openstack它是一种集中的新闻处理机制。所有的交互操作都将在指令层面进行拆分，而指令并发处理能力较低，主要以单个过程队列的形式进行。例如，当100台虚拟机同时在资源池中操作时，由于指令并发处理能力差，大量拆卸的指令必须排队等待执行，Openstack此时系统的交互操作响应效率和及时性会恶化，影响用户的实际感知。

Cell技术可以大大提高Openstack平台的消息处理效率，Nova可扩展到多个Nova处理节点，每个节点都有独立的数据库，采用数据库同步的方式实现多个nova节点的协调和分布式工作。Openstack基于开源，系统性能与企业的实际研发能力密切相关Openstack管理能力为500台虚拟化的主流厂家产品Host(5000个VM)或3000台裸金属服务器。

2.大规模SDN有很多数据中心POD组网架构

由于单一Spine-Leaf结构的Underaly网络接入承载能力，Openstack平台管理能力及SDN因此，控制器的控制范围和规模是大规模的SDN当数据中心组网时，需要分解成多个单独的Spine-Leaf模块进行部署。模块间通过统一的应用层借助于SDN-DCI协调技术，实现整个数据中心资源池的统一管理和安排。每个单独的Spine-leaf模块是单独的Fabric，也称为一个POD(Point of Delivery)。

POD内组网采用标准SDN每个数据中心架构POD单独的Openstack云操作系统和SDN控制器。根据主流厂家Openstack限制云操作系统产品的性能指标POD内的裸金属服务器场景下支持服务器数量3000台，虚拟化服务器场景下支持服务器Host500台主机。同时，根据主流厂商SDN限制控制器的性能POD硬件交换机数量不超过1000台，VSW不超过2000台。

多POD的大规模SDN数据中心组网，POD内Underlay组网是标准的Spine-Leaf架构。POD内SDN-GW可以和Spine合设也可以旁挂Spine部署、防火墙、负载均衡设备旁挂SDN-GW部署。

目前SDN-GW为了方便，主要有两个堆叠部署SDN因此，如果控制器统一管理POD规模较大，需要两台以上Spine时，不建议SDN-GW和Spine合设，SDN-GW部署应单独悬挂。

为实现POD它们之间的流量交换，设置东西向流量汇聚的核心交换机Core-Spine用于承载跨POD东西向流量；实现POD内到网络互访，设置南北流量汇聚核心交换机Out-Spine用于承载南北流量。核心交换机和南北核心交换机的数量可根据实际情况进行POD规模、POD灵活计算数量和网络收敛比。POD内Spine到POD间聚核心交换机一般是跨机房互联，应采用，以提高链路利用率100G光模块互联。

如果POD间东西向流量规划很大，建议POD内Spine将东西直接连接到汇聚交换机此时的流量模型是，POD交互流量从POD内Spine去到SDN-GW，SDN-GW解开原有VXLAN包装，然后将交通流导入不同的互联网VNI后发回给Spine，最后由Spine发送到东西汇聚交换机。同一业务流量将在这种流量模型下穿越POD内Spine两次，所以如果流量规划完全在SDN-GW建议在交换机设备的承载范围内SDN-GW上连东西向汇聚交换机，可减少POD内Spine来回穿透流量。

POD内的SDN数据中心转发控制技术实现方案，可以是Openflow Netconf也可以是E方案 Netconf。建议使用表项更大更灵活的虚拟机场景VSW作为VTEP，从而采用Openflow Netconf方案。硬件用于裸金属服务器场景SDN接入交换机VTEP，可根据具体网络设备的能力灵活选择E方案 Netconf的方案或者Openflow Netconf的方案。

在Openflow Netconf和E方案 Netconf需要混合部署的场景SDN翻译和打开控制器上的两种控制技术方案。SDN控制器和SDN-GW建立E方案邻居，将E方案控制面的信息翻译成Openflow发送给VSW，将VSW的相关Openflow信息翻译成E向硬件发送方案控制信息SDN交换机。实现控制VSW和硬件SDN建立交换机之间VXLAN隧道及数据转发。

POD完全借鉴互联方案SDN-DCI采用相关技术E方案 VXLAN的技术。POD内的SDN-GW将同时作为DCI-GW，与不同POD的SDN-GW间建立E在统一协同层的控制下，方案邻居实现跨度POD交通。

共享分布式块存储、分布式文件存储和分布式对象存储可以单独规划和组成存储POD。访问存储POD的流量在SDN-GW解开VXLAN封装以后走Underaly从转发到存储的网络路由POD。在POD单独的内部配置VRF用于隔离访问存储的流量和其他业务流量POD存储汇聚交换机规划中有访问网络需求的南北汇聚交换机。FC SAN存储建议直接部署在POD内。

3.大规模SDN数据中心Underlay组网及路由规划

多POD大规模数据中心Underlay网络中网络设备数量众多，按每个POD计算500台网络设备的数量，10台POD网络设备将超过5000台，因此如何规划Underlay高性能转发大规模数据中心网络的路由配置非常重要。

普通数据中心场景IGP主要是路由OSPF路由为主，OSPF路由技术成熟，网络建设运维人员使用经验丰富OSPF作为大型数据中心组网IGP路由协议，各POD应分为不同的部分Area以东西交换机为骨干区域Area0，以减少LSA传播区域和数量POD内SDN-GW作为OSPF区域边界网络设备将不同的接口划分为不同的区域，并将交换机接口交换机接口Area0，下连POD内Spine接口划入各POD单独Area。南北汇聚交换机一般在二层工作，三层结束在网络防火墙上，因此南北汇聚交换机不能运行路由协议。

相比较OSPF，ISIS 支持ISPF(Incremental SPF)，更好地支持和收敛大规模网络。ISIS支持灵活的TLV协议扩展性更好。ISIS由于其收敛速度快、结构清晰、适用于大型网络，一直广泛应用于城市网络场景或IP作为专网场景IGP路由协议。随着数据中心的规模和设备数量的增加，ISIS也更多地应用于数据中心场景。ISIS链路中的区域边界，每个网络设备只能属于一个ISIS区域LSP大规模数据中心场景中的传播区域和数量ISIS骨干区域包括分层规划POD交换机和每个东西汇聚POD内的SDN-GW。POD交换机运行中的东西汇聚ISIS level2，POD内的SDN-GW运行ISIS的level-1-2。每个POD内Spine和Leaf运行ISIS level1。

RFC7938提出了将EBGP路由协议应用于大规模数据中心的建议，目前将有少数EBGP应用于数据中心内作为底层路由协议的实例。有别于OSPF、ISIS等链路状态协议，BGP因此，它是一种距离矢量路由协议BGP扩展性更好。用于中小数据中心网络BGP和使用ISIS、OSPF等链路状态协议性能差别不大，但应用于超大数据中心网络BGP性能会更好。OSPF、ISIS等待链路状态协议需要在网络中传输大量LSA，先完成路由信息生成过程LSA同步信息，然后计算生成路由信息。当一些网络节点发生变化或网络切割升级时，会造成很多LSA传输。距离矢量路由协议BGP没有这样的问题，BGP网络扩展和切接升级时，节点间直接通知路由，网络稳定性更好。

目前关于OSPF和ISIS路由协议的LSA优化在IETF已有相应的draft，目的是减少LSA已经使传播的数量和范围OSPF和ISIS在超大规模数据中心组网中性能较好，但目前还没有非常有效和实际应用的方案。虽然目前会EBGP不广泛应用于数据中心，但未来超大型数据中心的底层路由协议选择，距离矢量路由协议BGP它很可能会得到更广泛的应用。

EBGP相对于路由的规划和配置OSPF和ISIS会更复杂。POD内的多台Spine设备规划相同AS多台东西汇聚交换机规划相同AS数字，每组堆叠Leaf单独规划 AS尽管每一个POD内Leaf只和本POD内Spine建立EBGP邻居，Leaf间不建立EBGP邻居，但是Spine还是需要配置很多Leaf邻居信息。规划配置复杂，有限EBGP应用于数据中心的因素之一。

在使用EBGP如果是底层路由协议的大规模数据中心POD内同时以E方案 Netconf转发控制方案，POD内E方案需以IBGP为了建立基础，需要同时配置网络设备EBGP IBGP两个不同AS号的BGP流程。目前主流厂家网络设备支持不同AS号的BGP双进程。

常规BGP报文AS为16比特长度，取值范围为0-65535，其中私有AS号范围64512到65534，因此，可用于数据中心内组网规划的私有AS数量为1023。按每组堆叠Leaf一个AS显然，数字的原则是不能满足的POD大规模数据中心组网AS号码分配需求。RFC6793建议将BGP的AS扩展到32比特长度后AS数量符合大规模数据中心数量没有问题，目前行业主流设备有32比特AS支撑长度的能力。

SDN除了满足传统设备带外管理功能外，数据中心的管理网络还需要部署Openstack云管理平台和SDN控制器比传统数据中心的管理网络更重要。随着数据中心规模的增加，管理网络的规模必然会同时增加，因此大型数据中心的管理网络也需要划分POD部署。POD内管网核心交换机配备各网段网关，管理网接入交换机工作在二层VLAN传输模式。管理网络POD管理管理汇聚交换机，POD核心和内部管理网络POD汇聚交换机三层互联，可运行ISIS或者OSPF路由协议POD内部管理网络广播域使管理网络更加稳定，管理网络网关也可以配置在管理接入交换机上，规划三层到边缘管理网络，但缺点是需要更详细的管理地址规划，管理地址规划过于细分会在一定程度上浪费地址资源，因此三层到边缘管理网络规划并不常见。

4.大规模SDN数据中心POD间互联互通

大规模SDN需要不同的数据中心POD统一管理和调度内部资源，构建大规模数据中心统一资源池。大规模SDN采用数据中心SDN-DCI技术实现POD互联互通。

SDN-DCI技术通过E方案 VXLAN建立跨POD管理面采用互联渠道E数据面采用方案协议VXLAN隧道承载。POD内的SDN-GW将同时作为DCI-GW，各POD的SDN-GW运行之间的配置Full mesh的EBGP协议。基于EBGP协议，各POD的SDN-GW之间建立E方案邻居关系，通过E建立互联互通的控制面，传递租户VPC内(Virtual Private Cloud)的MAC、ARP和IP网段路由信息。

统一的云管理平台部署在大规模数据中心，协同安排POD内SDN实现控制器的跨度POD互通网络业务流量。考虑到实际的网络部署，POD由于云管理平台需要的设备，所以云管理平台需要与不同厂家对接SDN为此，控制器需要定义标准SDN从云管平台北向控制器API开放接口，异厂家SDN根据此标准接口，控制器接收云管平台指令并控制本POD执行内转发设备的指令。

大规模数据中心跨度分析POD业务互联互通需求可获得以下流量模型:同业务领域、同租户跨POD互通，但内网防火墙；不同业务领域的租户跨越POD通过内网防火墙；不同业务领域与租户跨越POD通过内网防火墙；不同业务领域的不同租户跨越POD通过内网防火墙。

对以上网络流量模型进行总结分析，可概括为两种交通流量模型，即跨POD通过防火墙交换和跨度POD但防火墙交换。跨云管平台POD在交换业务接口指令模板中，增加防火墙状态，使能源开关决定是否通过防火墙。此外，考虑到流量模型的对称性，在过墙场景中需要双侧POD内均过墙。

跨POD互通不过防火墙流量，租户流量在当地接入VTEP封装进本地VXLAN隧道，到达POD内SDN-GW解开本地VXLAN包装，重新包装成互联网VXLAN后发往对端POD内SDN-GW。对端流量POD内SDN-GW后解开互联VXLAN包装，然后包装到相应的租户当地VXLAN隧道。不同业务的跨度POD应隔离交通流量，并规划每组业务交通流量VNI和VRF，并将VNI和VRF绑定。

跨POD通过防火墙流量模型，租户流量达到POD内SDN-GW解开本地VXLAN封装后通过VLAN二层转发至防火墙，防火墙处理后送回SDN-GW，SDN-GW重新包装成互联网VXLAN后发往对端POD内SDN-GW。对端流量POD内SDN-GW后解开互联VXLAN封装，通过VLAN二层转发至本POD内防火墙，防火墙处理后送回SDN-GW，SDN-GW再将流量封装进相应租户本地VXLAN隧道。

跨业务不同POD互通流量应予以隔离，需要为每组业务互通流量规划一个单独的VNI和VRF，并将VNI和VRF绑定。对于需要负载平衡设备处理的部分业务流量，云管平台可以通过相应的负载平衡统一安排流量。

5.大规模SDN南北向数据中心流量简述

大规模SDN介绍了数据中心对南北流量的处理POD组网后，增加了南北汇聚交换机。互联网防火墙由南北汇聚交换机连接，IP专用网络和专用线路由器。南北汇聚交换机在处理南北互联网业务流量的二层传输模式下工作，三层分别结束SDN-GW网络防火墙IP根据具体情况，用线路的南北流量处理中，可根据具体情况在二层或三层模式下工作，需要在三层模式下配置工作VRF隔离不同的业务流量。