Kubernetes网络接口(CNI) midonet网络插件设计与实现

先来讲讲什么是CNI?

kubernetes如何支持和运行遵循CNI规范的插件

kubernetes首先以插件的形式完成(pod)容器的网络资源设置。内置的插件包括:cni,kubenet,hostport等。这里简单说说kubenet。这是一个简单的网络插件，每台机器上创建一个br0网桥，根据PodCIDR为每个pod设置ip连接到br0网桥上。次方式可结合一些网络路由 工具 完成一个小规模的集群网络pod互联。我们主要讲CNI插件。kubernetes以cni插件来支持cni规范，调用其他厂商和个人开发的遵循cni规范的各种网络插件，例如 Calico , Flannel 等。k8s默认情况下cni模式不支持端口映射等。k8s将容器网络设置none,完全交给插件去管理容器网络资源。

上文多次提到的网络资源是什么？

容器网络资源包括：虚拟网卡,IP地址，DNS,网络路由等等。容器使用独立的网络命名空间，可以具有自己的网络资源信息。这些信息数据由不同的CNI插件根据不同的SDN网络的实现给容器配置。

MidoNet SDN网络

MidoNet是由日本的SDN公司Midkura研发的一款网络虚拟化软件，其基于底层物理设施来实现网络虚拟化，具有分布式、分散、多层次的特点，主要作为OpenStack中的默认网络组件，可以让虚拟网络解决方案，特别是专为网络基础设施设计的方案，为云平台如OpenStack服务，并且将其网络存贮栈虚拟化。MidoNet为每个租户分配一个逻辑router,租户与租户之间是相互隔离的，租户内部之间是能够相互通讯的，Midonet支持L2交换、L3路由、L4负载均衡

有状态和无状态NAT，逻辑和分布式防火墙，BGP与ECMP支持。其架构主要包含以下组件：

Midolman（Midonet Agent）：Midonet

Agent安装在各个计算节点，负责建立网络流量控制和提供分布式Midonet网络服务，路由，NAT等他把相关的虚拟网络信息存放到NSDB。

Network State

Database(NSDB):存储网络配置和状态，网络拓扑，路由，Midonet不集中处理网络功能，由Midonet Agent处理，Midonet Agent会跟NSDBs做实时同步当有变化时候会及时同步并且更新NSDB

MidoNet支持大规模SDN集群，其架构理论上支持上万节点。我们可以使用MidoNet完成k8s集群内租户内Pod网络互联。

MidoNet多租户下网络结构模型

SDN(软件定义网络)，Midonet软件定义你所熟知的网络组件。以下简单介绍几个核心的软件定义概念：

*  Router(路由器)

一个租户对应一个Router,连接到同一个Router的Bridge网络互通。Midonet会创建一个PrivierRouter，所有租户Router连接到PrivierRouter与外网互通。等价于一个路由器内网互通，连接上级路由器接入公网。

*  Bridge(网桥)

一个租户下可以有多个Bridge，每个Bridge使用不同的网段。例如一个Bridge网段为 192.168.0.0/24 ，最多可以有253个虚拟设备连接到本Bridge。

*  Port(设备通信端口)

Router与Router之间，Router与Bridge之间的通信接口。

*  Route(路由)

路由规则，给Router定义流量包转发端口的规则。

*  Rule(过滤规则)

定义包过滤条件。类似于iptables。

基于MidoNet的kubernetes CNI插件实现

Midonet数据交换工作在三层，但是其本身不提供IP地址管理(IPAM),因此基于Midonet的cni插件需要完成以下工作：IPAM,租户Router、Bridge创建，容器网卡创建，以及所有端到端连接和路由过滤规则创建。

IPAM

需要完成两个层面的IP管理，Router级别的地址管理，每一个Router具有一个IP地址，且全局唯一不冲突。每一个Bridge具有一个唯一网段，连接的虚拟网卡具有全局唯一IP 。

IPAM有很多实现方式，CNI插件是无状态应用，或许你需要一个守护进程来完成IPAM工作。基于简化架构的思路，我们使用ETCD来存储IP数据，直接由插件来操作ETCD。完成IP的使用和释放。

租户网络初始化

当新租户第一次创建容器时进行租户虚拟设备的初始化创建，上文我们已经介绍了一个租户需要创建的虚拟设备有哪些，这里我讲讲细节。

Midonet提供了Rest-API来操作虚拟设备。这里注意，根据使用的不同版本的Midonet使用不同版本的API。

https://github.com/barnettZQG/golang-midonetclient

封装了golang版的Midonet api操作方法，支持1. 和5. API版本。

创建步骤如下：

1. 创建租户，调用Keystone API。

2. 创建Router，并包含创建进出Chain。

3. 创建PrivierRouter Port并赋IP,创建Router Port并赋IP。创建PortLink连接两个Port。

4. 为前面创建的Chain创建对应的路由规则

5. 为前面创建的Port创建包过滤规则

6. 创建一个默认的Bridge。并创建Port连上Router。

7. 存储以上创建的相关数据进ETCD.

容器网卡创建和网络绑定

Virtual Ethernet Pair

简称veth pair,是一个成对的端口,所有从这对端口一 端进入的数据包都将从另一端出来,反之也是一样.其两端可存在于不同的网络空间（Network Namespace）。容器创建成功后具有一个网络空间，k8s此时调用CNI插件ADD方法进行网络设置。插件首先创建一对Veth pair。将其一端置于宿主机网络空间，调用Midonet 绑定API将其与Bridge一个Port绑定。另一端在容器内并赋予IP地址，根据当前使用的Bridge网段。

与 Docker 0网卡部分原理一致。

设置容器内路由规则

将默认路由设置到上文创建的网卡上。例如上文创建的网卡命名为eth0。

设置DNS

根据需要设置一些DNS信息。

怎么实现操作？

1.使用 shell 命令。

ip link *
ip netns *
ip address *
ip route *

以上命令详细使用方法网上很多了，这里不再描述。

1. golang netlink library

https://github.com/vishvananda/netlink 1

定义了关于网卡相关与 linux 内核通信的用户空间的相关接口。

CNI插件实现的注意事项

1. CNI插件的添加和删除操作应该具有幂等性，即同样的参数传入不管调用多少次都应该有相同的效果。
2. CNI插件应该支持并发性，主要是租户相关组件的创建和IP地址分配的强一致性。
3. CNI插件有一定的规范，请参考：https://github.com/containernetworking/cni

来源： https://www.kubernetes.org.cn/1825.html