vxlan网络
vxlan是一种基于3层网络实现的2层overlay网络。vxlan网络可以使用VNI划分出多个彼此隔离的网络，可应用于多租户场景。
vxlan可以结合bridge一起来使用，相当于使用vxlan将多个主机上的bridge连接起来形成一个大的逻辑上的bridge设备。也可以不使用bridge，而是结合路由使用。下图是结合路由或bridge使用的场景示例：
在kubernetes环境中，可以使用简单的路由方式。内核在vxlan数据包解包后将原始二层数据给到了vxlan设备去接收，vxlan设备将数据包送入到上层网络协议栈。网络协议栈根据主机上的路由表配置，将包发给相应pod的网卡。
在这种路由模式下，节点上不需要知道其他所有pod的mac地址，只需要节点上对应的网关的地址的mac。数据包通过vxlan设备发送和接收的大致流程如下：
数据发送：
数据包从pod1发出，进入peer网卡的接收队列，然后到达node1的协议栈，经过路由判决，走node1的forward链。
forward时，要去的pod2的IP为172.16.2.1，主机路由匹配到应该走vxlan设备，下一跳为172.16.2.0。
数据包到达vxlan设备，查询路由表得知网关地址为172.16.2.0，于是通过arp协议查找网关的mac地址，在arp表中找到了匹配的记录后完成mac头封装，准备发送。
vxlan设备发送数据包并不是提交到发送队列，而是调用udp隧道相关接口将数据包封装成一个udp数据包，接着会查询fdb表查找要将数据从那个VTEP接口发出，经过查找后得到的VTEP接口为192.168.56.2，从而将数据包发送node2节点 。
数据接收：
node2接收后，走主机协议栈，判断这是发往本机的udp包，于是走INPUT方向，最终发到UDP隧道层处理。
当创建vxlan创建udp隧道时，会将其接收数据包方法覆盖为vxlan的接收方法，所以在收到vxlan的UDP数据包后，进行对vxlan包解包，之后调用网卡的接收数据包方法进行接收原始二层数据包，此时如果vxlan设备被加入到了bridge设备，那么这个数据包会由bridge设备收到，bridge设备决定进行二层抓发或是送入上层网络协议栈。如果没有加入bridge中，那么如果目的mac地址是自己的也会送入上层网络协议栈。
进入上层网络协议栈后，就会根据主机的路由判断是入站还是转发，发现目标地址是172.16.2.1，经过路由判决时，发现不是本机地址，进行转发，找到相应的路由通过veth-pairhost端发出，从而进入pod。
下面，我们通过一些列命令手动创建和管理vxlan设备，进行测试vxlan相关功能，此处我们采用纯路由方式。
首先在第一台主机上先创建vxlan设备，配置路由：
set -ux
sysctl -w net.ipv4.ip_forward=1
sysctl -w net.ipv4.conf.all.proxy_arp=1
sysctl -w net.ipv4.conf.all.rp_filter=0
iptables -A FORWARD -d 172.16.0.0/16 -j ACCEPT
iptables -A FORWARD -s 172.16.0.0/16 -j ACCEPT
ip link add vxlan.1 type vxlan vni 1
ip link set vxlan.1 up
ip addr add 172.16.1.0/32 dev vxlan.1
ip route add 172.16.2.0/24 via 172.16.2.0 dev vxlan.1…
kubernetes网络 – 集群网络原理分析
发布于