容器资源可视化隔离的实现方法

容器技术提供了不同于传统虚拟机技术的环境隔离方式。通常的 Linux 容器对容器打包和启动进行了加速，但也降低了容器的隔离强度。其中Linux容器最为知名的问题就是资源视图隔离问题。

容器可以通过cgroup的方式对资源的使用情况进行限制，包括: 内存，CPU等。但是需要注意的是，如果容器内的一个进程使用一些常用的监控命令，如: free, top等命令其实看到还是物理机的数据，而非容器的数据。这是由于容器并没有做到对/proc,/sys等文件系统的隔离。

使用 lxcfs 和 kubernetes admission webhook机制来实现容器资源视图隔离的效果。

1）lxcfs官方介绍

LXCFS is a small FUSE filesystem written with the intention of making Linux containers feel more like a virtual machine. It started as a side-project of LXC but is useable by any runtime.

关于lxcfs的详细内容,请戳:https://github.com/lxc/lxcfs.

lxcfs.service的内容如下:

[Unit]
Description=FUSE filesystem for LXC
ConditionVirtualization=!container
Before=lxc.service
Documentation=man:lxcfs(1)

[Service]
ExecStart=/usr/bin/lxcfs -l /var/lib/lxc/lxcfs/
KillMode=process
Restart= always
Delegate=yes
ExecStopPost=-/bin/fusermount -u /var/lib/lxc/lxcfs
ExecReload=/bin/kill -USR1 $MAINPID

# add remount script
ExecStartPost=/usr/local/bin/container_remount_lxcfs.sh

[Install]
WantedBy=multi-user.target

#! /bin/bash

PATH=$PATH:/bin
LXCFS="/var/lib/lxc/lxcfs"
LXCFS_ROOT_PATH="/var/lib/lxc"

containers=$(docker ps | grep -v pause  | grep -v calico | awk '{print $1}' | grep -v CONTAINE)

for container in $containers;do
  mountpoint=$(docker inspect --format '{{ range .Mounts }}{{ if eq .Destination "/var/lib/lxc" }}{{ .Source }}{{ end }}{{ end }}' $container)
  if [ "$mountpoint" = "$LXCFS_ROOT_PATH" ];then
    echo "remount $container"
    PID=$(docker inspect --format '{{.State.Pid}}' $container)
    # mount /proc
    for file in meminfo cpuinfo loadavg stat diskstats swaps uptime;do
      echo nsenter --target $PID --mount --  mount -B "$LXCFS/proc/$file" "/proc/$file"
      nsenter --target $PID --mount --  mount -B "$LXCFS/proc/$file" "/proc/$file"
    done
    # mount /sys
    for file in online;do
      echo nsenter --target $PID --mount --  mount -B "$LXCFS/sys/devices/system/cpu/$file" "/sys/devices/system/cpu/$file"
      nsenter --target $PID --mount --  mount -B "$LXCFS/sys/devices/system/cpu/$file" "/sys/devices/system/cpu/$file"
    done 
  fi 
done

2）基于kuernetes可扩展的admission webhook机制对发送创建POD的请求数据进行拦截，并对其请求的Body进行修改之后(在lxcfs中主要是对pod进行procfs文件系统的挂载操作)，再放行到具体的handler中并持久化数据到etcd。

再配一张图更能体现adminssion webhook在请求中的哪个位置进行工作。

作者基于开源的lxcfs-admission-webhook进行了修改，增加了对/sys/devices/system/cpu/online文件的虚拟化。详细的代码请戳: https://github.com/xigang/lxcfs-admission-webhook/tree/dev.

在使用lxcfs-admission-webhook服务时，需要注意的几点如下:

1. kubernetes的版本需要大于等于1.9。

2. 配置kube-apiserver配置文件，对–admission-control增加MutatingAdmissionWebhook,ValidatingAdmissionWebhook参数，使kubernetes开启admissionregistration.k8s.io/v1beta1 API。

3. 如果kubernetes master节点没有部署kube-proxy, 需要为kube-apiserver增加--enable-aggregator-routing=true的参数。

4. 如果使用的runc版本比较低，需要升级各个Node节点的runc，以允许容器对procfs文件系统的挂载操作。

最终体现容器资源可视化隔离的效果如下所示:

相关文章

• https://kubernetes.io/docs/reference/access-authn-authz/admission-controllers/

• https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/

• https://kubernetes.io/blog/2019/03/21/a-guide-to-kubernetes-admission-controllers/