深入理解 nvidia-docker2.0

上面已经介绍个各个组件的作用以及它们之间的关系，接下来详细的描述下这张图:

1.正常创建一个容器的流程是这样的:

docker --> dockerd --> docker-containerd-shm -->runc --> container-process

docker客户端将创建容器的请求发送给dockerd, 当dockerd收到请求任务之后将请求发送给 docker-containerd-shm (其实就是containerd)。

前面没有介绍到 containerd 。这里简单的介绍下, containerd ,它主要负责的工作是:

• 管理容器的生命周期(从容器的创建到销毁)
• 拉取/推送容器镜像
• 存储管理(管理镜像及容器数据的存储)
• 调用runc 运行容器
• 管理容器的网络接口及网络

containerd的定位是:

containerd 被设计成嵌入到一个大系统中，而不是给开发人员和终端的设备使用。

关于containerd的详细说明，请查看 containerd 。

当containerd接收到请求之后，做好相关的准备工作，会去调用 runc ,而runc基于OCI文件对容器进行创建。这是容器创建的整体流程。

2.创建一个使用GPU的容器。

创建GPU容器的流程如下:

docker--> dockerd --> docker-containerd-shim-->nvidia-container-runtime -- > container-process

基本流程和普通不使用GPU的容器差不多，只是把docker默认的运行时替换成了NVIDIA自家的 nvidia-container-runtime 。 这样当 nvidia-container-runtime 创建容器时，先执行 nvidia-container-runtime-hook 这个hook去检查容器是否需要使用GPU(通过环境变量NVIDIA_VISIBLE_DEVICES来判断)。如果需要则调用 libnvidia-container 来暴露GPU给容器使用。否则则走默认的runc逻辑。

说到这里 nvidia-docker2.0 的大体机制基本就通了。但是涉及到的 nvidia-container-runtime , libnvidia-container , containerd , runc 这些项目， 这本篇文章里面就不一一介绍了。如果感兴趣可以自行去探索学习。这些地址在文章中都已经做个相关的链接。

参考

https://developer.nvidia.com/nvidia-container-runtime https://devblogs.nvidia.com/gpu-containers-runtime/ https://github.com/opencontainers/runtime-spec/blob/master/config.md https://github.com/opencontainers/runtime-spec https://github.com/NVIDIA/nvidia-container-runtime https://github.com/opencontainers/runc https://github.com/NVIDIA/libnvidia-container https://github.com/NVIDIA/nvidia-docker/issues/815