PyCharm+Docker:打造最舒适的深度学习炼丹炉

栏目: Python · 发布时间: 5年前

内容简介:雷锋网 AI 科技评论按,本文作者是四川大学数据智能实验室在读硕士刘震,这是他在知乎上发表的一篇文章,雷锋网一般炼丹都在服务器上,很少有人在本机跑代码的。之前自己捣鼓怎么用本地的编辑器配上远程服务器的环境来营造一个最舒乎的姿势。最开始用 VS Code 的 SFTP 插件,但是用着还是不顺手,因为不能用远程的环境,最后还是选择了强大的 PyCharm。下面的这个教程最开始只是自己用,后来写了一篇博客分享给实验室的人,没想到大家都开始用上了。这次专门写一篇更详细的放到知乎供有缘人使用。

雷锋网 AI 科技评论按,本文作者是四川大学数据智能实验室在读硕士刘震,这是他在知乎上发表的一篇文章,雷锋网 (公众号:雷锋网) 转载。

PyCharm+Docker:打造最舒适的深度学习炼丹炉

一般炼丹都在服务器上,很少有人在本机跑代码的。之前自己捣鼓怎么用本地的编辑器配上远程服务器的环境来营造一个最舒乎的姿势。最开始用 VS Code 的 SFTP 插件,但是用着还是不顺手,因为不能用远程的环境,最后还是选择了强大的 PyCharm。下面的这个教程最开始只是自己用,后来写了一篇博客分享给实验室的人,没想到大家都开始用上了。这次专门写一篇更详细的放到知乎供有缘人使用。

开始之前你可以对比以下条件来确定自己是否真的需要这样做:

  • 使用 PyCharm 作为主力 IDE 写 Python 而不是其他(我非常推荐大家用)

  • 深度学习炼丹师(当然你可以不是,但如果是,你会更舒服)

  • 服务器在远程或者局域网(其实局域网的体验最佳)

  • 使用 Docker(能够熟练使用最佳)

当你配置完成之后,你将能 在本地 PyCharm IDE 上使用远程服务器的 Python 解释器和环境进行调试和运行,同时能够很方便的将代码在本地和服务器上进行同步。

OK,废话不多说,正式开始我们的 PyCharm+Docker 的远程环境配置之旅。

首先你需要满足以下两个必备条件:

  • 使用 PyCharm 专业版 ,记住一定是专业版(社区版不提供远程服务)

  • 在服务器上 安装 docker 和 nvidia-docker

1.新建 docker container

首先按照如下命令新建一个 docker 容器(关于 docker 的使用这里不废话,建议不熟悉的童鞋先去学一下如何使用 docker,教程很多):

sudo nvidia-docker run -it -p [host_port]:[container_port](do not use 8888) --name:[container_name] [image_name] -v [container_path]:[host_path] /bin/bash

举个栗子:

sudo nvidia-docker run -p 5592:5592 -p 5593:5593 -p 8022:22 --name="liuzhen_tf" -v ~/workspace/liuzhen/remote_workspace:/workspace/liuzhen/remote_workspace -it tensorflow/tensorflow:latest-gpu /bin/bash

正确执行完之后,现在我们就处在新建的 docker 容器里了(端口映射,容器名,镜像和路径映射这些换成你自己的就行,但是一定要留一个端口映射到宿主机 22 端口,因为 SFTP 默认使用 22 端口)。

2.配置 SSH 服务

接着我们在刚刚新建的容器里配置 SSH 服务,首先安装 openssh-server:

$ apt update
$ apt install -y openssh-server

然后建立一个配置文件夹并进行必要的配置:

$ mkdir /var/run/sshd
$ echo 'root:passwd' | chpasswd# 这里使用你自己想设置的用户名和密码,但是一定要记住!$ sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
$ sed 's@session\s*required\s*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd
$ echo "export VISIBLE=now" >> /etc/profile

重启 SSH 激活配置:

$ service ssh restart

在服务器(宿主机)上(不是服务器的 docker 里)测试刚刚新建 docker 容器中哪个端口转发到了服务器的 22 端口:

$ sudo docker port [your_container_name] 22

# 如果前面的配置生效了,你会看到如下输出

# 0.0.0.0:8022

最后测试能否用 SSH 连接到远程 docker:

$ ssh root@[your_host_ip] -p 8022
# 密码是你前面自己设置的

到这里说明服务器的 docker 端已经完成配置。

3.在 PyCharm 里配置部署环境

打开 PyCharmTools > Deployment > Configuration, 新建一个 SFTP 服务器,名字自己取:

PyCharm+Docker:打造最舒适的深度学习炼丹炉

输入如下图配置,注意这里的端口是你刚刚设置的映射到服务器主机 22 端口的 docker 容器中的端口,我这里使用的是 8022,账号密码是你刚刚自己设置的,这里的 Root Path 设置一个远程 docker 容器里的路径:

PyCharm+Docker:打造最舒适的深度学习炼丹炉

配置完点击 Test SFTP connection, 如果成功就恭喜你,可以进行下一步了。

最后在 Mappings 中配置路径,这里的路径是你本地存放代码的路径,与刚刚配置的 Root Path 相互映射(意思是 Mapping 里本机的路径映射到远程的 Root Path),方便以后在本地和远程 docker 中进行代码和其他文件同步。

PyCharm+Docker:打造最舒适的深度学习炼丹炉

4.在 PyCharm 里配置远程解释器

点击 PyCharm 的 File > Setting > Project > Project Interpreter 右边的设置按钮新建一个项目的远程解释器:

PyCharm+Docker:打造最舒适的深度学习炼丹炉

PyCharm+Docker:打造最舒适的深度学习炼丹炉

配置完成以后在项目解释器界面就会出现如下图所示,可以看到此时已经完成远程解释器的本地化:

PyCharm+Docker:打造最舒适的深度学习炼丹炉

配置完成以后需要等本地和远程的环境同步一下,到这里,恭喜你,可以用最舒服的姿势。。。写代码了。

配置完成以后的日常是这样的:

PyCharm+Docker:打造最舒适的深度学习炼丹炉

左边是本地的文件,修改之后可以随时右键 deployment->upload 到远程主机,或者直接在本地调试运行;最右边是远程主机的文件,假如直接在远程修改了文件刷新一下同样可以右键下载到本地,但是我不建议这样做,因为这样很容易带来冲突(毕竟没有很好的版本控制)。 目前最好的实践是在局域网的服务器上,时延低,同步速度快。

常见问题:

最常见的问题就是 docker 容器停了以后里面的 SSH 服务也会相应停止,因此当你发现自己某一天连不上的时候,记得去 docker 里重启一下 ssh 服务:

$ service ssh restart

感谢 @ 丁果 对这个问题提出的解决方案:

「可以在 run 的时候加上--restart=always,同时 ssh 启动的写到 dockerfile 里去,其实 docker 里面一般不会再装 ssh。」

原文链接: https://zhuanlan.zhihu.com/p/52827335

雷锋网版权文章,未经授权禁止转载。详情见 转载须知


以上所述就是小编给大家介绍的《PyCharm+Docker:打造最舒适的深度学习炼丹炉》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

互联网思维独孤九剑

互联网思维独孤九剑

赵大伟 / 机械工业出版社 / 2014-3-20 / 49

《互联网思维独孤九剑》是国内第一部系统阐述互联网思维的著作,用9大互联网思维:用户思维、简约思维、极致思维、迭代思维、流量思维、社会化思维、大数据思维、平台思维、跨界思维,以专业的视角全方位解读移动互联网给传统产业带来的变革,涉及战略规划、商业模式设计、品牌建设、产品研发、营销推广、组织转型、文化变革等企业经营价值链条的各个方面。这是一部传统企业互联网转型必读的“孙子兵法”,帮助我们开启对新商业文......一起来看看 《互联网思维独孤九剑》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试