如何在PAI平台跑实验

栏目: 编程工具 · 发布时间: 5年前

内容简介:首先去官网下载docker windows,如果系统不适配,就用官网的docker tools辅助安装。安装后,右下角任务栏找到小鲸鱼图案,右键点击setting。在左边的栏目里面找到Daemon选项,进去后就会看到我们什么都没有配置,所以按照下面的信息配置docker:配置好后打开cmd或其他命令行软件,用下面的指令下载基础镜像到本地并运行:运行镜像后就进入linux的terminal了,你拥有root权限,可以进行任何操作。在其中配置好你想要的环境

PAI平台使用教程

  • build image
  • upload & run
  • storage system

build image

首先去官网下载docker windows,如果系统不适配,就用官网的docker tools辅助安装。安装后,右下角任务栏找到小鲸鱼图案,右键点击setting。在左边的栏目里面找到Daemon选项,进去后就会看到我们什么都没有配置,所以按照下面的信息配置docker:

"registry-mirrors":["http://f1361db2.m.daocloud.io"]
"insecure-registries":["192.168.193.253:5000"]

配置好后打开cmd或其他命令行软件,用下面的指令下载基础镜像到本地并运行:

docker pull 192.168.193.253:5000/pytorch:v0.4.0
#此镜像为pytorch0.4版本的基础镜像
docker image ls
#查看目前本地所拥有的镜像
docker container run -ti <Image ID>
#从查看过程中可以得到Image ID,输到对应位置,运行镜像

运行镜像后就进入 linux 的terminal了,你拥有root权限,可以进行任何操作。在其中配置好你想要的环境

弄完之后输入 exit 退出

我们运行下面几条指令,把刚刚弄好的镜像上传到服务器:

docker container ls -l
#查看刚刚编辑的镜像,主要记住其container ID
docker container commit <container ID>
#把镜像commit一下,返回一个sha256编码就表示成功了
docker image ls
#查看一下刚刚commit的镜像id 刚刚commit的名字为none,记住其image id
docker image tag <ImageID> <name>:<tag>
#用这个命令给镜像起名字,注意name 和 tag 要起成以下格式:192.168.193.253:5000/zhangyu:0.3 IP必须有,zhangyu那部分填自己的,冒号后面为tag,你可以当作版本号。
docker push <Image 名字>
#上传你的镜像

至此镜像就配置完了,下面就可以上传代码,跑代码了

upload & run

首先在本地 python 环境安装常瑞师兄编写的 pai 包,常瑞师兄在github上写的比较详细,具体操作按照上面来,我在这里主要介绍一下configuration中的注意事项,所涉及的都是需要改的,其余可以不予理睬。

jobname:是我们提交任务的名称,同时平台会在root下建立一个此名称的文件夹,运行其中代码。初次我们起名为 * *_,上传时平台会在_后随即给你添数字,如果你不按照此格式,他会把你起的名称覆盖。

image:填你要使用的镜像名称

gputype:填你要使用的gpu 目前有两种 geforce1080ti geforce2080ti

cpunumber:填你要申请的cpu数量,一般3就足够了

memoryMB:一般4、5g就可

shmMB:影响读数据速度,可以填1024或2048,填多了没用

gpuNumber:这里填你要申请的gpu数量,一般都为1个,如果需要并行跑,可以申请多个

command:/bin/bash /root/mount.sh 这个必输,其余的就填你要运行的指令。

storage system

平台采用挂载的形式,把服务器的部分存储空间挂载到了平台上,挂载过后的位置为:/root/data/

里面存放/root/data/datasets/数据集,/root/data/models/模型库,/root/data/ouputs/存一些代码的输出


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

小团队构建大网站:中小研发团队架构实践

小团队构建大网站:中小研发团队架构实践

张辉清 等 / 电子工业出版社 / 2019-1 / 69

《小团队构建大网站:中小研发团队架构实践》结合作者近几年的工作经验,总结了一套可直接落地、基于开源、成本低、可快速搭建的中小研发团队架构实践方法。《小团队构建大网站:中小研发团队架构实践》共5篇22章,开篇是本书的导读;架构篇是设计思想的提升,包括企业总体架构、应用架构设计、统一应用分层等;框架篇主讲中间件和工具的使用,包括消息队列、缓存、Job、集中式日志、应用监控和微服务等;公共应用篇是技术与......一起来看看 《小团队构建大网站:中小研发团队架构实践》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

html转js在线工具
html转js在线工具

html转js在线工具