本机系统：Windows 10 （我真是坚持走在用Windows写python的路上不回头。。。）
使用软件：putty（ssh连接） 和 WinSCP（文件管理）
1.登陆
putty软件输入IP地址和端口号， 登陆gwork
2.环境
/ghome下的有一userid命名的文件夹，账号创建即生成，限额20G， 代码及script文件放在这里
/gdata下可以自从创建userid命名的文件夹，限额300G，用于储存job生成的结果。
/gpubg公共数据区
3.使用
调试：从gwork主机sshG101，断开ssh连接的方法，logout
1startdocker -u "-it" -c /bin/bash bit:5000/deepo 2 3bit:5000/deepo是一个集中了几乎所有深度学习框架的一个docker 镜像，使用上述命令将进入docker container内部，相当于一个虚拟机， 4 你在内部对系统所做的任何操作都将在系统退出后丢失，但对用户根目录下（/ghome/<username>）的文件操作将不会丢失。 5 此命令没有用-P命令挂载用户代码和配置目录，系统默认挂载了整个用户根目录，也没有使用-D挂载数据目录，用户可以根据需要挂载。
退出docker的命令：
exit
退出G101后，查看镜像的命令
sudo docker images
如果没有正确得退出docker（如直接关闭terminal），需要利用命令查看docker id，并且关闭
sudo docker pssudo docker stop CONTAINER_ID
调试成功后，编写pbs文件提交，注意windows系统下的换行符需要改成unix模式（可以使用notepad++编辑器）。
pbs中的命令行如下:
1startdocker -D <mydatapath> -P <my-proc-config-path> -s <my-script-file> bit:5000/deepo 2 3""" -s 参数后的my-script-file 可以是shell脚本或python脚本，但都需要在第一行加解释器，如 4 shell脚本需要加： 5 #!/bin/bash 6 python脚本需要加： 7 #!/usr/local/bin/bash""" 8 9下面是一个pbs文件示例： 10 11#PBS -N myjob1 12#PBS -o /home/liulm/myjob1.out 13#PBS -e /home/liulm/myjob1.err 14#PBS -l nodes=1:gpus=1:S 15#PBS -r y 16cd $PBS_O_WORKDIR 17echo Time is 'date' 18echo Directory is $PWD 19echo This job runs on the following nodes: 20cat $PBS_NODELIFE 21cat $PBS_GPULIFE 22./myproc"""
-N: job 名
-o: 输出文件路径
-e: 报错文件输出路径
-l: 集群资源分配， 节点数和gpu数（通常一就可以满足要求）
-r: 任务操作类型， -r表示job立即执行
"""
对job的操作指令集合：
1qsub myjob1.pbs 2#提交作业 3qstat -n 4#查看作业 5qhold job_id 6#挂起作业，被挂起的job状态显示为H 7qrls job_id 8#取消挂起作业，job重新运行 9pbsnodes 10#查看节点 11pbsnodes -l free 12#查看空闲节点
4.自定义docker镜像文件（相当于安装库？）
emmm，步骤比较复杂。
而自己python程序中比较小的packeage可以使用如下方法：
1不需要构建镜像。以numpy为例： 21. 下载numpy的源码（一般能从个人PC上拷贝），放入服务器上的某个目录，比如/gdata/xxx/pylib 32. 挂载目录，-v /gdata/xxx/pylib:/data/pylib 43. 将挂载后的目录加入python import的搜索路径，两个方法 5 a. 指定容器的PYTHONPATH, 在startdocker的-u里面加入-e PYTHONPATH=/data/pylib，此时/data/pylib的 6 优先级可能次于系统自带路径（没测过），import numpy 会导入系统的numpy 7 b. 在程序的一开始加入下面两行代码 8 import sys 9 sys.path.insert(1, '/data/pylib') 10 1表示/data/pylib的优先级仅次于程序所在目录 11 此时/data/pylib的优先级高于系统自带路径，import numpy 会导入/data/pylib的numpy
5. DGX1服务器使用
slurm构成的小集群， 操作仍在gwork 上，共享文件系统
script格式如下：
1my.slurm 2 3#!/bin/bash 4#SBATCH --job-name=myjob1 5#SBATCH -gres=gpu:4 6#SBATCH --output=myjob.out 7echo "Submitted from $SLURM_SUBMIT_DIR" on node "$SLURM_SUBMIT_HOST" 8echo "Running on node "$SLURM _JOB_NODELIST 9echo "Allocate Gpu Units:" $CUDA_VISABLE_DEVICES 10##program here## 11startdocker {-c <mycd>|-s <myscript>} nvdl.githost.io:4678/dgx/cuda:9.0-cudnn7-devel-ubuntu16.04
操作命令：
1sbatch <myscript> 2#提交文件 3squeue 4#查看队列情况 5scancel <jobid> 6#取消job