Linux命令
查看GPU状态:
-
使用nvidia-smi
nvidia-smi
-
安装gpustat
pip install gpustat gpustat
-
新开一个terminal查看:
watch -n 0.1 nvidia-smi
安装APEX加速库:
-
可以下载到任意位置
-
下载命令
git clone https://github.com/NVIDIA/apex cd apex
-
安装命令:
-
官方方法:
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
-
安装失败可以尝试使用:
python3 setup.py install
-
-
解决windows和linux编码不兼容问题:
vim xxx.sh : set ff=unix esc :wq
-
后台不挂断:
nohup xxx.sh & appending output to nohup.out
出现第二行代码即成功
&:后台执行,终端退出仍执行
😏谨记:2021年12月1日训练bert模型没有使用nohup,然后直接关闭掉了终端,导致从头开始训练!!
-
查看进程PID
1. ps -aux | grep "xxx.sh" 2. htop 3. top -u user_name
-
复制文件 & 移动文件 & 改名
cp file/dir dir mv file/dir dir mv old_name new_name
-
查看所有者和权限 & 修改权限:
ls -l chmod xxx(e.g. 777) xxx(e.g. xxx.sh) chmod xxx(e.g. u=rwx, g=rx, o=r) xxx(e.g. xxx.sh) chmod +(e.g. r,w,x) xxx(e.g. xxx.sh) (add permission for all)
Conda 命令
下载miniconda:
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
激活conda:
- 进入miniconda安装位置
cd ./bin
source activate
创建环境:
conda create -n name python=xxx(e.g. 3.7)
添加镜像:
-
查看channel
conda config --show
-
添加清华镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
安装Pytorch:
-
查看cuda版本
cat /usr/local/cuda/version.json
nvidia-smi
conda install pytorch torchvision torchaudio cudatoolkit=xxx(e.g. 11.3)
个人用户配置java环境:
tar -zxvf xxx.gz
cd ~
vi .bash_profile
添加:
export JAVA_HOME=/home/std/java/jdk1.8.0_301
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export JRE_HOME=$JAVA_HOME/jre
source .bash_profile
jave -version
Hugo命令
-
Blog起始页启动git bash
hugo cd ./public git add . git commit -m "xxx" git push -u origin main
Git命令
-
修改git bash默认分支为main
git config --global init.defaultBranch main
-
添加远程分支
git remote add "remote name" xxx.git
-
创建分支
git checkout -b "branch name"