Back
Featured image of post 常用命令合集

常用命令合集

记录高频使用的命令

Linux命令

查看GPU状态:

  • 使用nvidia-smi

    nvidia-smi
    
  • 安装gpustat

    pip install gpustat
    gpustat
    
  • 新开一个terminal查看:

    watch -n 0.1 nvidia-smi
    

安装APEX加速库:

  • 可以下载到任意位置

  • 下载命令

    git clone https://github.com/NVIDIA/apex
    cd apex
    
  • 安装命令:

    • 官方方法:

      pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
      
    • 安装失败可以尝试使用:

      python3 setup.py install
      
  • 解决windows和linux编码不兼容问题:

    vim xxx.sh
    : set ff=unix
    esc :wq
    
  • 后台不挂断:

    nohup xxx.sh &
    appending output to nohup.out
    

    出现第二行代码即成功

    &:后台执行,终端退出仍执行

    😏谨记:2021年12月1日训练bert模型没有使用nohup,然后直接关闭掉了终端,导致从头开始训练!!

  • 查看进程PID

    1. ps -aux | grep "xxx.sh"
    
    2. htop
    
    3. top -u user_name
    
  • 复制文件 & 移动文件 & 改名

    cp file/dir dir
    mv file/dir dir
    mv old_name new_name
    
  • 查看所有者和权限 & 修改权限:

    ls -l
    chmod xxx(e.g. 777) xxx(e.g. xxx.sh)
    chmod xxx(e.g. u=rwx, g=rx, o=r) xxx(e.g. xxx.sh)
    chmod +(e.g. r,w,x) xxx(e.g. xxx.sh) (add permission for all)
    

Conda 命令

下载miniconda:

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh

激活conda:

  • 进入miniconda安装位置
cd ./bin
source activate

创建环境:

conda create -n name python=xxx(e.g. 3.7)

添加镜像:

  • 查看channel

    conda config --show
    
  • 添加清华镜像

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --set show_channel_urls yes
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    

安装Pytorch:

  • 查看cuda版本

    cat /usr/local/cuda/version.json 
    
    nvidia-smi
    
conda install pytorch torchvision torchaudio cudatoolkit=xxx(e.g. 11.3)

个人用户配置java环境:

tar -zxvf xxx.gz
cd ~
vi .bash_profile
添加:
export JAVA_HOME=/home/std/java/jdk1.8.0_301
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export JRE_HOME=$JAVA_HOME/jre
source .bash_profile
jave -version

Hugo命令

  • Blog起始页启动git bash

    hugo
    cd ./public
    git add .
    git commit -m "xxx"
    git push -u origin main
    

Git命令

  • 修改git bash默认分支为main

    git config --global init.defaultBranch main
    
  • 添加远程分支

    git remote add "remote name" xxx.git
    
  • 创建分支

    git checkout -b "branch name"
    
Built with Hugo
Theme Stack designed by Jimmy