方法一：使用命令行
nvidia-smi
是 Nvidia 显卡命令行管理套件，基于 NVML 库，旨在管理和监控 Nvidia GPU 设备。
这是 nvidia-smi 命令的输出，其中最重要的两个指标：
显存占用
GPU 利用率
显存占用和 GPU 利用率是两个不一样的东西，显卡是由 GPU 计算单元和显存等组成的，显存和 GPU 的关系有点类似于内存和 CPU 的关系。
方法二：
找到一个好用的小工具：gpustat,
使用命令行
pip install gpustat
即可安装，
gpustat 基于nvidia-smi，可以提供更美观简洁的展示，
使用下面 watch 命令，可以动态实时监控 GPU 的使用情况。
watch --color -n1 gpustat -cpu
目前没有跑程序，所以显存是没有使用的。
原文：https://www.cnblogs.com/chenlove/p/12539366.html