![nvitop—比nvidia-smi好用10000倍的GPU性能监控工具](/img/default.png)
nvitop—比nvidia-smi好用10000倍的GPU性能监控工具
在多卡训练时,我们常常需要监控显卡的运行状态。通常会使用nvidia-smi
来查看当前的显卡占用情况。但是当我们需要实时监控的时候nvidia-smi
就没有那么方便了,可能就需要搭配watch
命令来监控显卡。
nvitop这个工具可以很方便的实时监控服务器上包括显卡在内的硬件参数,如内存使用情况、CPU占用率等,而且会有更加直观的图像化展示。而且安装很方便只需要:
1 | pip install nvitop |
即可在环境中安装,使用时在命令行输入nvitop
就可以进入到监控界面,按下q
就可以退出监控。
在实际使用时我一般在电脑上常驻一个终端专门运行nvitop
,需要训练时打开窗口看一眼就可以确定哪些卡是空闲的,或者根据显存情况调整batchsize,相比于之前的nvidia-smi好用一万倍!
本文是原创文章,采用CC BY-NC-SA 4.0协议,完整转载请注明来自DaneSun's Blog
评论
匿名评论
✅ 你无需删除空行,直接评论以获取最佳展示效果