Docker应用-如何给AI应用开启GPU监控
1. 安装驱动
首先需要安装 Nvidia 驱动，下面是 Nvidia 驱动安装教程，如果已经安装好 Nvidia 驱动可跳转到第二节：
1.1 下载驱动安装文件
打开下面链接，填写对应的设备信息查询驱动版本并下载，下面以 NVIDIA Tesla T4为例。
Download The Official NVIDIA Drivers | NVIDIA
注意：
1. Cuda版本请选择12.4版本及以上
2. 我们在 ① 处不选择Linux的不同分发版本，而是选择 Linux x64（64位CPU）或者 Linux aarch64（Arm CPU）
然后点击 ‘Find’ 查找对应的驱动，若查找成功，将显示，我们点击 ‘View’ 查看：
点击 ‘Download’ 下载：
打开宝塔面板，将下载的文件上传到 ‘/root/’ 目录下：
打开终端运行：
cd /root
chmod 755 ./NVIDIA-Linux-x86_64-550.144.03.run
./NVIDIA-Linux-x86_64-550.144.03.run
重启
！！！注意：此操作将重启服务器，请确保当前情况能够进行重启！！！
reboot
2. 安装工具
请在命令行执行以下命令验证是否安装：
nvidia-smi若无报错，则可以继续安装 Nvidia Container Toolkit：
2.1 在线安装
如果网络质量较差，在线安装无法完成，可跳转至 2.2 进行本地安装。
Ubuntu/Debian 执行以下命令：# APT
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
apt-get update
apt-get install -y nvidia-container-toolkit
Centos/RedHat 执行以下命令：# YUM
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
yum install -y nvidia-container-toolkit
2.2 本地安装
在附件中或者下面网盘中下载对应的压缩文件，例如：Ubuntu x64 位系统则下载 ‘nvidia-container-toolkit_1.17.4_deb_amd64.tar.gz’ 这个文件
链接: https://pan.baidu.com/s/1QMd_XIYsS0I9E458xqDECQ?pwd=1cff 提取码: 1cff
然后将文件重命名为 ‘toolkit.tar.gz’，打开宝塔面板文件功能，将文件上传到 ‘/root/’ 目录下，执行以下命令：
Ubuntu/Debian x64 执行以下命令：
tar -xvzf toolkit.tar.gz
cd release-v1.17.4-stable/packages/ubuntu18.04/amd64/
apt install ./*.deb
Centos/RedHat x64 执行以下命令：
tar -xvzf toolkit.tar.gz
cd release-v1.17.4-stable/packages/centos7/x86_64/
yum install -y ./*.rpm
2.3 验证是否安装
安装命令执行完成后，执行以下命令可验证是否安装成功，若正确显示版本号未报错则表示安装成功：
nvidia-ctk -v
2.4 配置&重启Docker
打开命令行执行以下命令：
！！！注意：此操作将重启Docker，请确保当前情况能够进行重启！！！
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker
3. 在面板开启GPU
若安装完成，面板在安装Docker应用中的 Deepseek_r1、ollama、ollama_and_openwebui 应用时，将会显示GPU开关。
若未显示GPU按钮，面板未检测到nvidia驱动，可加群求助：
Docker官方交流QQ群：662047798
10. 参考
1. Introduction — NVIDIA Driver Installation Guide r570 documentation
2. ollama/docs/docker.md at main · ollama/ollama
3. Download The Official NVIDIA Drivers | NVIDIA
4. 【教程贴】Docker应用-DeepSeek-R1帮助 - Linux面板 - 宝塔面板论坛
页:
[1]