Docker应用-如何给AI应用开启GPU监控

1. 安装驱动 首先需要安装 Nvidia 驱动，下面是 Nvidia 驱动安装教程，如果已经安装好 Nvidia 驱动可跳转到第二节： 1.1 下载驱动安装文件 打开下面链接，填写对应的设备信息查询驱动版本并下载，下面以 NVIDIA Tesla T4为例。 Download The Official NVIDIA Drivers | NVIDIA 注意： 1. Cuda版本请选择12.4版本及以上 2. 我们在 ① 处不选择Linux的不同分发版本，而是选择 Linux x64（64位CPU）或者 Linux aarch64（Arm CPU） 然后点击 ‘Find’ 查找对应的驱动，若查找成功，将显示，我们点击 ‘View’ 查看： 点击 ‘Download’ 下载： 打开宝塔面板，将下载的文件上传到 ‘/root/’ 目录下： 打开终端运行： cd /root chmod 755 ./NVIDIA-Linux-x86_64-550.144.03.run ./NVIDIA-Linux-x86_64-550.144.03.run 复制代码 重启 ！！！注意：此操作将重启服务器，请确保当前情况能够进行重启！！！ reboot 复制代码 2. 安装工具 请在命令行执行以下命令验证是否安装： nvidia-smi 复制代码 若无报错，则可以继续安装 Nvidia Container Toolkit： 2.1 在线安装 如果网络质量较差，在线安装无法完成，可跳转至 2.2 进行本地安装。 Ubuntu/Debian 执行以下命令： # APT curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \     | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \     | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \     | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list apt-get update apt-get install -y nvidia-container-toolkit 复制代码 Centos/RedHat 执行以下命令： # YUM curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \     | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo yum install -y nvidia-container-toolkit 复制代码 2.2 本地安装 在附件中或者下面网盘中下载对应的压缩文件，例如：Ubuntu x64 位系统则下载 ‘nvidia-container-toolkit_1.17.4_deb_amd64.tar.gz’ 这个文件 链接: https://pan.baidu.com/s/1QMd_XIYsS0I9E458xqDECQ?pwd=1cff 提取码: 1cff 复制代码 然后将文件重命名为 ‘toolkit.tar.gz’，打开宝塔面板文件功能，将文件上传到 ‘/root/’ 目录下，执行以下命令： Ubuntu/Debian x64 执行以下命令： tar -xvzf toolkit.tar.gz cd release-v1.17.4-stable/packages/ubuntu18.04/amd64/ apt install ./*.deb 复制代码 Centos/RedHat x64 执行以下命令： tar -xvzf toolkit.tar.gz cd release-v1.17.4-stable/packages/centos7/x86_64/ yum install -y ./*.rpm 复制代码 2.3 验证是否安装 安装命令执行完成后，执行以下命令可验证是否安装成功，若正确显示版本号未报错则表示安装成功： nvidia-ctk -v 复制代码 2.4 配置&重启Docker 打开命令行执行以下命令： ！！！注意：此操作将重启Docker，请确保当前情况能够进行重启！！！ nvidia-ctk runtime configure --runtime=docker systemctl restart docker 复制代码 3. 在面板开启GPU 若安装完成，面板在安装Docker应用中的 Deepseek_r1、ollama、ollama_and_openwebui 应用时，将会显示GPU开关。 若未显示GPU按钮，面板未检测到nvidia驱动，可加群求助： Docker官方交流QQ群：662047798 10. 参考 1. Introduction — NVIDIA Driver Installation Guide r570 documentation 2. ollama/docs/docker.md at main · ollama/ollama 3. Download The Official NVIDIA Drivers | NVIDIA 4. 【教程贴】Docker应用-DeepSeek-R1帮助 - Linux面板 - 宝塔面板论坛