gpu@nvidia-driver中Persistence-M 作用

Posted on Edited on Views:

NVIDIA 驱动中的 Persistence Mode（持久化模式）是用于控制 GPU 在空闲时是否卸载驱动并释放资源的一个选项，主要用于提升性能、缩短响应延迟以及避免频繁加载驱动带来的开销。

🔧 持久化模式的作用：

✅ 开启时（Persistence-M: Enabled）：

  • NVIDIA 驱动和 GPU 相关模块始终常驻内存，即使没有正在运行的进程使用 GPU。
  • GPU 保持初始化状态，不会被频繁加载和卸载。
  • 首次调用 GPU 时的启动延迟显著减少。
  • 适用于 服务器、深度学习集群、高频调用 GPU 的应用环境。

❌ 关闭时（Persistence-M: Disabled）：

  • 在 GPU 空闲时，驱动会被卸载，释放相关资源。
  • 再次使用 GPU 时，系统需要重新加载驱动，会产生初始化延迟。
  • 更节能，适用于桌面系统或对启动延迟不敏感的场景。

📦 举个例子：

如果你运行一个深度学习模型训练脚本，GPU 初始化通常会有 2~3 秒的延迟；如果持久化模式开启，第二次运行时这部分延迟会被消除。

🚀 如何设置持久化模式：

查看当前状态：

1
nvidia-smi

你会看到一列：

Persistence-M: Off  # 或者 On

设置开启：

1
sudo nvidia-smi -pm 1

设置关闭：

1
sudo nvidia-smi -pm 0

📝 注意事项：

  • 需要 root 权限设置持久化模式。
  • 某些系统可能默认关闭该模式以节省功耗。
  • 在多用户共享 GPU 的环境中，开启持久化模式可以避免初始化冲突。