1. 简介
在Linux操作系统下，查看GPU（图形处理器）的使用情况对于系统管理员和开发人员来说是非常重要的。了解GPU的使用情况可以帮助我们优化系统性能、诊断问题以及进行资源管理。本文将介绍几种常见的方法来查看Linux下GPU的使用情况。
2. nvidia-smi命令
nvidia-smi是NVIDIA官方提供的一个命令行工具，用于查看NVIDIA GPU的使用情况。通过该工具，我们可以获取GPU的温度、显存使用情况、功耗、进程占用等信息。
在终端中输入以下命令即可查看GPU的使用情况：
nvidia-smi运行上述命令后，系统会返回一些关于GPU的详细信息，包括驱动版本、GPU温度、显存使用情况、进程占用等。以下是一段示例输出：
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.39 Driver Version: 460.39 CUDA Version: 11.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla V100-SXM3... Off | 00000000:00:1E.0 Off | 0 |
| N/A 32C P0 45W / 350W | 0MiB / 32510MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
2.1 GPU温度
在nvidia-smi的输出中，可以找到GPU的温度信息。通过观察温度可以了解GPU是否在正常工作温度范围内。
例如，在上述示例输出中，可以看到GPU的温度为32℃。
2.2 显存使用情况
nvidia-smi的输出还包括显存（显卡内存）的使用情况。显存使用情况对于开发人员来说尤为重要，可以帮助他们了解程序在运行时所使用的显存量。
在上述示例输出中，可以看到显存的使用情况为0MiB，表示目前没有进程使用显存。
3. NVIDIA System Management Interface (nvidia-smi)库
除了通过命令行工具nvidia-smi来查看GPU的使用情况外，NVIDIA还提供了用于GPU管理的C库，即NVIDIA System Management Interface（简称NVSMI）。通过使用NVSMI库，我们可以在自己的代码中获取GPU使用情况的信息，并进行更加灵活的处理。
以下是一个使用NVSMI库获取GPU温度的示例代码：
#include <stdio.h>
#include <nvidia-smi.h>
int main() {
nvmlReturn_t result;
nvmlDevice_t device;
result = nvmlInit();
if (NVML_SUCCESS != result) {
printf("Failed to initialize NVML: %s\n", nvmlErrorString(result));
return 1;
}
result = nvmlDeviceGetHandleByIndex(0, &device);
if (NVML_SUCCESS != result) {
printf("Failed to get device handle: %s\n", nvmlErrorString(result));
nvmlShutdown();
return 1;
}
unsigned int temperature;
result = nvmlDeviceGetTemperature(device, NVML_TEMPERATURE_GPU, &temperature);
if (NVML_SUCCESS != result) {
printf("Failed to get temperature: %s\n", nvmlErrorString(result));
nvmlShutdown();
return 1;
}
printf("GPU Temperature: %u°C\n", temperature);
nvmlShutdown();
return 0;
}
上述代码使用NVSMI库获取GPU的温度，并将结果打印出来。开发人员可以根据需要在此基础上进行更复杂的处理。
4. CUDA Profiler
对于使用CUDA进行GPU编程的开发人员来说，CUDA Profiler是一个非常有用的工具。它不仅提供了GPU使用情况的统计数据，还能够详细分析程序的性能瓶颈。
通过以下命令可以启动CUDA Profiler：
nvprof <your_program>运行上述命令后，CUDA Profiler会记录并显示程序的GPU使用情况，包括内存传输、内核执行时间等。
4.1 内核执行时间
对于GPU编程来说，了解内核（Kernel）执行时间是非常重要的。通过CUDA Profiler，我们可以得知每个内核的执行时间，从而找到程序中的性能瓶颈。
以下是一段示例输出，显示了一个内核的执行时间：
GPU activities: 0.64% 3.5487us 1 3.5487us 3.5487us 3.5487us void your_kernel<>(int*, int*) [108]4.2 内存传输
除了内核的执行时间，CUDA Profiler还可以提供有关内存传输的信息。内存传输的速度往往是性能瓶颈之一，了解内存传输的情况有助于进行性能优化。
以下是一段示例输出，显示了一个内存传输的情况：
Memory activities: 0.00% 105B 105B 1 105B -- -- YourProgram.cpp:20] cudaMemcpyToDevice5. 总结
本文介绍了几种常见的方法来查看Linux下GPU的使用情况。通过nvidia-smi命令、NVSMI库以及CUDA Profiler，我们可以获取GPU的温度、显存使用情况、内核执行时间等信息，帮助系统管理员和开发人员进行系统性能优化、问题诊断以及资源管理。
了解GPU的使用情况对于开发人员来说是非常重要的，可以帮助他们优化GPU程序的性能。同时，系统管理员也可以通过查看GPU的使用情况来监控系统健康状况。不同的工具提供了不同层次和维度的信息，开发人员和系统管理员可以根据自己的需求选择合适的工具来查看GPU的使用情况。