Установка NVIDIA драйверов

Ubuntu — apt (рекомендуемый)

# Добавление NVIDIA PPA
sudo add-apt-repository ppa:graphics-drivers/ppa -y
sudo apt update

# Поиск рекомендуемого драйвера
ubuntu-drivers devices

# Установка рекомендуемого драйвера (nvidia-driver-535 или новее)
sudo apt install -y nvidia-driver-535

# Перезагрузка
sudo reboot

Ubuntu — CUDA Toolkit (альтернативный)

# Добавление репозитория NVIDIA CUDA
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update

# Установка CUDA Toolkit (включает драйвер)
sudo apt install -y cuda-toolkit-12-1 cuda-drivers

# Добавление в PATH
echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# Перезагрузка
sudo reboot

RHEL/Rocky

# Добавление репозитория NVIDIA
sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64/cuda-rhel8.repo

# Установка драйвера
sudo dnf module install -y nvidia-driver:latest-dkms

# Или установка с CUDA Toolkit
sudo dnf install -y cuda-toolkit-12-1

# Перезагрузка
sudo reboot

Версии CUDA в Docker-образах

Важно

ML-сервисы threat-detector и content-safety используют базовые образы nvidia/cuda:12.8.1, а translation-service — nvidia/cuda:12.1.1. Для запуска всех GPU-сервисов рекомендуется NVIDIA Driver версии 535+ с поддержкой CUDA 12.x. Установка CUDA Toolkit 12.1 на хосте достаточна — Docker-образы содержат собственные библиотеки CUDA нужных версий.

ML-сервис	Базовый образ CUDA	PyTorch CUDA wheel
threat-detector	nvidia/cuda:12.8.1	cu128
content-safety	nvidia/cuda:12.8.1	cu128
translation-service	nvidia/cuda:12.1.1	cu121

PyTorch CUDA Wheel Index URLs (для offline-развёртывания):

При сборке Docker-образов в изолированной среде (без доступа к PyPI) загрузите PyTorch wheels заранее:

# Для threat-detector и content-safety (CUDA 12.8):
pip download torch --index-url https://download.pytorch.org/whl/cu128

# Для translation-service (CUDA 12.1):
pip download torch --index-url https://download.pytorch.org/whl/cu121

Проверка установки

# Проверка драйвера
nvidia-smi

# Ожидаемый вывод:
# +-----------------------------------------------------------------------------+
# | NVIDIA-SMI 535.xx.xx    Driver Version: 535.xx.xx    CUDA Version: 12.x     |
# |-------------------------------+----------------------+----------------------+
# | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
# | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
# |===============================+======================+======================|
# |   0  NVIDIA GeForce ...  Off  | 00000000:01:00.0 Off |                  N/A |
# |  0%   35C    P8     5W / 320W |      0MiB /  10240MiB |      0%      Default |
# +-------------------------------+----------------------+----------------------+

# Проверка CUDA (если установлен CUDA Toolkit)
nvcc --version