Оптимизация производительности

Persistence Mode

Включение persistence mode уменьшает время инициализации GPU:

# Включить persistence mode
sudo nvidia-smi -pm 1

# Проверка
nvidia-smi -q | grep "Persistence Mode"

# Автозапуск при загрузке
sudo systemctl enable nvidia-persistenced

Power Management

# Установка максимальной производительности
sudo nvidia-smi -pl 320  # Установите TDP вашей карты

# Для серверных GPU — отключение ECC (если не нужен)
sudo nvidia-smi -e 0  # Требуется перезагрузка

Compute Mode

# Дефолтный режим (несколько процессов на GPU) — рекомендуется
sudo nvidia-smi -c 0  # DEFAULT

# Эксклюзивный режим (один процесс на GPU)
sudo nvidia-smi -c 3  # EXCLUSIVE_PROCESS

Параметры ML-сервисов

Параметр	Сервис	Описание	Рекомендация
THREAT_DETECTOR_N_THREADS	threat-detector	Потоки для CPU-части	4
TRANSLATION_SERVICE_GPU_COMPUTE_TYPE	translation-service	Точность: float16/int8	float16
CONTENT_POLICY_CACHE_MAX_SIZE	content-policy-service	LRU-кеш политик	1000