Руководство по установке AppSec.AIGate¶
Целевая аудитория¶
Руководство предназначено для системных администраторов и DevOps-инженеров, выполняющих установку, настройку и сопровождение AppSec.AIGate.
Назначение документа¶
Документ описывает два сценария развёртывания платформы — пилотный на Docker Compose и целевой на Kubernetes — от подготовки окружения до запуска, проверки, обновления и резервного копирования.
Обзор системы¶
AppSec.AIGate — security gateway для больших языковых моделей (LLM): инспектирует входящие запросы и исходящие ответы для предотвращения jailbreak-атак, утечек персональных данных (ПДн) и нарушений политик безопасности. Платформа состоит из управляющего контура (Control Plane) и контура обработки трафика (Data Plane); подробнее — Архитектура.
Выбор сценария развёртывания¶
Платформа поддерживает два сценария. Выберите подходящий и следуйте соответствующему разделу руководства.
| Критерий | Docker Compose | Kubernetes |
|---|---|---|
| Назначение | пилот, демо, быстрый старт, dev-стенд | целевое production-развёртывание |
| Где разворачивается | один хост (с GPU) | кластер Kubernetes (с GPU-узлами) |
| Масштабирование | вертикальное, в пределах хоста | горизонтальное (реплики, HPA) |
| Отказоустойчивость | нет | да (рестарты, anti-affinity, PDB) |
| Управление секретами | .env файлы |
Secrets / внешний vault |
| Аутентификация | можно отключить (dev) | Keycloak / OAuth2 Proxy |
| Когда выбирать | первое знакомство, пилот, разработка | промышленная эксплуатация |
Рекомендация
Если вы разворачиваете платформу впервые — начните с Docker Compose: это быстрый способ поднять весь стек на одном хосте и убедиться в работоспособности. Для промышленной эксплуатации используйте Kubernetes.
- Развёртывание на Docker Compose — раздел «Docker Compose (пилот)».
- Развёртывание на Kubernetes — раздел «Kubernetes (production)».
Состав платформы¶
Платформа — набор слабосвязанных микросервисов, общающихся по HTTP, плюс инфраструктурные зависимости. Сетевые порты и схему связей для пилотного стенда см. в разделе Docker Compose; в Kubernetes сервисы общаются по внутренним адресам кластера (Service DNS).
Микросервисы (Data Plane): API Gateway, Request Normalizer, Threat Detector, Content Safety, PII Detector, Translation Service, Content Policy Service, PDP, Tokenization Vault, Event Exporter.
Управляющий контур (Control Plane): Profiles Registry, Admin API, Admin UI.
Инфраструктура: PostgreSQL, Redis, MinIO (S3), OPA, Keycloak (для production-аутентификации).
Опционально: LLM Gateway Adapter — webhook-транслятор для интеграции с внешним LLM Gateway (LiteLLM, Portkey, Kong AI Gateway) в режиме guardrail. См. Интеграция с LiteLLM.
Требования к GPU¶
ML-сервисы (Threat Detector, Content Safety, Translation Service) работают
только на GPU: Docker-образы построены на базе NVIDIA CUDA Runtime, модели
загружаются на GPU (ML_DEVICE=cuda). Запуск ML-сервисов без GPU не
поддерживается — NVIDIA GPU является обязательным требованием для обоих
сценариев развёртывания. Требования к видеопамяти:
| Сервис | VRAM (float16) |
|---|---|
| Translation Service | ~400 МБ |
| Threat Detector | ~10 ГБ |
| Content Safety | ~10 ГБ |
| Итого | ~20 ГБ |
Минимальная рекомендация
GPU с 24+ ГБ VRAM на узел, несущий все три ML-сервиса. Остальные сервисы (API Gateway, Request Normalizer, PDP, PII Detector, Content Policy Service, Event Exporter, Admin API, Admin UI, Profiles Registry, LLM Gateway Adapter) не требуют GPU.