Перейти к содержанию

Интеграции с внешними LLM Gateway

AppSec.AIGate можно встроить как guardrail-backend в существующий LLM Gateway без смены точки входа. Проксированием LLM-трафика продолжает заниматься внешний Gateway, а AI Gate подключается через адаптер llm-gateway-adapter и запускает пайплайн безопасности по каждому запросу и ответу.

Поддерживаемые интеграции:

  • LiteLLM — через LiteLLM Generic Guardrail API.
  • Portkey — через Portkey Webhook (документация в подготовке).

Общая архитектура режима — см. Сценарий 5 в архитектуре.

Концептуальное описание сервиса-адаптера — см. Guardrail Adapter в основных понятиях.