Heli
Создать аккаунт

Heli + LiteLLM: модели Heli в прокси LiteLLM

LiteLLM — open-source библиотека и прокси-сервер, который даёт единый OpenAI-совместимый интерфейс к разным провайдерам, а сверху добавляет виртуальные ключи, лимиты, ретраи и fallback. Если в компании уже есть LiteLLM Proxy, Heli подключается к нему как OpenAI-совместимый endpoint: приложения продолжают ходить в LiteLLM, а модели оплачиваются в рублях с баланса Heli.

Как LiteLLM понимает Heli

  • Зарегистрируйтесь на getheli.ru (подтверждение почты или вход через Google / Яндекс ID) и создайте ключ на вкладке «Ключи» кабинета.
  • В litellm_params укажите model с префиксом openai/ — так LiteLLM отправит запрос в OpenAI-совместимый /chat/completions. Всё после первого openai/ уходит в Heli как есть, поэтому слаг Heli пишется целиком: openai/anthropic/claude-sonnet-5.
  • api_base: https://getheli.ru/v1 — с /v1, но без /chat/completions. Остальной путь LiteLLM добавит сам.
  • api_key: os.environ/HELI_API_KEY — ключ читается из переменной окружения и не хранится в файле конфигурации.
  • model_name — имя, по которому модель будут вызывать ваши приложения. Его можно сделать коротким и стабильным.

config.yaml

Клиенты подключаются к LiteLLM обычным OpenAI SDK: base_url указывает на прокси, ключ — мастер-ключ или виртуальный ключ LiteLLM, model — значение model_name. Ключ sk-heli-… остаётся только на сервере прокси.

code
model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/anthropic/claude-sonnet-5
      api_base: https://getheli.ru/v1
      api_key: os.environ/HELI_API_KEY
      timeout: 120
  - model_name: fast
    litellm_params:
      model: openai/google/gemini-3.5-flash
      api_base: https://getheli.ru/v1
      api_key: os.environ/HELI_API_KEY
  - model_name: embeddings
    litellm_params:
      model: openai/openai/text-embedding-3-small
      api_base: https://getheli.ru/v1
      api_key: os.environ/HELI_API_KEY

router_settings:
  num_retries: 2

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

# Запуск и проверка
# export HELI_API_KEY=sk-heli-ВАШ_КЛЮЧ
# litellm --config config.yaml
# curl http://localhost:4000/v1/chat/completions \
#   -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
#   -H "Content-Type: application/json" \
#   -d '{"model": "fast", "messages": [{"role": "user", "content": "ping"}]}'

Какие модели выбрать

Удобная схема — несколько стабильных псевдонимов: сильная модель для сложных задач, быстрая для массовых запросов и эмбеддинги. Тогда смена конкретной модели в Heli сводится к правке одной строки в config.yaml без изменения кода приложений.

Claude Sonnet 5 — агенты, код, сложные инструкции.

Gemini 3.5 Flash — массовые запросы и классификация.

text-embedding-3-small — эмбеддинги для поиска и RAG.

Частые ошибки

  • 401 от Heli — в HELI_API_KEY неверный или отозванный ключ, либо переменная не видна процессу прокси.
  • 402 insufficient_balance — закончился баланс Heli; ретраи LiteLLM здесь не помогут, нужно пополнение.
  • Not Found — в api_base нет /v1 или, наоборот, добавлен /chat/completions.
  • Модель не найдена — в model не хватает префикса openai/ или слаг Heli указан без вендора.
  • Таймауты — увеличьте timeout в litellm_params для медленных моделей или включите stream в клиенте.
  • Непрозрачный расход — все клиенты прокси ходят под одним ключом Heli; выдайте командам виртуальные ключи LiteLLM с бюджетами, а общий лимит задайте во вкладке «Лимиты» Heli.

Документация API

Оплата — пополнение баланса.

Heli + LangChain

Попробуйте Heli

Ключ sk-heli- появляется после подтверждения почты. Через Google и Яндекс — сразу в кабинете.

Создать аккаунтВойти

Документация API · Модели и цены

Читайте также