Ошибки 5xx означают, что проблема не в вашем ключе и не в балансе. Но разные коды требуют разной реакции: часть ошибок проходит при повторе, а часть будет повторяться, пока вы не исправите запрос. Все ошибки Heli приходят в формате OpenAI: объект error с полями message, type и code. Поэтому SDK распознают их как обычные APIStatusError.
Что означает каждый код
- 500 server_error — внутренняя ошибка шлюза Heli. Обычно временная: повторите запрос с паузой. Если 500 повторяется подряд, проверьте страницу статуса и напишите в поддержку.
- 502 server_error — модель вернула ошибку или была недоступна. В message передаётся текст ошибки от модели. Если там сказано про неверный id модели или неподдерживаемый параметр, повтор не поможет — исправьте запрос.
- 504 server_error, «The model did not respond in time. Модель не ответила вовремя.» — модель не успела ответить за отведённое время в запросе без стриминга.
{
"error": {
"message": "The model did not respond in time. Модель не ответила вовремя.",
"type": "server_error",
"param": null,
"code": null
}
}Повторы без лишней нагрузки
- Официальные SDK OpenAI по умолчанию повторяют 5xx до двух раз с нарастающей паузой. Обычно этого достаточно; добавлять свой цикл поверх SDK не нужно.
- В своём HTTP-клиенте используйте экспоненциальный backoff со случайной добавкой: 1, 2, 4 секунды и не больше 3 попыток.
- При 504 не повторяйте тот же долгий запрос: включите stream, уменьшите max_tokens или сократите контекст.
- Если поток уже начался и оборвался, повтор начнёт ответ заново — сохраняйте полученный текст или показывайте пользователю, что ответ прервался.
Запасная модель
Через Heli доступны модели разных вендоров с одним ключом и одним форматом запроса. Поэтому для критичных сценариев удобно держать запасную модель: если основная несколько раз подряд вернула 502, отправьте запрос в модель другого вендора. Меняется только поле model.
Что прислать в поддержку
- Время запроса по Москве, модель, HTTP-статус и текст message.
- Стриминг или обычный запрос, примерный размер промпта и max_tokens.
- Не присылайте полный ключ — достаточно его названия из вкладки «Ключи».
Мониторинг
Логируйте каждую ошибку 5xx со временем, моделью и статусом. По логу видно, единичный это сбой или затяжной и связан ли он с одной моделью. Дашборд в кабинете Heli отдельно показывает долю ошибок 5xx и разделяет сбои шлюза и сбои модели.
Попробуйте Heli
Ключ sk-heli- появляется после подтверждения почты. Через Google и Яндекс — сразу в кабинете.