Плагины и варианты · UltraGPT API
Плагины, варианты и страховка
response-healing чинит битый JSON (блоки кода, лишние запятые, ключи без кавычек, недостающие скобки) в запросах json_object / json_schema без стриминга. context-compression убирает сообщения из середины диалога (сохраняя системные промпты, последний ход и пары вызов–результат инструментов), если промпт больше окна модели — по умолчанию для моделей с окном до 8K; x-ultragpt-compressed-messages показывает, сколько убрано. Суффиксы модели выбирают маршрут: :nitro быстрейший, :floor дешевле всего, :exacto надёжный вызов инструментов, :thinking рассуждения. Страховка пустого ответа: запрос без выходных токенов (пустой или упавший до начала ответа) не оплачивается; поток, оборвавшийся посередине, оплачивается за уже отданную часть.
Code
response = client.chat.completions.create(
model="grok-4.7:nitro", # :nitro fastest, :floor cheapest, :exacto best tool calling,
# :thinking reasoning on, :online web search
messages=long_conversation,
response_format={"type": "json_object"},
extra_body={
"plugins": [
{"id": "response-healing"}, # repair malformed JSON (non-streaming)
{"id": "context-compression"}, # drop middle messages if over the context window
],
"safety_identifier": "user-123", # your end user (shows in /activity?user=)
},
extra_headers={"X-Client-Request-Id": "order-42"}, # echoed back + stored on the generation
)