Плагины и варианты · UltraGPT API

Плагины, варианты и страховка

response-healing чинит битый JSON (блоки кода, лишние запятые, ключи без кавычек, недостающие скобки) в запросах json_object / json_schema без стриминга. context-compression убирает сообщения из середины диалога (сохраняя системные промпты, последний ход и пары вызов–результат инструментов), если промпт больше окна модели — по умолчанию для моделей с окном до 8K; x-ultragpt-compressed-messages показывает, сколько убрано. Суффиксы модели выбирают маршрут: :nitro быстрейший, :floor дешевле всего, :exacto надёжный вызов инструментов, :thinking рассуждения. Страховка пустого ответа: запрос без выходных токенов (пустой или упавший до начала ответа) не оплачивается; поток, оборвавшийся посередине, оплачивается за уже отданную часть.

Code
response = client.chat.completions.create(
    model="grok-4.7:nitro",          # :nitro fastest, :floor cheapest, :exacto best tool calling,
                                     # :thinking reasoning on, :online web search
    messages=long_conversation,
    response_format={"type": "json_object"},
    extra_body={
        "plugins": [
            {"id": "response-healing"},      # repair malformed JSON (non-streaming)
            {"id": "context-compression"},   # drop middle messages if over the context window
        ],
        "safety_identifier": "user-123",     # your end user (shows in /activity?user=)
    },
    extra_headers={"X-Client-Request-Id": "order-42"},  # echoed back + stored on the generation
)