Маршрутизация · UltraGPT API

Маршрутизация по поставщикам

Модель может обслуживаться несколькими эндпоинтами (маршрутами к поставщикам). GET /v1/models/{model} перечисляет их в endpoints: метка, цена, время до первого токена, скорость и статус. По умолчанию они используются по приоритету с балансировкой, а при сбое запрос переходит на следующий эндпоинт — до ваших резервных models[]. Сбоящие эндпоинты автоматически пропускаются ~30 с.

Управляйте этим через объект provider: order / only / ignore принимают метки эндпоинтов; sort упорядочивает по цене, скорости или задержке (:floor и :nitro делают то же); max_price ({ prompt, completion } в USD за 1M токенов, которые платите вы) пропускает более дорогие эндпоинты и возвращает 400 no_endpoints_match, если ничего не осталось; preferred_max_latency (секунды) и preferred_min_throughput (токенов/с) отодвигают медленные эндпоинты назад; allow_fallbacks: false — только первый. Имена, не совпадающие с метками модели, а также require_parameters, data_collection, quantizations и zdr передаются в OpenRouter для моделей, которые он обслуживает. Заголовок ответа x-ultragpt-endpoint и поля генерации provider_endpoint и route показывают, что было использовано и почему.

Python
response = client.chat.completions.create(
    model="grok-4.7",
    messages=messages,
    extra_body={
        "provider": {
            "sort": "price",               # or "throughput" / "latency"
            "order": ["primary"],          # endpoint labels from GET /v1/models/grok-4.7
            "ignore": ["backup-2"],
            "max_price": {"prompt": 3, "completion": 15},  # USD per 1M tokens you pay
            "allow_fallbacks": True,
            "data_collection": "deny",     # OpenRouter-served: only providers that don't train on data
            "zdr": True,                   # OpenRouter-served: zero data retention
        },
    },
)
# Which endpoint answered: response header x-ultragpt-endpoint,
# and GET /v1/generation?id=... -> provider_endpoint, route