Маршрутизация · UltraGPT API
Маршрутизация по поставщикам
Модель может обслуживаться несколькими эндпоинтами (маршрутами к поставщикам). GET /v1/models/{model} перечисляет их в endpoints: метка, цена, время до первого токена, скорость и статус. По умолчанию они используются по приоритету с балансировкой, а при сбое запрос переходит на следующий эндпоинт — до ваших резервных models[]. Сбоящие эндпоинты автоматически пропускаются ~30 с.
Управляйте этим через объект provider: order / only / ignore принимают метки эндпоинтов; sort упорядочивает по цене, скорости или задержке (:floor и :nitro делают то же); max_price ({ prompt, completion } в USD за 1M токенов, которые платите вы) пропускает более дорогие эндпоинты и возвращает 400 no_endpoints_match, если ничего не осталось; preferred_max_latency (секунды) и preferred_min_throughput (токенов/с) отодвигают медленные эндпоинты назад; allow_fallbacks: false — только первый. Имена, не совпадающие с метками модели, а также require_parameters, data_collection, quantizations и zdr передаются в OpenRouter для моделей, которые он обслуживает. Заголовок ответа x-ultragpt-endpoint и поля генерации provider_endpoint и route показывают, что было использовано и почему.
response = client.chat.completions.create(
model="grok-4.7",
messages=messages,
extra_body={
"provider": {
"sort": "price", # or "throughput" / "latency"
"order": ["primary"], # endpoint labels from GET /v1/models/grok-4.7
"ignore": ["backup-2"],
"max_price": {"prompt": 3, "completion": 15}, # USD per 1M tokens you pay
"allow_fallbacks": True,
"data_collection": "deny", # OpenRouter-served: only providers that don't train on data
"zdr": True, # OpenRouter-served: zero data retention
},
},
)
# Which endpoint answered: response header x-ultragpt-endpoint,
# and GET /v1/generation?id=... -> provider_endpoint, route