Кэширование · UltraGPT API

Кэширование промптов

Токены из кэша оплачиваются по (намного меньшей) цене кэша из карточки модели. Модели OpenAI и DeepSeek кэшируют повторяющиеся префиксы автоматически; для Anthropic и Gemini отметьте стабильную часть через cache_control. Попадания видны в usage.prompt_tokens_details.cached_tokens.

Python
# Mark a large, stable prefix as cacheable (Anthropic / Gemini models via OpenRouter;
# OpenAI and DeepSeek models cache automatically). Cached tokens bill at the cached price.
response = client.chat.completions.create(
    model="grok-4.7",
    messages=[
        {"role": "system", "content": [
            {"type": "text", "text": LONG_REFERENCE_DOCUMENT, "cache_control": {"type": "ephemeral"}},
        ]},
        {"role": "user", "content": "Summarize section 3."},
    ],
)
print(response.usage.prompt_tokens_details.cached_tokens)