Кэширование · UltraGPT API
Кэширование промптов
Токены из кэша оплачиваются по (намного меньшей) цене кэша из карточки модели. Модели OpenAI и DeepSeek кэшируют повторяющиеся префиксы автоматически; для Anthropic и Gemini отметьте стабильную часть через cache_control. Попадания видны в usage.prompt_tokens_details.cached_tokens.
Python
# Mark a large, stable prefix as cacheable (Anthropic / Gemini models via OpenRouter;
# OpenAI and DeepSeek models cache automatically). Cached tokens bill at the cached price.
response = client.chat.completions.create(
model="grok-4.7",
messages=[
{"role": "system", "content": [
{"type": "text", "text": LONG_REFERENCE_DOCUMENT, "cache_control": {"type": "ephemeral"}},
]},
{"role": "user", "content": "Summarize section 3."},
],
)
print(response.usage.prompt_tokens_details.cached_tokens)