Голос в реальном времени · UltraGPT API

Голос в реальном времени

Откройте WebSocket к /realtime?model=<id> (wss://) и используйте протокол OpenAI Realtime: session.update, input_audio_buffer.append, response.create… Аутентификация — заголовок Authorization или, из браузера, подпротокол openai-insecure-api-key.<key> (только с ключом, ограниченным вашим доменом). Каждый ответ оплачивается по расходу, который сообщает модель; для расшифровки входа поддерживаются gpt-4o-transcribe, gpt-4o-mini-transcribe и whisper-1. Сессия закрывается через 60 минут, после 10 минут тишины или когда закончатся баланс или лимит ключа (событие error, затем код закрытия 1008).

import WebSocket from 'ws'

const ws = new WebSocket('wss://api.ultragpt.pro/v1/realtime?model=gpt-realtime', {
  headers: { Authorization: `Bearer ${process.env.ULTRAGPT_API_KEY}` },
})

ws.on('open', () => {
  ws.send(JSON.stringify({
    type: 'session.update',
    session: { instructions: 'Be brief.', voice: 'alloy' },
  }))
  ws.send(JSON.stringify({ type: 'response.create', response: { modalities: ['text'] } }))
})
ws.on('message', (data) => {
  const event = JSON.parse(data.toString())
  if (event.type === 'response.done') console.log(event.response.usage)
})