GPT-Realtime-1.5 and GPT-Audio-1.5 models released

https://learn.microsoft.com/en-us/azure/ai-services/openai/whats-new ↗

对我们的启示

💡

要做：实时语音+Tool Calling 是 Agent 的关键能力组合，竞争对手已在迭代，我们需评估自身语音 Agent 方案的差距。

战略视角

GPT-Realtime-1.5 和 GPT-Audio-1.5 在 Tool Calling 上的改进对 Agent 赛道有直接冲击——这意味着语音 Agent 不仅能听和说，还能在对话中执行函数调用（如查询订单、预订服务），实现真正的语音-to-行动闭环。影响的核心客户群是构建语音 Agent 的开发者（客服机器人、AI 助手、IoT 语音设备）。我们在 Agent Runtime 中若缺乏对实时语音+Tool Calling 的原生支持，将在这条赛道落后。建议立即评估：1）我方是否有可对标的多模态+Tool Calling 语音模型；2）在 Playground/Console 中是否需要新增语音 Agent 调试体验。窗口期紧迫，Azure 这一布局会让语音 Agent 开发门槛大幅降低。

一句话摘要

Azure 发布 GPT-Realtime-1.5 和 GPT-Audio-1.5，提升指令遵循、多语言支持和 Tool Calling 能力。

详细描述

gpt-realtime-1.5 and gpt-audio-1.5 are now available, building on earlier GPT-Realtime and GPT-Audio models with improvements in instruction following, multilingual support, and tool calling while preserving low-latency real-time interactions.

原文摘录

These models build on last year's GPT-Realtime and GPT-Audio with improvements in instruction following, multilingual support, and tool calling, while preserving the low-latency, real-time interactions developers need for voice-first applications.