能力与示例
这些示例使用一个机器人支持助手。已保存的模板决定启用工具和依赖,每个 Session 独立选择模型。
会话与流式输出
Section titled “会话与流式输出”End User 提问:“帮我诊断这个机器人。”通过 POST /api/v1/user/sessions/{id}/events 提交消息并保留 JSON 命令回执。你的后端通过其 Backend Connection 跟进进度和答案,或读取回执与 Turn。
执行期间新的纯文字要求可以引导同一个 Turn。提交结果不确定时查询原回执,不重新创建执行。断开连接不会停止已接纳工作;取消需要显式命令。详见 Session 事件与恢复。
Realtime 语音
Section titled “Realtime 语音”End User 说:“解释这个机器人的温度读数。”在其已有 Session 上打开 Realtime Connection。Realtime Model 负责语音;它委派分析时,Full Agent 使用该 Session 固定的配置和启用工具执行任务。应用可以播放回复、显示转写、打断播放,并展示关联任务 Turn 的进度。
任务确认与已保存的任务结果是不同事实。Realtime 闲聊不会创建 Full Agent Turn。Realtime 语音指南说明连接 token、PCM16/Opus 音频、WebSocket 事件和当前恢复限制。
工具与 Sandbox
Section titled “工具与 Sandbox”提问:“计算温度 31、33、32 °C 的平均值。”启用 Sandbox 后,Agent 可以用执行工具算出 32 °C 并解释。模板与 Sandbox 配置决定可用工具;请求不能强制模型选择某个工具。
文件和网络访问遵循启用能力及策略。引导或停止后,已完成的外部效果保持实际影响。架构展示受控执行边界。
通过 /api/v1/user/drive/uploads 上传测量文件,完成大小和摘要验证。在消息中选择就绪文件并要求:“解释异常。”启用的文件工具让 Agent 访问其私有内容;仅有上传意图并不代表文件就绪。
通过 /api/v1/user/drive/entries 和 /drive/files/content 浏览、读取。短期下载票据提供独立的授权下载流程。详见 Drive 文件。
提问:“我的机器人在充电吗?”你的应用把机器人的动作声明为该 End User Session 上的 Client Tools。Agent 调用其中一个,应用通过其 Backend Connection 认领该调用,转发给机器人并提交结果,模型据此回答。
你的应用或设备可以在普通文本 Session 上声明 Client Tools 并执行调用。平台转发所需动作与结果;设备传输和物理执行由你的集成负责。语音设备动作委托给 Full Agent Turn,它使用同一组 Session Client Tools;Realtime 不提供直接设备或 Session 客户端工具。
两个 End User 共用支持模板,用量归属到组织和各 End User,包括后端使用 Organization Key 授权的工作。这些请求保留真实的 Organization-Key 身份。组织后端通过 GET /api/v1/org/users/{userId}/billing/usage 读取指定用户汇总,通过 /billing/usage/details 分页读取明细。
平台在工作开始前不设消费限额:用量按部署计费币种的平台销售价计价,事后报告。用量报告涵盖 LLM、Sandbox 和 Web Search 用量。使用客户自备模型凭据的用量报告时不带平台价格。