跳转到主要内容
语音识别模型(ASR)将语音音频转换为文本。AgentScope 为完整音频文件转写和 实时音频输入提供统一接口。2.0.12 包含以下内置实现:

创建语音识别模型

使用 OpenAICredential 创建 OpenAIASRModel。默认模型为 gpt-4o-mini-transcribe:
OpenAI 实现支持两个可选参数:

转写音频

transcribe() 接收完整音频的字节数据。请传入原始文件名,让模型 API 能够 识别内存中音频的格式:
内置的 OpenAI 模型卡片声明支持 FLAC、MP3/MPEG、MP4、OGG、WAV 和 WebM 输入。audio 或 filename 为空时会抛出 ValueError。直接传给 transcribe() 的关键字参数只在本次调用中生效,并覆盖模型 Parameters 对象中的同名配置。

读取响应

transcribe() 返回 ASRResponse: 批量模型返回的最终响应中 is_last=True。实时模型通过 push() 返回的中间 响应可以使用 is_last=False。

发现可用模型

ASR 模型卡片描述支持的音频类型、输出类型、实时能力以及模型 API 参数 schema。可以从凭证类或模型类发现模型:

实现自定义语音识别模型

批量模型需要继承 ASRModelBase 并实现 transcribe():
实时模型还需要设置 realtime=True,实现 connect()、push() 和 close(), 并通过异步上下文管理器使用。调用 push() 发送音频分块,最后调用不带音频的 transcribe() 结束当前转写。
DashScopeRealtimeASRModel 为 PCM 音频实现上述生命周期,请将采样率配置为 与输入音频一致。DashScope 批量转写使用 DashScopeASRModel 和 DashScopeCredential。

浏览器语音输入

智能体服务 提供 GET /asr-model/ 发现模型,通过 POST /asr/transcriptions 上传音频。 实时输入先调用 POST /asr/realtime/token 获取短时有效的令牌, 再连接 /asr/realtime WebSocket。WebSocket 消息不包含在 OpenAPI 参考中。