阿里开源了语音基座大模型:SenseVoice

阿里开源了语音基座大模型:SenseVoice,专注于高精度多语言语音识别、情感辨识和音频事件检测


GitHub地址:https://github.com/FunAudioLLM/SenseVoice


SenseVoice是具有音频理解能力的音频基础模型,包括语音识别(ASR)、语种识别(LID)、语音情感识别(SER)和声学事件分类(AEC)或声学事件检测(AED)。


特性:


多语言识别: 采用超过40万小时数据训练,支持超过50种语言,识别效果上优于Whisper模型。


富文本识别:


----具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。


----支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。


高效推理: SenseVoice-Small模型采用非自回归端到端框架,推理延迟极低,10s音频推理仅耗时70ms,15倍优于Whisper-Large。


微调定制: 具备便捷的微调脚本与策略,方便用户根据业务场景修复长尾样本问题。


服务部署: 具有完整的服务部署链路,支持多并发请求,支持客户端语言有,python、c++、html、java与c#等。


相关文章