开源

YuE

YuE 是一款由香港科技大学与 Multimodal Art Projection 联合开发的开源 AI 音乐生成模型,支持多语言和多种音乐风格,如流行、金属、爵士、嘻哈等。通过语义增强音频分词器、双分词技术和三阶段训练方案,解决长上下文处理与音乐生成难题,生成结构连贯、旋律优美的歌曲。模型完全开源,用户可自由使用和定制,适用于音乐创作、影视配乐、游戏音效及社交媒体内容制作等多个场景。

Whisper Input

Whisper Input 是一款开源语音输入工具,基于 Python 和 OpenAI Whisper 模型开发,支持多语言语音识别与实时转录。用户可通过快捷键操作录音并生成文本,具备翻译、自动标点、高效处理及本地运行等功能。适用于会议记录、教育、智能交互及媒体制作等多种场景。

DeepSeek R1

DeepSeek R1-Zero 是一款基于纯强化学习训练的推理模型,无需监督微调即可实现高效推理。在 AIME 2024 竞赛中 Pass@1 分数达到 71.0%,展现强大逻辑与数学推理能力。支持长上下文处理,具备自我进化、多任务泛化等特性,并通过开源和蒸馏技术推动模型应用与优化。

H

H-Optimus-0是由法国公司Bioptimus推出的全球最大的开源病理学AI基础模型,拥有11亿参数,基于超过50万张组织病理学切片训练,涵盖多种人体组织。该模型在癌症识别、基因异常检测、组织分类及生存分析等方面表现优异,具备强大的特征提取能力。作为开源工具,H-Optimus-0可促进病理研究与临床应用的协同创新。

百聆

百聆是一款开源语音对话系统,融合语音识别、语音活动检测、大语言模型和语音合成技术,实现自然流畅的语音交互。支持低延迟运行,无需GPU,适用于边缘设备。具备记忆、工具调用和任务管理等功能,适用于智能家居、个人助理、车载系统等多种场景,提供高效的语音交互解决方案。

Zerox

Zerox是一款基于GPT-4o-mini模型的开源OCR工具,支持多种文件格式,具备零样本识别能力,可高效处理扫描文档和复杂布局内容。其输出为Markdown格式,便于编辑与使用,同时提供API接口,适用于企业文档管理、学术研究、法律金融等多个场景,显著提升文档处理效率和准确性。

OmAgent

OmAgent是由Om AI与浙江大学滨江研究院联合开发的多模态语言代理框架,支持文本、图像、视频等多种输入形式,简化设备端智能代理的开发流程。它具备高效模型集成、灵活算法接口和复杂任务处理能力,适用于视频监控、内容推荐、教育辅助等场景,提升设备智能化水平和用户体验。

RealtimeSTT

RealtimeSTT是一款开源的实时语音转文本库,具备高精度语音活动检测、GPU加速的实时转录能力以及语音唤醒功能。支持多语言识别,适用于语音助手、会议记录、实时字幕等场景,提供灵活的音频输入与预处理机制,便于开发者快速集成和扩展。

Pipecat

Pipecat是一款开源Python框架,用于构建语音和多模态对话系统。它整合了语音识别、文本转语音及对话处理功能,支持与主流AI平台集成,采用模块化管道架构,提升开发效率。基于帧的实时处理机制确保流畅交互,适用于语音助手、企业服务、教育、医疗及多模态应用等多种场景。

FlowiseAI

FlowiseAI 是一款开源的低代码 AI 工具,允许用户通过可视化拖拽方式快速构建大型语言模型应用。支持多模型集成、对话记忆、API 接口等功能,适用于聊天机器人、工作流自动化和文档问答等多种场景。提供本地、Docker 和云平台部署方式,适合开发者和企业用户进行灵活应用开发。