AI项目与工具

RoboBrain

RoboBrain是由智源研究院开发的开源具身大脑模型,支持任务规划、可操作区域感知和轨迹预测等功能。其基于LLaVA框架,采用多阶段训练策略,具备高分辨率图像处理和长历史帧记忆能力。适用于多机器人协作、复杂任务执行及实时优化场景,依托ShareRobot数据集提升模型性能,广泛应用于机器人操作领域。

Being

Being-M0是由北京大学、中国人民大学等机构联合研发的首个大规模人形机器人通用动作生成模型。基于百万级动作数据集 MotionLib 和 MotionBook 编码技术,实现动作序列的高效表示与生成。该模型支持文本驱动动作生成、动作迁移及多模态数据处理,可应用于人形机器人控制、动画制作、VR/AR、人机交互及运动康复等多个领域,显著提升动作生成的多样性和语义对齐精度。

Seaweed APT

Seaweed APT是字节跳动研发的对抗性后训练模型,支持图像和视频的一站式生成。其通过在真实数据上进行对抗性训练,实现单步高质量输出,包括1024px图像和1280×720、24fps视频。该模型采用先进的生成器和判别器设计,结合近似R1正则化技术,提升训练稳定性和生成质量。适用于视频广告、影视创作、社交媒体等内容生产场景。

All Voice Lab

All Voice Lab是一款基于AI技术的语音创作平台,提供文本转语音、声音克隆、视频翻译、变声等多种功能,支持多语言及多音色转换。平台具备高精度的语音生成能力,可应用于内容创作、视频制作、教育及娱乐等领域,提升内容表现力与国际化传播效率。

Paper2Coder

Paper2Code是一款由韩国科学技术院与DeepAuto.ai联合开发的AI工具,基于多Agent大语言模型,能够将机器学习论文自动转换为可运行的代码仓库。其核心流程包括规划、分析和代码生成三个阶段,确保生成的代码结构清晰、逻辑严谨,并忠实于原始论文。该工具显著提升了研究复现效率,适用于学术研究、教学、工业应用等多个场景,是推动AI研究落地的重要工具。

Moonshine

Moonshine是一款专为资源受限设备设计的高效语音识别模型,支持实时语音转文本,具有低延迟、高准确率的特点。它基于编码器-解码器架构和旋转位置嵌入技术,适应不同长度的音频输入,计算需求随音频长度变化而调整,适合边缘设备部署。主要应用于会议转录、语音助手、听力辅助及多语言翻译等领域。

IMAGPose

IMAGPose是由南京理工大学开发的统一条件框架,用于人体姿态引导的图像生成。其核心功能包括多场景适应、细节与语义融合、灵活对齐及全局一致性保障。通过FLC、ILC和CVA模块,解决了传统方法在生成多样姿态图像时的局限性,适用于虚拟现实、影视制作、电商展示等多个领域。

BoldVoice

BoldVoice 是一款专注于英语发音训练的工具,结合专业口音课程与AI语音分析技术,帮助非英语母语者提升发音准确性和口语自信。用户可通过录音获得实时反馈与改进建议,并根据个人母语背景定制学习计划。应用还提供发音测试、口音对比和多场景练习功能,适用于职场、考试、日常交流及表演等领域,有效提升英语口语能力。

Open Avatar Chat

Open Avatar Chat是阿里开源的模块化实时数字人对话系统,支持低延迟交互与多模态输入输出。系统采用模块化架构,允许灵活配置语音识别、语言模型和语音合成等组件,兼容本地与云服务。支持2D/3D数字人渲染,适用于客户服务、教育、娱乐及企业应用等多个场景,为开发者提供高效、灵活的AI对话解决方案。

FaceShot

FaceShot是由同济大学、上海AI Lab和南京理工大学联合开发的无需训练的肖像动画生成框架。通过外观引导的地标匹配和基于坐标的地标重定位模块,生成精确的面部地标序列,并结合预训练模型生成高质量动画。其优势在于无需训练、跨领域适配性强、兼容性好,适用于影视、游戏、教育、广告及VR/AR等多个应用场景。