模型

LangBot

LangBot 是一款开源的多平台即时通讯机器人,支持多种主流通信工具及大语言模型。具备多模态交互、多轮对话、插件扩展和安全管理等功能,适用于企业客服、个人助理、社区管理、教育辅导和内容创作等场景,提供灵活、安全的自动化服务。

MotionCanvas

MotionCanvas是一种图像到视频生成工具,能将静态图像转化为动态视频。它提供相机与物体运动的联合控制,支持复杂轨迹设计和局部运动调整,具备3D感知能力,可生成高质量长视频。适用于电影制作、动画创作、VR/AR、游戏开发及教育等多个领域。

Kiln AI

Kiln AI 是一款开源 AI 开发工具,支持多平台使用,提供零代码微调、合成数据生成及团队协作功能。内置交互式工具,兼容多种模型和 AI 提供商,支持 Git 版本控制与自动部署,适用于智能客服、医疗、教育、金融等场景,注重数据隐私与安全性。

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。

DynVFX

DynVFX是一种基于文本指令的视频增强技术,能够将动态内容自然地融入真实视频中。它结合了文本到视频扩散模型与视觉语言模型,通过锚点扩展注意力机制和迭代细化方法,实现新内容与原始视频的像素级对齐和融合。无需复杂输入或模型微调,即可完成高质量的视频编辑,适用于影视特效、内容创作及教育等多个领域。

MVoT

MVoT是一种多模态推理框架,通过生成图像形式的推理痕迹,增强多模态大语言模型在复杂空间推理任务中的表现。其核心技术包括多模态推理范式、token discrepancy loss以及递归生成机制,有效提升推理准确性和可解释性。该工具适用于机器人导航、自动驾驶、智能教育、医疗影像分析及VR/AR交互等多个领域,具有广泛的应用潜力。

FireRedASR

FireRedASR是小红书推出的工业级自动语音识别(ASR)模型系列,支持普通话、中文方言和英语,具备高精度和高效推理能力。其包含FireRedASR-LLM和FireRedASR-AED两个版本,分别聚焦于极致精度和计算效率。模型在多个场景如智能助手、视频字幕生成、歌词识别和语音输入中表现出色,且已开源,推动语音识别技术的发展。

StochSync

StochSync是一种基于扩散同步(DS)和分数蒸馏采样(SDS)的图像生成技术,适用于360°全景图和3D纹理生成。它通过引入最大随机性与多步去噪方法,兼顾图像细节与连贯性,无需额外训练即可生成高质量图像。支持高分辨率输出,适用于复杂几何纹理化任务。

Hibiki

Hibiki是一款由Kyutai Labs开发的开源语音翻译解码器,支持实时语音到语音(S2ST)和语音到文本(S2TT)的翻译。其基于多流语言模型架构,结合弱监督学习和上下文对齐技术,实现低延迟、高保真度的翻译效果。适用于国际会议、在线教育、旅游、新闻采访及客户服务等场景,具备良好的实用性和可扩展性。

EliGen

EliGen是由浙江大学与阿里巴巴集团联合开发的实体级可控图像生成框架,采用区域注意力机制实现对图像中实体的精确控制,支持多实体修复、风格化生成及交互式编辑。基于50万高质量注释样本训练,具备强大泛化能力,适用于虚拟场景、角色设计、数据合成及产品展示等场景。