多模态

1. 首页
2. 多模态

Long

Long-VITA是一款由腾讯优图实验室、南京大学和厦门大学联合开发的多模态AI模型，支持处理超长文本（超过100万tokens）及多模态输入（图像、视频、文本）。通过分阶段训练提升上下文理解能力，结合动态分块编码器与并行推理技术，实现高效处理长文本和高分辨率图像。模型基于开源数据训练，适用于视频分析、图像识别、长文本生成等场景，性能在多个基准测试中表现突出。

AI项目与工具 2025年06月12日 65 点赞 0 评论 494 浏览

VITA

VITA-Audio 是一款开源的端到端多模态语音大模型，具备低延迟、高推理效率和多模态交互能力。其核心创新包括轻量级 MCTP 模块和四阶段渐进式训练策略，使模型在语音识别、文本转语音和口语问答等任务中表现优异。支持实时对话、智能客服、教育辅助、医疗辅助及内容创作等多种应用场景，适用于各类语音交互系统。

AI项目与工具 2025年06月11日 19 点赞 0 评论 494 浏览

YAYI

YAYI-Ultra是中科闻歌研发的企业级大语言模型，具备多领域专业能力与多模态内容生成能力，支持数学、代码、金融、中医等领域。模型支持超长文本处理、数据分析、任务规划及联网创作，适用于媒体、医疗、财税等行业。采用混合专家架构，结合指令微调技术，在多项评测中表现优异，提供高效、精准的智能化服务。

AI项目与工具 2025年06月12日 25 点赞 0 评论 493 浏览

MagicAvatar

MagicAvatar由字节跳动开发，是一款主打多模态输入生成的多模态框架，可以将文本、视频和音频等不同输入方式转化为动作信号，从而生成和动画化一个虚拟人物。

Ai视频生成 2025年06月05日 31 点赞 0 评论 492 浏览

PixVerse V3

PixVerse V3是一款由爱诗科技开发的AI视频生成工具，具备创意模板、口型匹配、风格转换等多模态生成能力。其核心功能包括精准的提示词理解、高质量视频生成、多种视频比例支持以及风格化功能升级。新增的口型适配功能和8个创意效果模板进一步丰富了应用场景，适用于社交媒体、广告营销、教育、影视及游戏开发等领域。

AI项目与工具 2025年06月12日 79 点赞 0 评论 492 浏览

GigaTok

GigaTok 是一款基于语义正则化的高参数视觉分词器，支持自回归图像生成，具备优异的图像重建与生成能力。通过一维架构和非对称扩展策略，实现高效计算与稳定训练。适用于图像生成、编辑、数据增强及多模态应用，具有广泛的技术拓展性。

AI项目与工具 2025年06月11日 74 点赞 0 评论 491 浏览

MinMo

MinMo是阿里巴巴通义实验室推出的多模态语音交互大模型，具备高精度语音识别与生成能力。支持情感表达、方言转换、音色模仿及全双工交互，适用于智能客服、教育、医疗等多个领域，提升人机对话的自然度与效率。

AI项目与工具 2025年06月12日 59 点赞 0 评论 491 浏览

VoiceCanvas

VoiceCanvas 是一款开源的多语言语音合成平台，基于 AI 技术提供高质量文字转语音服务，支持超过 50 种语言。用户可通过上传简短音频实现个性化声音克隆，并集成多种语音服务以保障输出质量。平台适用于内容创作、教育、企业及个人等多种场景，提升语音内容制作效率。

AI项目与工具 2025年06月11日 96 点赞 0 评论 491 浏览

MemFree

MemFree是一款开源的混合AI搜索引擎，集成了多种AI技术和搜索引擎功能，支持文本、图像、文件和网页等多种输入形式，可提供文本、思维导图、图片和视频等多格式搜索结果。其核心功能涵盖图像处理、文档总结与提问、学术问题解答、代码解释与生成等，特别适用于学术研究、工作办公和日常生活场景，旨在优化知识管理、提升生产力并降低使用成本。

AI项目与工具 2025年06月12日 42 点赞 0 评论 489 浏览

VRAG

VRAG-RL是阿里巴巴通义大模型团队推出的视觉感知驱动的多模态RAG推理框架，旨在提升视觉语言模型在处理视觉丰富信息时的检索、推理和理解能力。通过定义视觉感知动作空间，实现从粗粒度到细粒度的信息获取，并结合强化学习和综合奖励机制优化模型性能。该框架支持多轮交互推理，具备良好的可扩展性，适用于智能文档问答、视觉信息检索、多模态内容生成等多种场景。

AI项目与工具 2025年06月11日 84 点赞 0 评论 489 浏览