多模态

1. 首页
2. 多模态

CreatiLayout

CreatiLayout 是一种先进的布局到图像生成技术，由复旦大学与字节跳动联合开发。它基于大规模布局数据集 LayoutSAM，结合 SiamLayout 框架和 MM-DiT 架构，实现高质量、细粒度可控的图像生成。同时，其 LayoutDesigner 工具支持多种输入方式，帮助用户优化布局设计。适用于海报制作、室内设计、视觉创作及教学等多个领域。

AI项目与工具 2025年06月12日 56 点赞 0 评论 186 浏览

Free Video

Free Video-LLM是一种无需训练的高效视频语言模型，基于提示引导的视觉感知技术，可直接对视频内容进行理解和推理，适用于视频问答、内容分析等多种场景。通过时空采样优化和减少视觉标记，它在保持高性能的同时显著降低了计算复杂度。

AI项目与工具 2025年06月12日 50 点赞 0 评论 186 浏览

Chinese

Chinese-LiPS是由智源研究院与南开大学联合开发的高质量中文多模态语音识别数据集，包含100小时语音、视频及手动转录文本。其创新性融合唇读视频与幻灯片内容，显著提升语音识别性能，实验表明可降低字符错误率约35%。适用于教学、科普、虚拟讲解等复杂语境，为多模态语音识别研究提供丰富数据支持。

AI项目与工具 2025年06月11日 47 点赞 0 评论 186 浏览

AudioX

AudioX 是一种基于多模态输入的音频生成模型，支持文本、视频、图像等多种输入方式，能够生成高质量的音频和音乐。其核心创新在于多模态掩码训练策略，提升了跨模态理解和生成能力。具备零样本生成、自然语言控制及强大的泛化能力，适用于视频配乐、动画音效、音乐创作等多个场景。

AI项目与工具 2025年06月12日 68 点赞 0 评论 185 浏览

CAD

CAD-MLLM 是一款基于多模态输入生成参数化 CAD 模型的系统，融合了文本、图像和点云等多种数据形式。它通过命令序列与大型语言模型的结合，实现了高效的数据对齐与处理，并提出了创新的评估指标。CAD-MLLM 具备强大的鲁棒性和交互式设计能力，适用于工业设计、建筑设计、汽车制造等多个领域。

AI项目与工具 2025年02月07日 61 点赞 0 评论 185 浏览

PP

PP-DocBee是百度飞桨推出的多模态文档理解模型，基于ViT+MLP+LLM架构，支持文字、表格、图表等多类型文档内容的精准识别与解析。具备高效的推理性能和高质量输出，适用于文档问答、信息提取等场景，支持灵活部署，为文档处理提供智能化解决方案。

AI项目与工具 2025年06月12日 56 点赞 0 评论 185 浏览

Step-1V

覆盖了从个人使用到企业级应用的多个方面的多模态大模型。

Ai平台模型 1970年01月01日 0 点赞 0 评论 185 浏览

WorldPM

WorldPM是由阿里巴巴Qwen团队与复旦大学联合开发的偏好建模模型系列，基于1500万条数据训练，适用于对话系统、推荐系统等任务。模型支持多种微调版本，具备强大的泛化能力和鲁棒性，适用于低资源和高规模场景。支持Hugging Face平台部署，适用于语言生成优化、个性化推荐、智能客服及内容审核等应用场景。

AI项目与工具 2025年06月11日 51 点赞 0 评论 184 浏览

LabelU

一款轻量级的开源标注工具

Ai平台模型 1970年01月01日 0 点赞 0 评论 183 浏览

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型，由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性，能在大量GPU上高效训练，无需梯度检查点。LongVILA通过五阶段训练流程，结合大规模数据集构建和高性能推理，显著提升了长视频字幕的准确性和处理效率。此外，它还支持多种应用场景，包括视频字幕生成、内容分析、视频问答系统等。

AI项目与工具 2025年06月12日 52 点赞 0 评论 183 浏览