多模态

1. 首页
2. 多模态

CreatiLayout

CreatiLayout 是一种先进的布局到图像生成技术，由复旦大学与字节跳动联合开发。它基于大规模布局数据集 LayoutSAM，结合 SiamLayout 框架和 MM-DiT 架构，实现高质量、细粒度可控的图像生成。同时，其 LayoutDesigner 工具支持多种输入方式，帮助用户优化布局设计。适用于海报制作、室内设计、视觉创作及教学等多个领域。

AI项目与工具 2025年06月12日 56 点赞 0 评论 160 浏览

AudioX

AudioX 是一种基于多模态输入的音频生成模型，支持文本、视频、图像等多种输入方式，能够生成高质量的音频和音乐。其核心创新在于多模态掩码训练策略，提升了跨模态理解和生成能力。具备零样本生成、自然语言控制及强大的泛化能力，适用于视频配乐、动画音效、音乐创作等多个场景。

AI项目与工具 2025年06月12日 68 点赞 0 评论 157 浏览

WorldPM

WorldPM是由阿里巴巴Qwen团队与复旦大学联合开发的偏好建模模型系列，基于1500万条数据训练，适用于对话系统、推荐系统等任务。模型支持多种微调版本，具备强大的泛化能力和鲁棒性，适用于低资源和高规模场景。支持Hugging Face平台部署，适用于语言生成优化、个性化推荐、智能客服及内容审核等应用场景。

AI项目与工具 2025年06月11日 51 点赞 0 评论 157 浏览

PP

PP-DocBee是百度飞桨推出的多模态文档理解模型，基于ViT+MLP+LLM架构，支持文字、表格、图表等多类型文档内容的精准识别与解析。具备高效的推理性能和高质量输出，适用于文档问答、信息提取等场景，支持灵活部署，为文档处理提供智能化解决方案。

AI项目与工具 2025年06月12日 56 点赞 0 评论 156 浏览

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型，由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性，能在大量GPU上高效训练，无需梯度检查点。LongVILA通过五阶段训练流程，结合大规模数据集构建和高性能推理，显著提升了长视频字幕的准确性和处理效率。此外，它还支持多种应用场景，包括视频字幕生成、内容分析、视频问答系统等。

AI项目与工具 2025年06月12日 52 点赞 0 评论 156 浏览

Step-1V

覆盖了从个人使用到企业级应用的多个方面的多模态大模型。

Ai平台模型 1970年01月01日 0 点赞 0 评论 156 浏览

CAD

CAD-MLLM 是一款基于多模态输入生成参数化 CAD 模型的系统，融合了文本、图像和点云等多种数据形式。它通过命令序列与大型语言模型的结合，实现了高效的数据对齐与处理，并提出了创新的评估指标。CAD-MLLM 具备强大的鲁棒性和交互式设计能力，适用于工业设计、建筑设计、汽车制造等多个领域。

AI项目与工具 2025年02月07日 61 点赞 0 评论 153 浏览

星火快答

星火快答是科大讯飞推出的AI智能交互系统，集成了虚拟人、语音识别、大数据分析等功能，适用于展厅、会议、营销等场景。支持多模态交互、知识问答、数据可视化与跨屏联动，提升信息传递效率与用户体验。

AI项目与工具 2025年06月12日 86 点赞 0 评论 153 浏览

VideoRAG

VideoRAG是一种基于检索增强生成（RAG）技术的工具，旨在提升长视频的理解能力。它通过提取视频中的多模态信息（如OCR、ASR和对象检测），并将其与视频帧和用户查询结合，增强大型视频语言模型的处理效果。该技术轻量高效，易于集成，适用于视频问答、内容分析、教育、媒体创作及企业知识管理等多个领域。

AI项目与工具 2025年06月12日 75 点赞 0 评论 153 浏览

LaDeCo

LaDeCo是一款基于多模态模型的自动化图形设计工具，通过分层规划与逐步生成的方式，实现从多模态输入到高质量设计输出的转换。其核心功能涵盖层规划、层级设计生成、分辨率调整、元素填充及多样化设计输出，广泛适用于设计师、研究人员、评估人员及开发者等群体，助力提升设计效率与质量。

AI项目与工具 2025年06月12日 53 点赞 0 评论 151 浏览