多模态模型

1. 首页
2. 多模态模型

Awesome GPT

一个精选的GPT-4o生成图片集锦，收集了OpenAI 最新多模态模型 GPT‑4o 生成的精彩案例，展示其强大的文本‑图像理解与创作能力。

Ai学习资源 2025年06月05日 92 点赞 0 评论 658 浏览

OmniThink

OmniThink是由浙江大学与阿里巴巴通义实验室联合开发的机器写作框架，通过模拟人类学习和反思机制，提升文章的知识密度与深度。支持多种语言模型，具备信息树与概念池结构化管理功能，适用于学术写作、新闻报道、教育内容创作等多个领域，有效提高生成内容的质量与多样性。

AI项目与工具 2025年06月12日 10 点赞 0 评论 645 浏览

OmniHuman

OmniHuman是字节跳动推出的多模态人类视频生成框架，基于单张图像和运动信号生成高逼真视频。支持音频、姿势及组合驱动，适用于多种图像比例和风格。采用混合训练策略和扩散变换器架构，提升生成效果与稳定性，广泛应用于影视、游戏、教育、广告等领域。

AI项目与工具 2025年06月12日 43 点赞 0 评论 635 浏览

StarVector

StarVector 是一个开源多模态视觉语言模型，支持图像和文本到可编辑 SVG 文件的转换。采用多模态架构，结合图像编码与语言模型，生成结构紧凑、语义丰富的 SVG 内容。基于 SVG-Stack 数据集训练，适用于图标设计、艺术创作、数据可视化等多种场景，具备良好的性能和扩展性。

AI项目与工具 2025年06月12日 68 点赞 0 评论 627 浏览

olmOCR

olmOCR 是一款开源 PDF 文档处理工具，结合文档锚定技术和 Qwen2-VL-7B-Instruct 模型，可高效提取结构化文本并保留原始布局。支持多种文档类型，具备大规模批量处理能力和低成本优势，适用于学术研究、法律文件处理、企业文档管理及数字图书馆建设等多个场景。其开源特性与可扩展性也增强了用户的使用灵活性。

AI项目与工具 2025年06月12日 47 点赞 0 评论 620 浏览

SpeechGPT 2.0

SpeechGPT 2.0-preview 是复旦大学 OpenMOSS 团队开发的拟人化实时交互系统，基于大量中文语音数据训练，支持低延迟、高自然度的语音与文本交互。具备情感控制、实时打断、多风格语音生成等功能，适用于智能助手、内容创作及无障碍通信等场景，技术上融合了语音-文本联合建模与多阶段训练策略，提升语音表现力与智能化水平。

AI项目与工具 2025年06月12日 23 点赞 0 评论 617 浏览

AddressCLIP

AddressCLIP 是一种基于 CLIP 技术的端到端图像地理定位模型，由中科院自动化所与阿里云联合开发。它通过图像与地址文本对齐和地理匹配技术，实现街道级别的精确定位，无需依赖 GPS。模型在多个数据集上表现优异，适用于城市管理、社交媒体、旅游导航等多个场景，具备良好的灵活性和多模态结合潜力。

AI项目与工具 2025年06月12日 30 点赞 0 评论 609 浏览

LiveCC

LiveCC是一款由新加坡国立大学Show Lab与字节跳动联合开发的实时视频解说模型，基于自动语音识别字幕进行训练。它能够实时生成自然流畅的视频评论和回答相关问题，适用于体育、新闻、教育等多个场景。模型采用流式训练方法，结合大规模数据集和Qwen2-VL架构，具备低延迟和高质量的生成能力。LiveCC通过LiveSports-3K基准测试评估性能，广泛应用于视频内容分析与智能交互场景。

AI项目与工具 2025年06月11日 100 点赞 0 评论 608 浏览

HuggingSnap

HuggingSnap 是一款基于 Hugging Face 的 AI 助手应用，采用轻量级多模态模型 SmolVLM2，支持图像、视频和文本的本地处理与生成。具备即时视觉描述、多语言文字识别与翻译、隐私保护等功能，适用于旅行、日常辅助、医疗及零售等场景，确保用户数据安全。

AI项目与工具 2025年06月12日 23 点赞 0 评论 604 浏览

Eagle

Eagle是一个由英伟达开发的多模态大模型，专长于处理高分辨率图像，提高视觉问答和文档理解能力。该模型采用多专家视觉编码器架构，通过简单的特征融合策略实现图像内容的深入理解。Eagle模型已开源，适用于多个行业，具有高分辨率图像处理、多模态理解、多专家视觉编码器、特征融合策略和预对齐训练等特点。

AI项目与工具 2025年06月12日 38 点赞 0 评论 599 浏览