多模态

Gemini 2.0

Gemini 2.0 是谷歌推出的原生多模态AI模型,具备快速处理文本、音频和图像的能力,支持多语言输出和实时音视频流输入。通过Agent技术和工具调用,Gemini 2.0 能够自主理解任务并提供解决方案,已在编程、数据分析、游戏等领域展示应用潜力。目前提供免费试用,计划逐步开放更多功能。

Step-1V

覆盖了从个人使用到企业级应用的多个方面的多模态大模型。

吱意

吱意是一款可以适用于图片翻译、文档翻译,视频翻译等场景的在线工具。同时,吱意还提供多模态翻译和智能配音,AI写作,AI成画等AIGC人工智能创作等服务。

生成时代

AIGC 多模态 API 平台,提供 AIGC 图像生成、图像编辑、视频生成、视频编辑、音频生成、训推一体等 API,免去 GPU 和模型维护成本,帮助开发者快速搭建 AIGC 应用。

Mistral Small 3.1

Mistral Small 3.1 是一款由 Mistral AI 开发的开源多模态 AI 模型,拥有 240 亿参数,支持文本与图像处理,具备长达 128k tokens 的上下文窗口和每秒 150 token 的推理速度。采用 Transformer 架构与 MoE 技术,提升计算效率,支持多语言和本地部署。适用于文档处理、图像分析、质量检测、虚拟助手等多种场景。

CreatiLayout

CreatiLayout 是一种先进的布局到图像生成技术,由复旦大学与字节跳动联合开发。它基于大规模布局数据集 LayoutSAM,结合 SiamLayout 框架和 MM-DiT 架构,实现高质量、细粒度可控的图像生成。同时,其 LayoutDesigner 工具支持多种输入方式,帮助用户优化布局设计。适用于海报制作、室内设计、视觉创作及教学等多个领域。

AudioX

AudioX 是一种基于多模态输入的音频生成模型,支持文本、视频、图像等多种输入方式,能够生成高质量的音频和音乐。其核心创新在于多模态掩码训练策略,提升了跨模态理解和生成能力。具备零样本生成、自然语言控制及强大的泛化能力,适用于视频配乐、动画音效、音乐创作等多个场景。

PP

PP-DocBee是百度飞桨推出的多模态文档理解模型,基于ViT+MLP+LLM架构,支持文字、表格、图表等多类型文档内容的精准识别与解析。具备高效的推理性能和高质量输出,适用于文档问答、信息提取等场景,支持灵活部署,为文档处理提供智能化解决方案。

GenMAC

GenMAC是一款基于多代理协作的迭代框架,旨在解决文本到视频生成中的复杂场景生成问题。它通过任务分解为设计、生成和重新设计三阶段,结合验证、建议、修正和输出结构化子任务,利用自适应自路由机制优化视频生成效果。该工具可应用于电影制作、游戏开发、广告设计、教育培训和新闻报道等多个领域,显著提升视频生成的效率和质量。