多模态

Omnitool

Omnitool是一款开源的AI桌面工具,提供统一界面整合多种AI模型,支持本地运行,保障数据隐私。兼容OpenAI、Stable Diffusion等主流平台,无需复杂配置即可实现图像生成、文本翻译、音频创建等功能。具备高扩展性,支持脚本和第三方工具集成,适用于从初学者到开发者的多场景应用,涵盖艺术创作、教育、企业开发等领域。

MMAudio

MMAudio是一款基于多模态联合训练的音频合成工具,通过深度学习技术实现视频到音频、文本到音频的精准转换。它具备强大的同步模块,确保生成的音频与视频帧或文本描述时间轴完全对应,适用于影视制作、游戏开发、虚拟现实等多种场景,极大提升了跨模态数据处理的能力和应用效率。

奇妙问

奇妙问平台通过提供一站式的交互数字人解决方案,帮助企业在不同行业场景下实现数字化转型,提升服务效率和客户满意度。

Oumi

Oumi 是一个开源 AI 平台,支持从数据准备到模型部署的全流程开发。它提供零样板代码体验,支持多种训练方法和多模态模型,适用于自动驾驶、人机交互、学术研究等多个场景。平台具备高效的分布式训练能力和灵活的部署选项,适合企业和研究机构使用。

VSI

VSI-Bench是一种用于评估多模态大型语言模型(MLLMs)视觉空间智能的基准测试工具,包含超过5000个问题-答案对,覆盖多种真实室内场景视频。其任务类型包括配置型任务、测量估计和时空任务,可全面评估模型的空间认知、理解和记忆能力,并提供标准化的测试集用于模型性能对比。 ---

BLIP3

BLIP3-o是Salesforce Research等机构推出的多模态AI模型,结合自回归与扩散模型优势,实现高效图像理解和生成。基于CLIP语义特征,支持文本与图像间的双向转换及图像编辑。采用顺序预训练策略,提升模型性能。完全开源,适用于创意设计、视觉问答、艺术生成等多种场景。

Molmo 72B

Molmo 72B是一款由艾伦人工智能研究所推出的开源多模态AI模型,集成了图像和文本处理能力,适用于图像描述生成、视觉问答、文档解析及多模态交互等多种任务。凭借其强大的视觉编码能力和先进的模型架构,Molmo 72B在学术基准测试中表现优异,为开源AI技术的发展做出了重要贡献。

RenderNet

RenderNet是一个基于AI技术的生成式平台,支持图像和视频创作,提供角色一致性控制、姿势调整、面部锁定等功能,适用于影视、游戏、广告及教育等多个领域。其开放API支持开发者构建定制化应用,提升内容创作效率与质量。

LibreChat

一个开源多模态AI对话平台,它支持与多种AI模型服务的集成,包括OpenAI、Azure、Anthropic和Google等。