多模态

Luma Ray2

Luma Ray2 是 Luma AI 推出的视频生成模型,基于多模态架构,支持文本和图像输入,生成高质量、连贯的视频内容。相较前代,视频时长从 5 秒提升至 1 分钟,支持电影级运镜和逼真特效,适用于影视制作、广告、游戏动画及教育等多个领域。

Augment Code

一家专注于为大型代码库提供AI编程辅助工具的公司,通过上下文感知开发、个性化代码补全、跨文件编辑等功能,帮助开发团队提升效率,特别是擅长处理复杂代码库的维护和重构。

Vidu Q1

Vidu Q1是清华大学朱军教授团队研发的高可控视频生成模型,支持1080p高清视频生成,具备精准音效控制、多主体一致性调节、局部超分重建等功能。在多项国际评测中表现优异,包括VBench和SuperCLUE榜单均获第一。模型基于扩散模型与U-ViT架构,融合文本、图像和视频信息,适用于影视制作、广告宣传及动画创作等领域。

SpeechGPT 2.0

SpeechGPT 2.0-preview 是复旦大学 OpenMOSS 团队开发的拟人化实时交互系统,基于大量中文语音数据训练,支持低延迟、高自然度的语音与文本交互。具备情感控制、实时打断、多风格语音生成等功能,适用于智能助手、内容创作及无障碍通信等场景,技术上融合了语音-文本联合建模与多阶段训练策略,提升语音表现力与智能化水平。

MMSearch

MMSearch 是一款用于评估大型多模态模型(LMMs)搜索能力的基准测试工具,包含 MMSearch-Engine 框架和 MMSearch 测试集。其核心功能包括问题重构、网页排序和答案总结,通过多模态搜索能力评估提升 LMMs 的性能。实验结果显示 GPT-4o 在该测试中表现优异,且增加计算量比扩大模型规模更具优势。

CogSound

CogSound是一款基于AI的音效生成工具,能够为无声视频添加与内容匹配的高质量音效,涵盖多种复杂场景。该工具通过先进的音视频特征匹配技术和优化的生成算法,提升了视频的沉浸感和真实感,广泛应用于视频创作、广告制作及影视后期等多个领域。

Gemma 3

Gemma 3 是谷歌推出的开源人工智能模型,支持多语言、多模态处理,具备文本、图像及短视频分析能力。提供多种模型尺寸,适配不同硬件环境,优化了单 GPU/TPU 性能,推理速度提升显著。内置图像安全分类器,增强内容安全性。支持多种开发工具和部署方式,适用于人脸识别、物体检测、智能助手、文本分析等场景。

EMMA

EMMA是一款基于Gemini模型的端到端自动驾驶多模态模型,可直接从原始相机传感器数据生成驾驶轨迹并执行多种任务,如3D对象检测、道路图元素识别及场景理解。该模型利用自然语言处理技术实现跨任务协作,并展现出强大的泛化能力,但在某些方面仍需改进。

Kimi Latest

Kimi Latest是月之暗面推出的实时更新AI模型,支持128k上下文长度,可自动选择模型规模并优化成本。具备图像理解、自动上下文缓存和多模态处理能力,适用于聊天应用、内容创作及数据分析等多种场景,为开发者和用户提供稳定高效的AI解决方案。

Jina AI

一家一家专注于神经搜索技术的商业开源软件公司,Jina AI致力于通过深度学习技术简化非结构化数据的搜索,提供高效、准确的搜索解决方案。