模型

TimeSuite

TimeSuite是一种由上海AI Lab开发的框架,专注于提升多模态大型语言模型在长视频理解任务中的表现。它通过引入高效的长视频处理框架、高质量的视频数据集TimePro和Temporal Grounded Caption任务,提升了模型对视频内容的时间感知能力,减少了幻觉风险,并显著提高了长视频问答和时间定位任务的性能。其核心技术包括视频令牌压缩、时间自适应位置编码、U-Net结构及多样化任务

EMMA

EMMA是一款基于Gemini模型的端到端自动驾驶多模态模型,可直接从原始相机传感器数据生成驾驶轨迹并执行多种任务,如3D对象检测、道路图元素识别及场景理解。该模型利用自然语言处理技术实现跨任务协作,并展现出强大的泛化能力,但在某些方面仍需改进。

DreamVideo

DreamVideo-2是一款由复旦大学和阿里巴巴集团等机构共同开发的零样本视频生成框架,能够利用单一图像及界定框序列生成包含特定主题且具备精确运动轨迹的视频内容。其核心特性包括参考注意力机制、混合掩码参考注意力、重加权扩散损失以及基于二值掩码的运动控制模块,这些技术共同提升了主题表现力和运动控制精度。DreamVideo-2已在多个领域如娱乐、影视制作、广告营销、教育及新闻报道中展现出广泛应用前

Voice Changer

Voice Changer是一款基于状态空间模型的音频处理工具,可将音频中的语音转换为不同音色,同时保留情感和表达细节。用户可通过选择预设声音库或克隆个人声音实现个性化转换,并对语音细节进行精细调整。该工具广泛应用于内容创作、游戏配音、有声书制作及品牌音频开发等领域,提供高质量的音频输出和灵活的控制选项。

Oasis

Oasis是一款依托于AI技术的实时生成游戏,无需依赖传统游戏引擎即可实现每秒20帧的高质量交互式视频内容输出。它支持玩家自由探索开放世界,并通过动态调整机制提供个性化体验。凭借开源特性及硬件优化能力,Oasis展示了AI在内容创作领域的巨大潜力,适用于游戏、教育、虚拟旅游等多个领域。

OSAID 1.0

OSAID 1.0是由Open Source Initiative(OSI)制定的开源AI标准,明确了AI系统成为开源所需的条件。该标准要求AI系统提供代码、数据和参数,并强调透明度与协作,适用于开源社区、企业、开发者、教育机构及政策制定者。它推动了AI领域的创新、透明度和信任建设,同时影响了现有AI模型的开发和法律地位。

MobileLLM

MobileLLM是一款针对移动设备优化的大型语言模型,具有语言理解与生成、零样本常识推理、聊天交互、API调用、文本重写与摘要生成以及数学问题解决等功能。它通过深度薄型架构、SwiGLU激活函数、嵌入共享和分组查询注意力机制等技术,在低参数环境下实现高效性能,适用于移动聊天、语音助手、内容推荐、教育辅助和移动搜索等多种应用场景。

SmolLM2

SmolLLM2是一款由Hugging Face研发的紧凑型大型语言模型,支持设备端运行,具有1.7B、360M、135M三种参数规模。它通过监督微调与超反馈优化提升指令理解能力,在文本重写、摘要生成、函数调用等方面表现突出,适用于智能助手、聊天机器人等需要自然语言处理的场景,尤其适合延迟敏感、隐私保护和硬件资源受限的应用。

Amphion

Amphion是一款开源音频生成工具包,包含文本转语音(TTS)、歌声合成(SVS)、语音转换(VC)、歌声转换(SVC)、文本转音频(TTA)和文本转音乐(TTM)等功能。它支持多种神经声码器,并提供可视化模型架构,帮助用户快速掌握音频生成技术。通过统一框架和预训练模型,Amphion推动了音频生成领域的研究和应用发展。

LongReward

LongReward是一种由清华大学、中国科学院及智谱AI联合开发的AI工具,专注于通过多维度评估(有用性、逻辑性、忠实性和完整性)来优化长文本大型语言模型的表现。它利用现成的语言模型提供奖励信号,并结合强化学习算法改善模型性能,特别擅长处理复杂长文本任务,如文档理解、摘要生成及特定领域的数据分析,如法律、金融和医疗。