长视频

ViLAMP

ViLAMP是由蚂蚁集团与中国人民大学联合开发的视觉语言模型,专为高效处理长视频设计。采用混合精度策略,支持在单张A100 GPU上处理长达3小时的视频,提升处理效率并降低计算成本。具备长视频理解、关键信息提取、多任务处理等功能,适用于教育、监控、直播、影视制作及智能客服等场景。技术上通过差分关键帧选择与特征合并优化性能,实现精准且高效的视频分析。

LongVU

LongVU是一款由Meta AI团队研发的长视频理解工具,其核心在于时空自适应压缩机制,可有效减少视频标记数量并保留关键视觉细节。该工具通过跨模态查询与帧间依赖性分析,实现了对冗余帧的剔除及帧特征的选择性降低,并基于时间依赖性进一步压缩空间标记。LongVU支持高效处理长视频,适用于视频内容分析、搜索索引、生成描述等多种应用场景。

PixVerse V2

PixVerse V2是一款基于Diffusion+Transformer(DiT)架构并结合自研时空注意力机制的AI视频生成工具。它支持生成长度可达40秒的视频,单个片段最长可达8秒,且能保持视频片段间的一致性。用户可通过简单操作生成并编辑视频,适用于创意专业人士、社交媒体用户、企业营销人员及独立艺术家等多种人群。

MotionCanvas

MotionCanvas是一种图像到视频生成工具,能将静态图像转化为动态视频。它提供相机与物体运动的联合控制,支持复杂轨迹设计和局部运动调整,具备3D感知能力,可生成高质量长视频。适用于电影制作、动画创作、VR/AR、游戏开发及教育等多个领域。

MMBench

MMBench-Video是一个由多家高校和机构联合开发的长视频多题问答基准测试平台,旨在全面评估大型视觉语言模型(LVLMs)在视频理解方面的能力。平台包含约600个YouTube视频片段,覆盖16个类别,并配备高质量的人工标注问答对。通过自动化评估机制,MMBench-Video能够有效提升评估的精度和效率,为模型优化和学术研究提供重要支持。

TimeSuite

TimeSuite是一种由上海AI Lab开发的框架,专注于提升多模态大型语言模型在长视频理解任务中的表现。它通过引入高效的长视频处理框架、高质量的视频数据集TimePro和Temporal Grounded Caption任务,提升了模型对视频内容的时间感知能力,减少了幻觉风险,并显著提高了长视频问答和时间定位任务的性能。其核心技术包括视频令牌压缩、时间自适应位置编码、U-Net结构及多样化任务

AtomoVideo

AtomoVideo是一款高保真图像到视频生成框架,能够从静态图像生成高质量视频内容。它通过多粒度图像注入和高质量数据集及训练策略,保证生成视频与原始图像的高度一致性和良好的时间连贯性。此外,AtomoVideo还支持长视频生成、文本到视频生成以及个性化和可控生成等功能。

Loong

Loong是一种基于自回归大型语言模型的长视频生成工具,能够生成长达一分钟以上的高质量视频。其核心技术包括统一序列建模、渐进式训练方法及损失重新加权策略,确保生成视频在内容连贯性、动态丰富性和场景过渡上的卓越表现。Loong广泛适用于娱乐、教育、广告等多个领域,助力用户快速生成个性化、专业化的视频内容。

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型,由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性,能在大量GPU上高效训练,无需梯度检查点。LongVILA通过五阶段训练流程,结合大规模数据集构建和高性能推理,显著提升了长视频字幕的准确性和处理效率。此外,它还支持多种应用场景,包括视频字幕生成、内容分析、视频问答系统等。

StreamingT2V

StreamingT2V是由Picsart AI Research等团队联合发布的一款创新的AI视频生成模型。它能生成长达1200帧、时长为2分钟的视频,大大超越了先前模型的时长限制,如Sora模型。Streaming...