计算机视觉

KeySync

KeySync是一种高分辨率口型同步工具,由帝国理工学院和弗罗茨瓦夫大学联合开发。其采用两阶段生成框架,结合掩码策略和视频分割模型,实现音频与唇部动作的精准对齐。支持高清视频生成,具备遮挡处理、减少表情泄露等功能,在视觉质量、时间连贯性和同步精度上优于现有方法,适用于自动配音、虚拟形象、视频会议等多场景应用。

机器之心

机器之心是中国领先的人工智能科技媒体,提供最新的AI新闻、研究论文和产业动态,专业的人工智能信息服务平台。

ViTPose

ViTPose 是一种基于 Transformer 架构的人体姿态估计模型,通过图像块处理和特征提取实现关键点定位。提供多种版本,适用于不同任务需求。模型结构简洁,支持灵活扩展和参数调整,具备知识迁移能力。ViTPose+ 拓展至动物姿态估计,提升适用范围。在多个数据集上达到 SOTA 性能,广泛应用于运动分析、虚拟现实等领域。

MARS

MARS是一款由字节跳动开发的优化框架,专注于提升大型模型训练效率。它融合了预条件梯度方法与方差减少技术,并通过缩放随机递归动量技术优化梯度估计。MARS支持多种Hessian近似方式,可生成基于AdamW、Lion和Shampoo的优化算法实例。该框架适用于深度神经网络、大规模语言模型、计算机视觉任务及强化学习等领域,能有效加速模型收敛并提高训练稳定性。

SimpleAR

SimpleAR是一款由复旦大学与字节跳动联合研发的纯自回归图像生成模型,采用简洁架构实现高质量图像生成。其通过“预训练-有监督微调-强化学习”三阶段训练方法,提升文本跟随能力与生成效果。支持文本到图像及多模态融合生成,兼容加速技术,推理速度快。适用于创意设计、虚拟场景构建、多模态翻译、AR/VR等多个领域。

AVD2

AVD2是由多所高校联合开发的自动驾驶事故视频理解框架,通过生成高质量事故视频并结合自然语言描述与推理,提升对复杂事故场景的理解能力。其功能涵盖事故视频生成、原因分析、预防建议及数据集增强,支持自动驾驶系统的安全优化与研究。基于先进模型如Open-Sora 1.2和ADAPT,AVD2在多项评估中表现优异,为自动驾驶安全提供了重要技术支撑。

UnZipLoRA

UnZipLoRA是一种由伊利诺伊大学厄巴纳-香槟分校研发的图像处理技术,能够将图像内容与风格分离,并分别以两个LoRA模型表示。该技术通过提示分离、列分离和块分离策略,有效解决内容与风格纠缠的问题,支持高效训练和兼容性组合。可用于艺术创作、图像编辑、风格迁移及个性化图像生成等场景,提升图像处理的灵活性和可控性。

Augmented Physics

Augmented Physics是一款基于人工智能的教育工具,旨在通过计算机视觉技术和多模态语言模型,将物理教科书中的静态图表转化为动态交互式模拟,帮助学生更好地理解物理概念。它支持多种仿真类型,包括光学、运动学和电路等,并提供动态可视化和动画效果,同时无需编程技能即可创建仿真。

Finedefics

Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型,专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述,结合对比学习方法,实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色,准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型,主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构,集成了视觉和语言信息,通过Siglip视觉编码器和Qwen-2语言模型,实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。