动画

Moovly

Moovly是一个AI驱动的在线视频编辑和制作工具,专为商业和教育用途设计。它通过简化视频制作流程,使用户能够轻松创建各种类型的视频,如解释视频、促销视频、培训视频和视频教程...

Motionshop

Motionshop是一款由阿里巴巴智能计算研究院开发的AI角色动画框架,能够将视频中的角色转换为3D化身,同时保持视频中其他元素的完整性。该框架利用视频处理、角色检测与分割、姿态分析、模型提取及动画渲染等多项技术,实现了视频中角色从现实到虚拟的无缝转换。用户只需上传一段视频,Motionshop将自动识别视频中的主要人物,并将其转换为3D角色,同时精确复制原视频中人物的动作细节,确保3D角色的动

Make

Make-A-Character(简称Mach)是由阿里巴巴集团智能计算研究院开发的3D数字人生成框架,通过文本描述快速生成逼真的3D角色。该系统支持灵活的定制化、高度逼真的渲染、完整的角色模型及动画支持。其工作流程包括文本解析、视觉提示生成、参考肖像图像生成、密集面部坐标检测、几何生成、纹理生成、纹理修正、头发生成、资产匹配和角色装配。Mach生成的角色模型可以无缝集成到游戏和电影行业的标准CG

AnimateDiff

AnimateDiff是一款由上海人工智能实验室、香港中文大学和斯坦福大学的研究人员共同开发的框架,旨在将文本到图像模型扩展为动画生成器。该框架利用大规模视频数据集中的运动先验知识,允许用户通过文本描述生成动画序列,无需进行特定的模型调优。AnimateDiff支持多种领域的个性化模型,包括动漫、2D卡通、3D动画和现实摄影等,并且易于与现有模型集成,降低使用门槛。

VideoPoet

VideoPoet是一款基于大模型的AI视频生成工具,支持从文本、图像或视频输入中合成高质量的视频内容及匹配的音频。其核心优势在于多模态大模型设计,能够处理和转换不同类型的输入信号,无需特定数据集或扩散模型即可实现多种风格和动作的视频输出。主要功能包括文本到视频转换、图像到视频动画、视频风格化、视频编辑和扩展、视频到音频转换以及多模态学习等。技术原理涉及多模态输入处理、解码器架构、预训练与任务适应

Pix2Gif

Pix2Gif是一个由微软研究院开发的基于运动引导的扩散模型,能够将静态图像转换成动态的GIF动画或视频。该模型通过运动引导的扩散过程实现图像到GIF的生成,并利用文本描述和运动幅度作为输入。Pix2Gif还引入了感知损失机制,确保生成的GIF帧在视觉上与原始图像保持一致性和连贯性。

Follow

Follow-Your-Click是一款由腾讯、清华大学和香港科技大学合作开发的图像到视频生成模型。它允许用户通过简单的点击和动作提示将静态图像转化为包含局部动画效果的动态视频。主要功能包括直观的用户界面、局部动画生成、多对象处理、简短动作提示、高质量视频生成及运动速度控制。其工作原理涉及用户交互、图像分割、第一帧遮罩策略、运动增强模块和基于光流的运动幅度控制。

Champ

Champ是由阿里巴巴、复旦大学和南京大学的研究人员共同开发的一款基于3D的AI工具,能够将人物图片转换为高质量的视频动画。Champ通过结合3D参数化模型和潜在扩散模型,精准捕捉和再现人体的3D形态和动态,保证动画的连贯性和视觉逼真度。此外,Champ还支持跨身份动画生成,并能与文本生成图像模型结合,使用户可以根据文本描述生成特定的角色外观和动作。

AniPortrait

AniPortrait是一款由腾讯开源的AI视频生成框架,通过音频和一张参考肖像图片生成高质量的动画。该框架包含两个核心模块:Audio2Lmk模块将音频转换为2D面部标记点,而Lmk2Video模块则基于这些标记点生成连贯且逼真的视频动画。AniPortrait以其高质量的视觉效果、时间一致性和灵活的编辑能力著称,能够精确捕捉面部表情和嘴唇动作。

AniTalker

AniTalker是一款先进的AI工具,能将单张静态人像与音频同步转化为生动的动画对话视频。它通过自监督学习捕捉面部动态,采用通用运动表示和身份解耦技术减少对标记数据的依赖,同时结合扩散模型和方差适配器生成多样且可控的面部动画。AniTalker支持视频驱动和语音驱动两种方式,并具备实时控制动画生成的能力。