动画
Motionshop
Motionshop是一款由阿里巴巴智能计算研究院开发的AI角色动画框架,能够将视频中的角色转换为3D化身,同时保持视频中其他元素的完整性。该框架利用视频处理、角色检测与分割、姿态分析、模型提取及动画渲染等多项技术,实现了视频中角色从现实到虚拟的无缝转换。用户只需上传一段视频,Motionshop将自动识别视频中的主要人物,并将其转换为3D角色,同时精确复制原视频中人物的动作细节,确保3D角色的动
AnimateDiff
AnimateDiff是一款由上海人工智能实验室、香港中文大学和斯坦福大学的研究人员共同开发的框架,旨在将文本到图像模型扩展为动画生成器。该框架利用大规模视频数据集中的运动先验知识,允许用户通过文本描述生成动画序列,无需进行特定的模型调优。AnimateDiff支持多种领域的个性化模型,包括动漫、2D卡通、3D动画和现实摄影等,并且易于与现有模型集成,降低使用门槛。
AniPortrait
AniPortrait是一款由腾讯开源的AI视频生成框架,通过音频和一张参考肖像图片生成高质量的动画。该框架包含两个核心模块:Audio2Lmk模块将音频转换为2D面部标记点,而Lmk2Video模块则基于这些标记点生成连贯且逼真的视频动画。AniPortrait以其高质量的视觉效果、时间一致性和灵活的编辑能力著称,能够精确捕捉面部表情和嘴唇动作。