PersonaTalk
PersonaTalk是一种基于注意力机制的两阶段框架，用于实现高保真度和个性化的视觉配音。其核心技术包括风格感知音频编码、唇形同步几何生成、双注意力面部渲染等，能够确保视频中人物的嘴型动作与输入音频精准匹配，同时保留说话者的独特风格和面部特征。相比现有技术，PersonaTalk在视觉质量和唇形同步方面表现更优，适用于电影、游戏、虚拟助手等多个领域。
AI工具
LatentSync
LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架，基于音频条件的潜在扩散模型，无需中间3D或2D表示，可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法，提升视频时间一致性，并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。
Poetry2Image
Poetry2Image是一个由哈尔滨工业大学提出的迭代校正框架，专门用于中文古诗词的图像生成。该工具通过自动化反馈和校正机制，提升了诗歌与图像的一致性，解决了文本到图像生成模型在处理中文古典诗歌时常见的关键元素丢失或语义混淆问题。Poetry2Image具备搜索翻译、生成初始图像、提取关键元素、图像修正及迭代优化等功能，与多种图像生成模型结合使用时，其元素完整性和语义一致性表现优异，适用于古诗词
