扩散模型

BLIP3

BLIP3-o是Salesforce Research等机构推出的多模态AI模型,结合自回归与扩散模型优势,实现高效图像理解和生成。基于CLIP语义特征,支持文本与图像间的双向转换及图像编辑。采用顺序预训练策略,提升模型性能。完全开源,适用于创意设计、视觉问答、艺术生成等多种场景。

Prometheus

Prometheus是一款基于潜在扩散模型的3D生成工具,能够从文本描述中快速生成高质量、高保真的3D场景。其核心技术包括两阶段训练框架、RGB-D潜在空间解耦、前馈生成策略和无分类器引导,确保生成结果在视觉和几何上的准确性与一致性。适用于内容创作、游戏开发、建筑设计等多个领域,显著提升了3D内容生成的效率和质量。

DiffEditor

DiffEditor是由北京大学深圳研究生院与腾讯PCG联合研发的图像编辑工具,基于扩散模型,结合图像与文本提示,支持细粒度对象移动、尺寸调整、内容拖动及跨图像编辑。采用区域随机微分方程(Regional SDE)和时间旅行策略,提升编辑准确性和灵活性。无需额外训练即可实现高效图像处理,适用于创意设计、人像修复和风景优化等场景。

EyeDiff

EyeDiff是一款基于扩散模型的文本到图像生成工具,专为多模态眼科图像生成设计。通过自然语言提示,EyeDiff能够捕捉常见及罕见眼病的关键特征,显著提升诊断准确性。该工具采用CLIP文本编码器与交叉注意力机制,结合潜在扩散模型(LDM),生成高质量、与文本高度一致的图像,适用于数据增强、疾病筛查、数据共享及医学教育等场景。

混元DiT

混元DiT(Hunyuan-DiT)是腾讯混元团队开源的高性能文本到图像的扩散Transformer模型,具备细粒度的中英文理解能力,能够生成多分辨率的高质量图像。该模型结合了双语CLIP和多语言T5编码器,通过精心设计的数据管道进行训练和优化。混元DiT的主要功能包括双语文本到图像生成、细粒度中文元素理解、长文本处理能力、多尺寸图像生成、多轮对话和上下文理解、高一致性和艺术性。此外,混元DiT在

SnapGen

SnapGen是一款由Snap Inc、香港科技大学和墨尔本大学联合开发的文本到图像扩散模型,专为移动设备设计,支持在1.4秒内生成1024×1024像素的高分辨率图像。它通过优化网络架构、跨架构知识蒸馏和对抗性训练等技术,在保持小模型规模的同时,提供了高质量的图像生成能力,适用于社交媒体、移动应用、教育、新闻等多个领域。

Add

Add-it是一款无需训练的图像编辑工具,允许用户通过文本指令在图像中插入新对象。其核心功能包括保持场景结构一致性、确保对象自然融合、支持非真实感图像处理等。Add-it采用扩展的注意力机制和主题引导潜在混合技术,无需额外训练即可实现高质量图像编辑。广泛适用于广告、内容创作、影视制作等领域。

GR00T N1

GR00T N1 是英伟达推出的开源人形机器人基础模型,支持多模态输入并具备复杂任务执行能力。采用双系统架构,结合视觉-语言模型与扩散变换器,实现精准动作控制。基于大规模数据训练,适应多种机器人形态和任务场景,广泛应用于物流、制造、医疗等领域,提升自动化水平与操作效率。

HoloPart

HoloPart 是一种基于扩散模型的 3D 分割工具,能准确识别并补全被遮挡的语义部件,支持几何与材质编辑等任务。其两阶段方法结合局部与全局注意力机制,提升分割精度与一致性。适用于动画制作、几何优化及数据生成等领域,已在多个数据集上取得优异性能。

FantasyTalking

FantasyTalking是一种由阿里巴巴AMAP团队与北京邮电大学联合开发的AI工具,能够从静态肖像生成高质量、可动画化的虚拟形象。该工具采用双阶段视听对齐策略,结合面部专注的交叉注意力模块和运动强度调制模块,实现精准口型同步、丰富表情生成及全身动作控制。支持多种风格和姿态,适用于游戏、影视、VR/AR、虚拟主播及教育等领域。