学习

MangaNinja

MangaNinja是一款基于参考图像的线稿上色工具,采用Reference U-Net和Denoising U-Net架构,结合补丁重排模块与点驱动控制方案,实现高精度、细粒度的上色效果。其可处理复杂场景、多参考图像协调及极端姿势等问题,广泛应用于漫画创作、插画设计、平面设计和数字艺术等领域。

ParGo

ParGo是一种由字节与中山大学联合开发的多模态大语言模型连接器,通过结合局部与全局token,提升视觉与语言模态的对齐效果。其核心模块PGP和CPP分别提取图像的局部和全局信息,增强细节感知能力。在多个基准测试中表现优异,尤其在文字识别和图像描述任务中优势明显。采用自监督学习策略,提高模型泛化能力,适用于视觉问答、图像字幕生成、跨模态检索等多种场景。

MatterGen

MatterGen是由微软开发的生成式AI模型,专注于无机材料的设计与生成。它通过扩散过程逐步优化原子结构,生成稳定、多样化且符合特定性能要求的材料。支持化学组成、磁性、电子和机械性能等多维度约束,适用于逆向材料设计,提升新材料研发效率。已应用于能源、催化、电子等领域,推动材料科学进步。

XMusic

XMusic是腾讯多媒体实验室开发的AI作曲框架,支持多模态输入(如图片、文字、视频等)生成情绪、风格、节奏可控的高质量音乐。其核心技术包括多模态解析、符号音乐表示与生成优化,具备商用级音乐生成能力。适用于视频配乐、互动娱乐、音乐教育、辅助创作及音乐治疗等多个场景,有效降低音乐创作门槛,提升创作效率与个性化体验。

OmAgent

OmAgent是由Om AI与浙江大学滨江研究院联合开发的多模态语言代理框架,支持文本、图像、视频等多种输入形式,简化设备端智能代理的开发流程。它具备高效模型集成、灵活算法接口和复杂任务处理能力,适用于视频监控、内容推荐、教育辅助等场景,提升设备智能化水平和用户体验。

AnyStory

AnyStory是阿里巴巴通义实验室开发的文本到图像生成工具,支持单个或多个主体的高保真图像生成。其核心在于“编码-路由”架构,结合ReferenceNet和CLIP视觉编码器实现主体特征的精准建模与定位。通过解耦路由机制,有效避免多主体混淆,确保图像与文本描述高度一致。适用于创意设计、角色生成、广告制作等多个场景,提供高质量、个性化的图像生成能力。

SHMT

SHMT是一种基于自监督学习的高级化妆转移技术,由阿里巴巴达摩院与武汉理工大学联合研发。该技术无需成对训练数据,可将多种化妆风格自然迁移到目标面部图像上,通过“解耦-重建”策略和迭代双重对齐模块,实现高精度的纹理控制与对齐校正。适用于图像处理、虚拟试妆、影视设计等多个领域,具有高效、灵活、高质量的特点。

SmartEraser

SmartEraser是中科大与微软亚洲研究院联合开发的图像编辑工具,采用“掩码区域引导”技术实现精准对象移除,同时保留周围上下文。基于Syn4Removal数据集训练,支持多种掩码输入,适用于复杂场景,广泛应用于照片编辑、设计、文物修复及科研等领域。

PSHuman

PSHuman是一款基于跨尺度多视图扩散模型的单图像3D人像重建工具,仅需一张照片即可生成高保真度的3D人体模型,支持全身姿态和面部细节的精确重建。其核心技术包括多视角生成、SMPL-X人体模型融合及显式雕刻技术,确保模型在几何和纹理上的真实感。该工具适用于影视、游戏、VR/AR、时尚设计等多个领域,具备高效、精准和易用的特点。

Wear

Wear-Any-Way是阿里巴巴拍立淘团队研发的虚拟试穿框架,通过稀疏对应对齐机制实现高保真、可定制的试穿效果。用户可自由调整服装样式、颜色及搭配方式,适用于多种场景。具备多件服装搭配、多场景支持及智能推荐功能,适用于电商、时尚设计等领域,提升用户体验与效率。