图像处理
PaliGemma 2
PaliGemma 2是一款由Google DeepMind研发的视觉语言模型(VLM),结合了SigLIP-So400m视觉编码器与Gemma 2语言模型,支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现,在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务,包括图像字幕生成、视觉推理等,并支持量化和CPU推理以提高计算效率。
Upscalepics
一个免费在线工具,允许用户提升和增加图像的分辨率。它还提供了去除JPEG伪像、向图像添加细节和压缩图像的功能。
Ingredients
Ingredients是一款基于多身份图像与视频扩散Transformer的视频生成框架,支持多身份特征的高效整合与动态分配。其核心模块包括面部提取器、多尺度投影器和ID路由器,能够保持身份一致性并生成高质量视频内容。无需额外训练即可实现个性化视频制作,适用于娱乐、广告、教育等多个领域。
SynthLight
SynthLight是由耶鲁大学与Adobe Research联合开发的基于扩散模型的人像重照明工具,通过物理渲染引擎生成合成数据并结合多任务训练策略,实现高质量的光照效果生成。它能够根据环境光照图重新渲染人像,生成自然的高光、阴影和漫反射效果,并适用于摄影后期、虚拟场景、游戏开发及广告设计等多个领域,具备良好的泛化能力和实用性。
PhotoDoodle
PhotoDoodle是一种基于少量样本学习的艺术化图像编辑框架,能够精准复现艺术家风格并应用于照片涂鸦。它采用两阶段训练策略,结合位置编码重用和无噪声条件范式,确保生成效果与背景一致。支持装饰元素添加、背景保留、指令驱动编辑等功能,并通过低秩适应技术实现高效风格定制。项目提供高质量数据集和开源资源,适用于数字艺术创作、商业设计、社交媒体等多个场景。
