R

DUSt3R

DUSt3R是一个由芬兰阿尔托大学和Naver欧洲实验室联合研发的3D重建框架。该框架能够快速地从任意图像集合中重建出三维场景,无需事先了解相机校准或视点位置信息。DUSt3R主要功能包括快速3D重建、无需相机校准、多视图立体重建、单目和双目重建以及生成深度图、置信度图和点云图。它采用了点图表示法、Transformer网络架构和端到端训练方式,并提出了全局对齐策略来处理多视图重建任务。

Mistral Large

Mistral Large是Mistral AI开发的一款先进的大型语言模型,具备出色的多语言推理能力和强大的上下文理解能力。它在多个基准测试中表现出色,尤其是在多语言处理、推理和知识、数学与编程方面。Mistral Large支持多语言处理,并且能精确遵循指令,还支持函数调用,便于与开发者工具集集成。此外,该模型可通过Azure AI Studio和Azure Machine Learning平

Stable Diffusion 3

Stable Diffusion 3 是一款由 Stability AI 开发的先进文本到图像生成模型,通过改进的文本渲染能力、多主题提示支持、可扩展的参数量、图像质量提升及先进的架构技术,实现了高质量和多样性的图像生成。该模型在图像生成和文本理解方面取得了显著进展,并通过 Diffusion Transformer 架构和 Flow Matching 技术提升了模型效率和图像质量。

SDXL

SDXL-Lightning是一种基于扩散模型的文本到图像生成技术,由字节跳动的研究团队开发。该模型通过结合渐进式和对抗式蒸馏方法,能够在一至少数步骤内快速生成1024像素分辨率的高质量图像。该模型提供开源模型和权重,支持与现有的LoRA模块和控制插件兼容,可以轻松集成到现有的图片生成系统中。核心技术包括扩散模型、渐进式蒸馏、对抗式蒸馏和鉴别器设计,以确保生成图像的质量和多样性。

VideoPoet

VideoPoet是一款基于大模型的AI视频生成工具,支持从文本、图像或视频输入中合成高质量的视频内容及匹配的音频。其核心优势在于多模态大模型设计,能够处理和转换不同类型的输入信号,无需特定数据集或扩散模型即可实现多种风格和动作的视频输出。主要功能包括文本到视频转换、图像到视频动画、视频风格化、视频编辑和扩展、视频到音频转换以及多模态学习等。技术原理涉及多模态输入处理、解码器架构、预训练与任务适应

Boximator

Boximator是一种视频合成技术,通过引入硬框和软框实现对视频中对象的位置、形状或运动路径的精细控制。它基于视频扩散模型,通过多阶段训练和自跟踪技术,确保视频合成过程中的高质量和逼真度。应用场景包括电影和电视制作、游戏开发以及VR和AR内容创作。

ImageFX

ImageFX是一款由谷歌开发的基于人工智能的文本到图像生成工具,利用先进的技术生成高质量图像。其主要功能包括文本到图像生成、Expressive Chips快速调整关键词、高质量图像生成能力、SynthID数字水印以确保图像真实性和内容安全措施,如过滤暴力、冒犯内容及个人图像生成。

Animate Anyone

Animate Anyone是一款由阿里巴巴智能计算研究院开发的开源框架,旨在将静态图像中的角色或人物动态化。它采用扩散模型,结合ReferenceNet、Pose Guider姿态引导器和时序生成模块等技术,确保输出的动态视频具有高度一致性和稳定性。该框架支持多种应用,包括角色动态化、时尚视频合成及人类舞蹈生成,用户可通过GitHub或Hugging Face社区轻松体验。

Lobe Chat

Lobe Chat 是一个免费开源的高性能 AI 聊天机器人框架,具备多种功能,如 GPT-4 视觉识别、文字语音转换、灵活的插件系统及个性化主题模式。用户能够轻松部署和扩展功能,适用于各种场景。该框架已在 GitHub 上获得近 14K 星标,展示了其受欢迎程度和实用性。

Opus Clip AI

Opus Clip AI是一款利用人工智能技术将长视频转换成高质量短视频片段的工具,特别适合短视频创作。这款工具可以一键将一个长视频生成10个或多个短视频,自动裁切人物主体,并添加...