深度学习

Wan2.1

Wan2.1是阿里云推出的开源AI视频生成模型,支持文生视频与图生视频,具备复杂运动生成和物理模拟能力。采用因果3D VAE与视频Diffusion Transformer架构,性能卓越,尤其在Vbench评测中表现领先。提供专业版与极速版,适应不同场景需求,已开源并支持多种框架,便于开发与研究。

Torch

Torch-MLU 是一个开源的 PyTorch 扩展插件,支持开发者将寒武纪 MLU 系列智能加速卡作为 PyTorch 的加速后端。它实现了对 PyTorch 的原生支持,使开发者能够无缝地将基于 GPU 的深度学习模型迁移到 MLU 硬件上,显著提高模型的训练和推理效率。此外,Torch-MLU 还支持自动混合精度训练,通过优化计算图等技术,进一步提升了模型的执行效率。

PaddleSpeech

PaddleSpeech是百度飞桨团队开发的开源语音处理工具,涵盖语音识别、语音合成、声纹识别、语音翻译等功能。支持多种接口形式,适用于智能语音助手、语音播报、身份验证等场景。基于PaddlePaddle框架,提供高效的深度学习模型和丰富的音频处理能力,适用于多种实际应用需求。

LayerSkip

LayerSkip 是一种针对大型语言模型推理优化的技术,通过层 dropout 和早期退出损失机制,实现从早期层的精准退出,降低计算成本并提高解码效率。该方法结合自我推测解码技术,支持模型在早期层生成预测并通过后续层验证修正,广泛适用于文档摘要、编程任务、语义解析等自然语言处理任务,同时确保高精度与低延迟。

Red_Panda

Red_Panda 是一款由 Recraft AI 开发的先进 AI 图像生成工具,以其高精度的文本到图像转换能力和卓越的解剖学准确性著称。它能够生成复杂长文本对应的高质量图像,支持用户通过风格控制和图形设计工具实现个性化定制。此外,Red_Panda 还具备矢量图像生成能力,并集成 AI 图像编辑功能,广泛应用于设计、品牌营销、教育及出版等多个领域。

Higgsfield

Higgsfield是一款基于AI的视频生成平台,能够将文本提示转化为高质量视频内容,支持多种风格如现实主义、赛博朋克等。具备电影级相机控制、深度定制、资源管理等功能,适用于社交媒体、广告及电影制作领域,提升创作效率与质量。

Video Diffusion Models

Video Diffusion Models项目展示了扩散模型在视频生成领域的潜力,通过创新的梯度条件方法和自回归扩展技术,生成了具有高度时间连贯性和质量的视频样本。

Avaturn

Avaturn是一款基于AI的3D虚拟形象生成平台,支持用户通过上传照片生成逼真的3D头像和全身模型。它提供丰富的定制选项,如面部特征、发型、肤色、服装和配饰,并具备实时预览功能。Avaturn适用于社交媒体、在线游戏、虚拟会议、电子商务、教育培训及健康医疗等领域,旨在推动虚拟互动和数字身份的发展。

Inf

Inf-DiT是由清华大学与智谱AI联合开发的图像上采样技术,基于扩散模型并引入单向块注意力机制(UniBA),有效降低内存消耗,支持超高分辨率图像生成。其采用扩散变换器(DiT)架构,具备灵活的图像上采样能力,并通过全局图像嵌入和交叉注意力机制增强图像的一致性与质量。该技术适用于设计、影视、印刷及医学等领域,具有广泛的应用前景。

Eagle

Eagle是一个由英伟达开发的多模态大模型,专长于处理高分辨率图像,提高视觉问答和文档理解能力。该模型采用多专家视觉编码器架构,通过简单的特征融合策略实现图像内容的深入理解。Eagle模型已开源,适用于多个行业,具有高分辨率图像处理、多模态理解、多专家视觉编码器、特征融合策略和预对齐训练等特点。