预训练模型

MetaMorph

MetaMorph是一款基于多模态大模型的工具,通过Visual-Predictive Instruction Tuning(VPiT)技术实现文本和视觉token的生成。它在视觉理解和生成领域表现优异,能够克服其他生成模型的常见失败模式,同时有效处理专业术语和复杂语义问题。MetaMorph展示了统一建模方法的优势,支持多模态数据的高效处理,并在视觉生成与理解基准测试中取得竞争力表现。

ClearerVoice

ClearerVoice-Studio 是一个基于复数域深度学习算法的开源语音处理框架,集成了语音增强、分离及音视频说话人提取等功能。它通过先进的 FRCRN 和 MossFormer 系列模型,实现了高效的语音信号处理,并具备强大的预训练能力和灵活的接口设计。该框架广泛应用于智能助手、会议记录、电话会议、公共安全等领域,助力提升语音处理技术的实际应用价值。

LaTRO

LaTRO(Latent Reasoning Optimization)是一种用于提升大型语言模型推理能力的框架,通过将推理过程视为潜在分布采样并采用变分推断方法进行优化,无需外部反馈即可增强模型生成高质量推理路径的能力。该框架支持自奖励机制、联合学习及梯度估计等技术,广泛应用于数学问题求解、科学问题解答、编程任务、逻辑推理以及自然语言理解等领域,有助于构建更智能、更自主的问题解决系统。

novita.ai

Novita.ai是一个综合性的AI云服务平台,提供模型API、无服务器计算、GPU实例等服务。它集成了阿里巴巴的AnimateAnyone项目,支持静态图像动态化,并提供超过10,000个预训练模型,广泛应用于图像生成、动画制作等领域。其主要功能包括模型API支持、无服务器计算、GPU实例租赁、自定义模型添加以及高质量动画生成,适用于娱乐、教育、电商等多个行业。

Amphion

Amphion是一款开源音频生成工具包,包含文本转语音(TTS)、歌声合成(SVS)、语音转换(VC)、歌声转换(SVC)、文本转音频(TTA)和文本转音乐(TTM)等功能。它支持多种神经声码器,并提供可视化模型架构,帮助用户快速掌握音频生成技术。通过统一框架和预训练模型,Amphion推动了音频生成领域的研究和应用发展。

Show

Show-o 是一款基于统一 Transformer 架构的多模态 AI 工具,集成了自回归和离散扩散建模技术,可高效处理视觉问答、文本到图像生成、图像修复与扩展以及混合模态生成等多种任务。其创新性技术显著提高了生成效率,减少了采样步骤,适用于社交媒体内容创作、虚拟助手、教育与培训、广告营销、游戏开发及影视制作等多个领域。

SaRA

SaRA是一种新型预训练扩散模型微调方法,通过重新激活预训练阶段未被充分使用的参数,有效提升模型的适应性和泛化能力。该方法支持核范数低秩稀疏训练,能够防止过拟合并优化模型性能,同时大幅降低计算资源需求。SaRA适用于多种应用场景,包括图像风格迁移、视频生成及下游数据集微调等,仅需少量代码调整即可实现高效微调。

MEXMA

MEXMA是一种由Meta AI研发的预训练跨语言句子编码器,通过结合句子级和词语级目标优化句子表示质量。它支持80种语言,广泛应用于跨语言信息检索、机器翻译、多语言文本分类、语义文本相似度评估及跨语言问答系统等领域,并展现出卓越的性能。

CDial

CDial-GPT是一项由清华大学研发的基于大型中文对话数据集LCCC的预训练对话生成模型。该模型提供LCCC-base和LCCC-large两个版本的数据集,并具备预训练、微调、多模态学习等功能,能够生成高质量的对话回应。其应用场景涵盖客户服务、智能助手、在线教育等多个领域。

NeMo

NeMo 是一款基于 NVIDIA 技术的端到端云原生框架,专为生成式 AI 模型的设计与部署而打造。它具备模块化架构、多模态支持、优化算法及分布式训练能力,可应用于语音识别、自然语言处理、文本到语音转换、对话式 AI 等多个领域,同时支持预训练模型微调和端到端开发流程,为企业提供高效灵活的解决方案。