架构

Florence

Florence-2是微软Azure AI团队研发的多功能视觉模型,支持图像描述、目标检测、视觉定位和图像分割等功能。该模型基于Transformer架构,采用序列到序列学习方法,利用自注意力机制实现多模态信息融合。通过训练大规模数据集,Florence-2在多个应用场景中表现出色,包括图像和视频分析、内容审核、辅助驾驶、医疗影像分析以及零售和库存管理。

OuteTTS

OuteTTS是一款基于开源技术的文本到语音(TTS)工具,利用纯语言建模方法生成自然语音。它支持语音克隆和自定义说话人声音,具备音频标记化、CTC强制对齐和结构化提示创建等功能。OuteTTS与llama.cpp和GGUF格式兼容,适用于有声读物、智能客服、语音导航等多种应用场景。

Fluid

Fluid是一种基于连续标记和随机生成顺序的文本到图像生成模型,具有卓越的视觉表现力和全局结构捕捉能力。它通过自回归架构和Transformer模型,逐步预测序列中的下一个元素,构建与文本提示相匹配的高质量图像。Fluid在多个基准测试中取得了优异成绩,并广泛应用于艺术创作、媒体娱乐、广告营销等领域。

Jamba

Jamba是由AI21 Labs开发的基于Mamba架构的生产级别大语言模型,结合了结构化状态空间模型(SSM)和传统Transformer架构,具备高吞吐量和低内存占用的特点。Jamba拥有256K的上下文窗口,适用于处理长文本序列,并且以开放权重的形式发布,遵循Apache 2.0开源许可。该模型主要用于研究领域,未来将推出更安全的版本。

MAGI

MAGI-1是一款由Sand AI开发的开源视频生成大模型,采用自回归架构,支持高效、高质量的视频生成,具备高分辨率输出、无限扩展能力和可控生成特性。适用于内容创作、影视制作、游戏开发等多个领域,技术上融合了自回归去噪、Transformer VAE、扩散模型等创新方法,提升生成效率与稳定性。

豆包Seaweed

豆包Seaweed是一款基于Transformer架构的AI视频生成工具,支持文生视频和图生视频模式,能够生成高逼真度、细节丰富的视频内容,广泛应用于电商、文旅、教育等领域,大幅降低视频制作门槛,提升创作效率。

Ming

Ming-Lite-Omni是蚂蚁集团开源的统一多模态大模型,基于MoE架构,支持文本、图像、音频和视频等多种模态的输入输出,具备强大的理解和生成能力。模型在多个任务中表现优异,如图像识别、视频理解、语音问答等,适用于OCR识别、知识问答、视频分析等多个领域。其高效处理能力和多模态交互特性,为用户提供一体化智能体验。

Ruyi

Ruyi是一款基于DiT架构的图生视频大模型,支持多分辨率和多时长的视频生成,具有首帧、首尾帧控制、运动幅度调整及镜头方向控制等功能。它通过Casual VAE模块和Diffusion Transformer实现视频数据的压缩与生成,旨在降低动漫和游戏内容的开发周期和成本。目前,Ruyi-Mini-7B版本已开源。

Llama Nemotron

Llama Nemotron是NVIDIA推出的推理模型系列,具备强大的复杂推理、多任务处理和高效对话能力,适用于企业级AI代理应用。模型基于Llama架构优化,采用神经架构搜索与知识蒸馏技术,提升计算效率。包含Nano、Super和Ultra三种版本,分别面向边缘设备、数据中心和高性能计算场景。广泛应用于科研、客服、医疗、物流和金融等领域。

PengChengStarling

鹏城实验室开源的一款多语言语音识别系统开发工具包,PengChengStarling可以在统一的框架内处理多种语言语音输入,支持实时语音识别,边说边识别。