架构

小浣熊AI助手

代码小浣熊Raccoon是商汤科技最新推出的一个智能AI编程助手和工具,由商汤自研的大模型驱动,支持多种编程语言和多项任务能力,可为开发人员带来全新的编程体验。

Faster Whisper

Faster Whisper 是一款基于 OpenAI Whisper 模型的高效语音识别工具,利用 CTranslate2 引擎显著提升转写速度并降低内存消耗。它支持多语言处理,可应用于实时语音转写、视频字幕生成、客户服务、医疗记录等领域。其核心技术包括 8 位量化、语音活动检测(VAD)及模型优化,同时提供灵活的 API 接口供开发者集成。

V-JEPA

创新的自监督学习模型,它通过预测视频帧的特征表示来学习视频的视觉表示。这种方法不仅能够处理视频内容,还能在图像任务上表现出色,具有广泛的应用潜力。

GameGen

GameGen-O 是一款基于 Transformer 架构的AI工具,专注于开放世界游戏视频的生成。它具备角色生成、环境构建、动作模拟及交互式控制等功能,通过两阶段训练方法提升了生成质量和灵活性,可应用于游戏原型设计、场景生成及开发辅助等领域,有助于降低开发成本并提高创作效率。

Llama Nemotron

Llama Nemotron是NVIDIA推出的推理模型系列,具备强大的复杂推理、多任务处理和高效对话能力,适用于企业级AI代理应用。模型基于Llama架构优化,采用神经架构搜索与知识蒸馏技术,提升计算效率。包含Nano、Super和Ultra三种版本,分别面向边缘设备、数据中心和高性能计算场景。广泛应用于科研、客服、医疗、物流和金融等领域。

Ming

Ming-Lite-Omni是蚂蚁集团开源的统一多模态大模型,基于MoE架构,支持文本、图像、音频和视频等多种模态的输入输出,具备强大的理解和生成能力。模型在多个任务中表现优异,如图像识别、视频理解、语音问答等,适用于OCR识别、知识问答、视频分析等多个领域。其高效处理能力和多模态交互特性,为用户提供一体化智能体验。

PengChengStarling

鹏城实验室开源的一款多语言语音识别系统开发工具包,PengChengStarling可以在统一的框架内处理多种语言语音输入,支持实时语音识别,边说边识别。

CogVideoX

CogVideoX是由智谱AI开发的开源AI视频生成模型,支持英文提示词生成6秒长、每秒8帧、分辨率为720x480的视频。它具备低显存需求、视频参数定制、3D Causal VAE技术和推理与微调功能。该模型采用基于Transformer的架构和3D Causal Variational Autoencoder技术,支持多阶段训练和自动及人工评估,适用于创意视频制作、教育材料、广告、游戏、电影编

Ruyi

Ruyi是一款基于DiT架构的图生视频大模型,支持多分辨率和多时长的视频生成,具有首帧、首尾帧控制、运动幅度调整及镜头方向控制等功能。它通过Casual VAE模块和Diffusion Transformer实现视频数据的压缩与生成,旨在降低动漫和游戏内容的开发周期和成本。目前,Ruyi-Mini-7B版本已开源。

MAGI

MAGI-1是一款由Sand AI开发的开源视频生成大模型,采用自回归架构,支持高效、高质量的视频生成,具备高分辨率输出、无限扩展能力和可控生成特性。适用于内容创作、影视制作、游戏开发等多个领域,技术上融合了自回归去噪、Transformer VAE、扩散模型等创新方法,提升生成效率与稳定性。