架构

豆包大模型1.5

豆包大模型1.5是字节跳动推出的高性能AI模型,采用大规模稀疏MoE架构,具备卓越的综合性能和多模态能力。支持文本、语音、图像等多种输入输出方式,适用于智能辅导、情感分析、文本与视频生成等场景。模型训练数据完全自主,性能优于GPT-4o和Claude 3.5 Sonnet等主流模型,且具备成本优势。

CDial

CDial-GPT是一项由清华大学研发的基于大型中文对话数据集LCCC的预训练对话生成模型。该模型提供LCCC-base和LCCC-large两个版本的数据集,并具备预训练、微调、多模态学习等功能,能够生成高质量的对话回应。其应用场景涵盖客户服务、智能助手、在线教育等多个领域。

MCP

MCP(Model Context Protocol)是一项由Anthropic开源的协议,专注于实现大型语言模型(LLM)与外部数据源和工具的无缝集成。其核心功能包括数据集成、工具集成、模板化交互、安全性、开发者支持及上下文维护,支持双向数据流并内置安全机制。MCP适用于AI驱动的集成开发环境、增强聊天界面、自定义AI工作流、ERP系统集成及CRM系统增强等场景。

HMA

HMA(Heterogeneous Masked Autoregression)是一种基于异构预训练和掩码自回归技术的机器人动作视频建模方法,支持离散与连续生成模式,可处理不同动作空间的异构性。该工具具备高效实时交互能力,广泛应用于视频模拟、策略评估、合成数据生成及模仿学习等领域,适用于机器人学习与控制任务,提升策略泛化与执行效率。

InternVL

InternVL是由上海人工智能实验室开发的多模态大模型,融合视觉与语言处理能力,支持图像、视频、文本等多种输入。其基于ViT-MLP-LLM架构,具备多模态理解、多语言处理、文档解析、科学推理等能力,广泛应用于视觉问答、智能客服、图像分析等领域。模型采用动态高分辨率与渐进式训练策略,提升处理效率与准确性。

Janus

Janus是一种由DeepSeek AI开发的自回归框架,专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能,支持多种输入模态如图像、文本等,并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力,适用于图像创作、自动标注、视觉问答等多个领域。

Agent Development Kit

Agent Development Kit(ADK)是谷歌推出的开源AI智能体开发工具,采用Python实现,支持多智能体架构和复杂任务编排。提供丰富的工具生态、灵活的工作流定义、流式交互支持及广泛的LLM兼容性,帮助开发者快速构建、测试和部署AI代理,提升系统效率与可扩展性。

VoiceCraft

VoiceCraft是一款开源的神经编解码器语言模型,专攻零样本语音编辑和文本到语音(TTS)任务。它采用Transformer架构,通过token重排过程结合因果掩蔽和延迟叠加技术,实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色,适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。

ConsisID

ConsisID是一款由北京大学和鹏城实验室开发的文本到视频生成工具,其核心技术在于通过频率分解保持视频中人物身份的一致性。该模型具备高质量视频生成能力、无需微调的特点以及强大的可编辑性,同时拥有优秀的泛化性能。其主要功能包括身份保持、高质量视频生成、文本驱动编辑以及跨领域人物处理,广泛应用于个性化娱乐、虚拟主播、影视制作、游戏开发及教育模拟等领域。

Open Avatar Chat

Open Avatar Chat是阿里开源的模块化实时数字人对话系统,支持低延迟交互与多模态输入输出。系统采用模块化架构,允许灵活配置语音识别、语言模型和语音合成等组件,兼容本地与云服务。支持2D/3D数字人渲染,适用于客户服务、教育、娱乐及企业应用等多个场景,为开发者提供高效、灵活的AI对话解决方案。