模型

Liquid

Liquid是由华中科技大学、字节跳动和香港大学联合开发的多模态生成框架,通过VQGAN将图像编码为离散视觉token并与文本共享词汇空间,使大型语言模型无需修改结构即可处理视觉任务。该框架降低训练成本,提升视觉生成与理解性能,并在多模态任务中表现出色。支持图像生成、视觉问答、多模态融合等应用,适用于创意设计、内容创作及智能交互等领域。

DreamO

DreamO是由字节跳动与北京大学联合开发的图像定制生成框架,基于扩散变换器(DiT)模型实现多条件图像生成。支持身份、风格、背景等条件的灵活集成,具备高质量生成、条件解耦和精准控制能力。适用于虚拟试穿、风格迁移、主体驱动生成等多种场景,具备广泛的适用性和技术先进性。

LayerDiffusion

LayerDiffusion是一种创新的AI工具,利用大规模预训练的潜在扩散模型生成具有透明度的图像。该技术引入了“潜在透明度”的概念,将图像的alpha通道透明度信息编码到潜在空间中。LayerDiffusion不仅可以生成单个透明图像,还能生成多个透明图层,支持条件控制生成和图层内容结构控制,确保高质量的图像输出。此外,它还能够生成多个透明图层,并通过共享注意力机制和低秩适应确保图层间的和谐混

OpenR

OpenR是一个由多家知名高校联合开发的开源框架,专注于通过强化学习和搜索技术提升大型语言模型的推理能力。它集成了数据获取、强化学习训练及非自回归解码功能,支持多种搜索算法和在线强化学习训练,能够有效提高模型的推理效率和精度。同时,其自动化数据处理能力减少了人工标注的需求,适用于数学问题求解、代码生成、自然语言处理等多种应用场景。

FlexTok

FlexTok 是由EPFL与苹果联合开发的图像处理技术,通过将图像转为离散标记序列实现高效压缩与生成。支持8K视频实时渲染,压缩率提升300%,功耗降低45%。具备无损超分辨率重建和灵活图像生成能力,适用于智能家居、安防监控及移动设备等场景。

MinT

MinT是一款基于时间基位置编码技术的多事件视频生成框架,允许用户通过文本提示生成包含多个事件的连贯视频,并支持对事件顺序及持续时间的精确控制。其核心技术ReRoPE使得模型能够有效关联文本提示与视频帧,同时结合预训练的视频扩散变换器(DiT)和大型语言模型(LLM)的提示增强功能,进一步提升了视频生成的质量与丰富度。MinT适用于娱乐、广告、教育等多个领域,为视频创作带来了创新性的解决方案。

DrivingDojo

DrivingDojo是一个由中国科学院自动化研究所与美团无人车团队合作研发的数据集,包含18,000个视频片段,涵盖全面的驾驶操作、多智能体交互及开放世界驾驶知识。它定义了动作指令跟随(AIF)基准,用于评估世界模型的预测能力,并支持自动驾驶算法开发、世界模型训练、多智能体交互模拟及罕见事件处理等多个应用场景。

CoA

CoA是由谷歌开发的多智能体协作框架,用于解决大语言模型在处理长文本任务时的上下文限制问题。它将长文本分割成多个片段,由多个智能体依次处理并通过链式通信传递关键信息,最终由管理智能体整合生成结果。该框架无需额外训练,支持多种任务类型,如问答、摘要和代码补全,且具有高效性和可扩展性。其时间复杂度优化显著提升了处理长文本的效率。