微调

DELIFT

DELIFT是一种针对大型语言模型微调的数据优化算法,通过成对效用度量与次模优化技术,有效减少数据量需求,同时维持甚至提升模型性能。它适用于指令调优、任务特定微调及持续微调三个关键阶段,并具备高计算效率和广泛适用性,广泛应用于数据科学家、研究人员及教育工作者等领域。

LongRAG

LongRAG是一个专为长文本问答设计的双视角鲁棒检索增强生成框架,包含混合检索器、LLM增强信息提取器、CoT引导过滤器和LLM增强生成器。它通过整合全局上下文与细节信息,解决长文本中的复杂问答挑战,并在多个数据集上展现优异性能。此外,其自动化微调数据构建能力增强了模型的指令遵循能力和领域适用性。

SmolVLM

SmolVLM是一款由Hugging Face开发的轻量级视觉语言模型,专为设备端推理设计。该模型具有三个版本,包括SmolVLM-Base、SmolVLM-Synthetic和SmolVLM-Instruct,分别适用于不同的应用场景。SmolVLM借鉴了Idefics3的理念,采用SmolLM2 1.7B作为语言主干,并通过像素混洗技术提升视觉信息的压缩效率。其训练数据集包括Cauldron和

Amazon Nova

Amazon Nova是亚马逊云服务推出的一套强大的AI基础模型系列,涵盖文本、图像和视频生成等多个领域。其核心产品包括Amazon Nova Micro(专注文本处理)、Amazon Nova Lite(多模态低成本模型)、Amazon Nova Pro(多模态平衡型模型)、Amazon Nova Premier(复杂推理模型)、Amazon Nova Canvas(图像生成模型)和Amazon

Fox

Fox-1是一系列由TensorOpera开发的小型语言模型,基于大规模预训练和微调数据,具备强大的文本生成、指令遵循、多轮对话和长上下文处理能力。该模型在多个基准测试中表现出色,适用于聊天机器人、内容创作、语言翻译、教育辅助和信息检索等多种应用场景。

NVILA

NVILA是一款由NVIDIA开发的视觉语言模型,通过“扩展-压缩”策略优化处理高分辨率图像和长视频,兼具效率与准确性。它在图像和视频基准测试中表现优异,支持时间定位、机器人导航和医疗成像等应用场景,并通过参数高效微调和量化技术提升模型性能。未来将在GitHub和HuggingFace平台上开源。

Maya

Maya是一款开源多语言多模态模型,基于LLaVA框架开发,支持中文、法语、西班牙语等多种语言,专注于提升低资源语言的AI内容生成能力。它结合图像和文本数据,实现跨模态对齐和指令微调,广泛应用于跨语言内容理解、图像分析、教育和电子商务等领域。

Insight

Insight-V是一款由南洋理工大学、腾讯和清华大学联合研发的多模态大型语言模型,专为提升长链视觉推理能力而设计。该模型通过多智能体系统将任务分解为推理与总结两步,并采用两阶段训练流程优化性能。其渐进式数据生成和多粒度评估方法进一步提升了模型的推理精度,在多个视觉推理基准测试中表现出色。

BrushEdit

BrushEdit是一款基于多模态大型语言模型和双分支图像修复模型的先进图像编辑框架,支持用户通过自然语言指令进行自由形式的多轮交互式编辑操作。其核心功能包括指令引导的图像编辑、多轮交互式编辑、自由形式掩码编辑、背景与前景处理以及图像修复。该工具通过特征融合、零卷积层和混合微调策略,实现了对编辑区域的精准控制和背景的无缝衔接,适用于内容创作、影视修复、广告设计、社交媒体分享及电商产品图片优化等多个

MetaMorph

MetaMorph是一款基于多模态大模型的工具,通过Visual-Predictive Instruction Tuning(VPiT)技术实现文本和视觉token的生成。它在视觉理解和生成领域表现优异,能够克服其他生成模型的常见失败模式,同时有效处理专业术语和复杂语义问题。MetaMorph展示了统一建模方法的优势,支持多模态数据的高效处理,并在视觉生成与理解基准测试中取得竞争力表现。