微调

乾元BigBangTransformer

BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。

Maya

Maya是一款开源多语言多模态模型,基于LLaVA框架开发,支持中文、法语、西班牙语等多种语言,专注于提升低资源语言的AI内容生成能力。它结合图像和文本数据,实现跨模态对齐和指令微调,广泛应用于跨语言内容理解、图像分析、教育和电子商务等领域。

Insight

Insight-V是一款由南洋理工大学、腾讯和清华大学联合研发的多模态大型语言模型,专为提升长链视觉推理能力而设计。该模型通过多智能体系统将任务分解为推理与总结两步,并采用两阶段训练流程优化性能。其渐进式数据生成和多粒度评估方法进一步提升了模型的推理精度,在多个视觉推理基准测试中表现出色。

Awesome LLM Apps

一个精选的LLM(大型语言模型)应用集合,汇集了使用OpenAI、Anthropic、Google、Gemini以及开源模型(如DeepSeek、Qwen或Llama)构建的LLM应用。

PUMA

PUMA是一款先进的多模态大型语言模型,专注于通过整合多粒度视觉特征提升视觉生成与理解能力。它支持文本到图像生成、图像编辑、条件图像生成及多粒度视觉解码等功能,适用于艺术创作、媒体娱乐、广告营销等多个领域,凭借其强大的多模态预训练和微调技术,成为多模态AI领域的前沿探索。

ReCapture

ReCapture是一种先进的视频处理技术,由谷歌与新加坡国立大学联合研发。它通过多视图扩散模型和点云渲染生成新视角视频,同时使用掩码视频微调技术优化视频质量,保留场景运动并补全不可见部分,广泛应用于电影制作、视频编辑、虚拟现实及新闻报道等领域。

BrushEdit

BrushEdit是一款基于多模态大型语言模型和双分支图像修复模型的先进图像编辑框架,支持用户通过自然语言指令进行自由形式的多轮交互式编辑操作。其核心功能包括指令引导的图像编辑、多轮交互式编辑、自由形式掩码编辑、背景与前景处理以及图像修复。该工具通过特征融合、零卷积层和混合微调策略,实现了对编辑区域的精准控制和背景的无缝衔接,适用于内容创作、影视修复、广告设计、社交媒体分享及电商产品图片优化等多个

AgentGen

AgentGen是一款由香港大学与微软联合研发的AI项目框架,旨在通过自动生成多样化环境和任务,显著提升大语言模型(LLM)的规划能力。其核心技术包括环境生成、任务生成和动态难度调节,支持零样本生成和指令微调,适用于机器人控制、智能家居等多个领域。

LongRAG

LongRAG是一个专为长文本问答设计的双视角鲁棒检索增强生成框架,包含混合检索器、LLM增强信息提取器、CoT引导过滤器和LLM增强生成器。它通过整合全局上下文与细节信息,解决长文本中的复杂问答挑战,并在多个数据集上展现优异性能。此外,其自动化微调数据构建能力增强了模型的指令遵循能力和领域适用性。

xGen

xGen-MM是一款由Salesforce开发的开源多模态AI模型,具备处理文本和图像等数据类型的能力。该模型通过学习大量图像和文字信息,在视觉语言任务中表现出色,并通过开源模型、数据集和微调代码库促进模型性能的提升。xGen-MM具有多模态理解、大规模数据学习、高性能生成、开源可访问和微调能力等特点。其应用场景广泛,包括图像描述生成、视觉问答、文档理解、内容创作和信息检索等。