AI项目与工具

OmniManip

OmniManip是由北京大学与智元机器人联合实验室开发的通用机器人操作框架,结合视觉语言模型与三维操作技术,实现机器人在非结构化环境中的任务执行。其核心为以对象为中心的交互基元表示法,支持零样本泛化、跨平台部署及大规模仿真数据生成。通过双闭环系统设计与任务分解机制,提升操作精度与适应性,适用于日常操作、工业自动化及服务机器人等场景。

Oracle

Oracle是一款由Flowith团队开发的AI代理工具,具备任务自主规划、多步骤分解、工具调用及自我优化能力。支持用户与AI协作,实时调整任务流程,适用于内容创作、深度调研、知识管理等多种场景。其ULTRA模式可处理复杂任务,同时提供流程回放和演示文稿生成功能,提升任务执行效率与用户体验。

Kimi

Kimi-VL是月之暗面推出的轻量级多模态视觉语言模型,支持图像、视频、文档等多种输入形式。其基于轻量级MoE架构和原生分辨率视觉编码器,具备强大的图像感知、数学推理和OCR能力。在长上下文(128K)和复杂任务中表现优异,尤其在多模态推理和长视频理解方面超越同类模型。适用于智能客服、教育、医疗、内容创作等多个领域。

TIP

TIP-I2V是一个包含大量真实文本和图像提示的数据集,专为图像到视频生成领域设计。它涵盖了超过170万个独特的提示,并结合多种顶级图像到视频生成模型生成的视频内容。该数据集支持用户偏好分析、模型性能评估以及解决错误信息传播等问题,有助于推动图像到视频生成技术的安全发展。

Awesome MCP Servers

Awesome MCP Servers 是一个开源项目,整合了超过 3000 个基于 Model Context Protocol (MCP) 的服务器资源,覆盖浏览器自动化、金融、游戏、安全、科研等多个领域。它支持本地和云部署,提供丰富的开发工具和社区支持,使 AI 模型能够高效调用外部数据和服务,提升应用灵活性与功能性。

Mooncake

Mooncake是一个以KVCache为中心的分布式大模型推理架构,由Kimi联合清华大学等机构开源。它通过分离预填充和解码阶段,有效利用GPU集群的其他资源,显著提升推理吞吐量,降低算力消耗,同时保持低延迟。Mooncake支持长上下文处理、负载均衡及过载管理,适用于多种应用场景,包括自然语言处理、语音识别、搜索引擎优化等,推动大模型技术的高效应用。

Chonkie

Chonkie是一款轻量级、高性能的RAG分块库,支持多种分块方法(基于Token、单词、句子和语义),适用于自然语言处理任务。它具备高效性能、广泛tokenizer支持及灵活的安装选项,适用于RAG应用、对话系统、文本摘要和机器翻译等场景。

Multimodal Live API

Multimodal Live API是谷歌推出的一种支持文本、音频和视频交互的AI接口,具备低延迟、实时双向通信和自然语言处理能力。它允许用户通过多种输入方式与AI互动,并支持会话记忆和外部功能调用,广泛应用于客户服务、在线教育、远程医疗、视频会议和娱乐等领域。

AutoTrain

AutoTrain是一款由Hugging Face开发的无代码平台,支持用户通过上传数据快速创建和部署定制化的AI模型。它涵盖多种机器学习任务,如文本分类、图像识别及表格数据分析,并提供自动化的数据预处理、分布式训练、超参数优化等功能,适用于自然语言处理、计算机视觉等多个领域。其核心优势在于简化了模型训练流程,使非技术人员也能高效构建高质量模型。 ---

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积(STC)连接器和音频分支,显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。