评估

SuperGPQA

SuperGPQA是由字节跳动豆包团队与M-A-P联合开发的知识推理基准测试集,覆盖285个研究生级学科,包含26529道题目。其核心功能是评估大语言模型的泛化能力和真实推理水平,42.33%的题目涉及数学计算或形式推理。该测试集采用专家与大语言模型协同构建的方式,确保题目质量,并涵盖STEM与非STEM领域,填补了长尾学科评估的空白。适用于模型性能评估、优化指导及跨学科研究等多种应用场景。

PickFu

一个即时在线市场调研工具,专为创意人士和电商卖家设计。PickFu特别适用于亚马逊等电商平台的A/B测试,帮助卖家优化产品图片、标题等,从而提升产品的市场竞争力

HIRING.STUDIO

HIRING.STUDIO是一款基于AI技术的面试问题生成平台,专注于优化招聘流程。其核心功能包括智能生成职位相关问题、提供后续问题建议、生成评估标准以及支持多种答案评估模式(如STAR方法)。该工具不仅提升了面试准备的效率和一致性,还增强了面试官对候选人的评价客观性,适用于技术面试、行为面试及团队协作场景,尤其适合校园招聘和远程面试等多样化招聘需求。

LongReward

LongReward是一种由清华大学、中国科学院及智谱AI联合开发的AI工具,专注于通过多维度评估(有用性、逻辑性、忠实性和完整性)来优化长文本大型语言模型的表现。它利用现成的语言模型提供奖励信号,并结合强化学习算法改善模型性能,特别擅长处理复杂长文本任务,如文档理解、摘要生成及特定领域的数据分析,如法律、金融和医疗。

VE

VE-Bench是北京大学MMCAL团队研发的一款视频编辑质量评估工具,包含数据库(VE-Bench DB)和量化评估模块(VE-Bench QA)。它综合考虑了视觉质量、文本-视频一致性及源视频与编辑后视频的动态关联性,旨在实现与人类感知一致的精准评估。适用于电影制作、短视频优化、广告行业等多个领域。

potis.ai

Potis.ai 是一款基于 AI 技术的招聘平台,通过自动化行为面试、智能面试协助和人才评分系统,帮助企业提升招聘效率,降低时间和成本支出。平台支持无缝集成至现有流程,提供详尽的候选人反馈和团队协作优化功能,适用于远程招聘、大规模招聘及技术岗位评估等多种场景。

AndroidLab

AndroidLab 是一款面向 Android 自主代理的训练与评估框架,集成了文本和图像模态操作环境,提供标准化的基准测试任务。它通过支持多种模型类型(LLMs 和 LMMs),覆盖九个应用场景的 138 项任务,有效提升了开源模型的性能。此外,AndroidLab 提供了丰富的评估指标和操作模式,助力研究者优化模型表现并推动开源解决方案的发展。

Collaborative Gym

Collaborative Gym(Co-Gym)是一款支持人机协作的开发框架,具备异步交互、任务环境设计和多维评估功能。它通过模拟与真实环境支持开发者进行高效迭代与实际部署,适用于旅行规划、表格分析和文献综述等多种协作任务,提升人机协作效率与质量。

North

North 是 Cohere 推出的企业级 AI 工作平台,提供安全、高效的 AI 解决方案,支持私有云或本地部署。内置 Compass 搜索系统,可处理多种数据类型并支持多语言,提升任务效率。平台集成了高性能语言模型和自动化工具,适用于金融、医疗等行业,可用于风险评估、客户支持、疾病诊断、药物研发等多个场景,增强企业智能化水平。

CAR

CAR(Certainty-based Adaptive Reasoning)是字节跳动联合复旦大学推出的自适应推理框架,旨在提升大型语言模型(LLM)和多模态大型语言模型(MLLM)的推理效率与准确性。该框架通过动态切换短答案和长形式推理,根据模型对答案的置信度(PPL)决定是否进行详细推理,从而在保证准确性的同时节省计算资源。CAR适用于视觉问答(VQA)、关键信息提取(KIE)等任务,在数学