评估

braintrust

Braintrust 是一个端到端的 AI 工具平台,专注于通过迭代式的工作流帮助公司快速构建高效的 AI 应用。它提供了强大的提示调整、评分器配置及数据集管理功能,支持从模型评估到质量控制的全流程优化。此外,Braintrust 的直观界面和代码库集成特性使其适用于各类用户群体,广泛应用于 AI 产品开发、模型评估、质量控制及数据集构建等领域。

Gemma 2

Gemma 2是一款由谷歌DeepMind开发的开源人工智能模型,提供90亿和270亿参数版本。它具有卓越的性能、高效的推理速度和广泛的硬件兼容性,适用于各种应用场景。Gemma 2不仅支持多种AI框架,还提供了丰富的资源和工具,以支持开发者和研究人员负责任地构建和部署AI。

CursorCore

CursorCore 是一款基于大型语言模型的编程辅助工具,通过对话式交互支持代码补全、修改和错误修复。它整合代码历史、上下文信息及用户指令,利用自动化数据生成管道和基准测试优化模型性能,适用于日常编码、代码审查、教学学习及遗留代码维护等多个场景。

MME

MME-CoT 是一个用于评估大型多模态模型链式思维推理能力的基准测试框架,涵盖数学、科学、OCR、逻辑、时空和一般场景六大领域,包含1,130个问题,每题均附关键推理步骤和图像描述。该框架引入推理质量、鲁棒性和效率三大评估指标,全面衡量模型推理能力,并揭示当前模型在反思机制和感知任务上的不足,为模型优化和研究提供重要参考。

唤醒食物

唤醒食物是一个基于AI技术的个性化食疗方案平台。它提供1781种食物的营养成分查询,科学食疗方案以及补充剂的真实作用评估。平台还提供食物对比工具和营养速查榜,帮助用户优化饮食计划。此外,唤醒食物还提供全球健康资讯,旨在助力用户的健康管理。

GTA

GTA是一项由上海交通大学与上海AI实验室合作研发的基准测试,专注于评估大型语言模型在真实世界环境中的工具调用能力。它包含229个精心设计的问题,涉及多个领域,并通过多模态输入输出和细粒度评估指标,全面衡量模型的工具使用效率与准确性。GTA可应用于智能助理开发、多模态交互、自动化客户服务、教育及科研等多个领域,助力提升人工智能系统的综合性能。

SimpleQA

SimpleQA是OpenAI开发的一个基准测试工具,用于评估大型语言模型在回答简短、事实性问题时的表现。它包含4326个问题,每个问题都有唯一的正确答案,并通过严格的验证流程确保质量。SimpleQA不仅能够测试模型的事实性回答能力,还能衡量其自我认知水平和校准能力,广泛应用于模型开发、学术研究及教育工具等领域。

Self

Self-Taught Evaluators是一种无需人工标注数据的模型评估框架,通过自我训练方式增强大型语言模型(LLM)的评估能力。其核心在于利用LLM生成对比输出并进行迭代优化,显著提升了模型评估的准确性,达到了与顶级奖励模型相媲美的效果,广泛适用于语言模型开发、内容评估、教育科研以及技术支持等领域。

知闻AI

一个基于AI的新闻聚合平台,只要为用户提供经过筛选和整理的高质量新闻内容,知闻AI通过分析大量新闻源,过滤掉低质量或不可信的信息,确保用户获取到的是准确、及时的新闻。

ChatLaw

ChatLaw是一款针对中文法律领域的大型语言模型,它通过定制化的设计和智能分析功能,为法律专业人士提供了一个强大的工具。