评估

scite

scite是一款利用深度学习技术的文献分析工具,具备智能引文分类、上下文分析及可视化引文网络等功能。它支持用户快速评估文献质量,追踪引用动态,适用于文献综述、研究验证及学术出版等场景。通过支持、反对和提及分类,scite显著提升了文献引用的效率和准确性,同时提供了强大的自定义面板和消息提醒功能。

Self

Self-Taught Evaluators是一种无需人工标注数据的模型评估框架,通过自我训练方式增强大型语言模型(LLM)的评估能力。其核心在于利用LLM生成对比输出并进行迭代优化,显著提升了模型评估的准确性,达到了与顶级奖励模型相媲美的效果,广泛适用于语言模型开发、内容评估、教育科研以及技术支持等领域。

LOKI

LOKI是一个由中山大学与上海AI实验室联合推出的合成数据检测基准,用于评估大型多模态模型在识别视频、图像、3D模型、文本及音频等多模态合成数据方面的性能。它包含超过18,000个问题,涵盖26个子类别,支持多层次标注和细粒度异常注释,并通过自然语言解释增强模型的可解释性。LOKI还通过对比多种开源和闭源模型的表现,揭示了这些模型在合成数据检测任务中的优势与不足。

模型判官

模型判官是一款基于Next.js构建的在线AI模型评测平台,支持多模型对比、自动评估与打分、实时流式响应及国际化设计。它通过并行处理、评判模型机制和评分算法,为用户提供高效、精准的AI模型推荐服务。适用于AI模型选择、教育研究、内容创作、客户服务以及语言翻译等多个场景。

CursorCore

CursorCore 是一款基于大型语言模型的编程辅助工具,通过对话式交互支持代码补全、修改和错误修复。它整合代码历史、上下文信息及用户指令,利用自动化数据生成管道和基准测试优化模型性能,适用于日常编码、代码审查、教学学习及遗留代码维护等多个场景。

MMSearch

MMSearch 是一款用于评估大型多模态模型(LMMs)搜索能力的基准测试工具,包含 MMSearch-Engine 框架和 MMSearch 测试集。其核心功能包括问题重构、网页排序和答案总结,通过多模态搜索能力评估提升 LMMs 的性能。实验结果显示 GPT-4o 在该测试中表现优异,且增加计算量比扩大模型规模更具优势。

HelloBench

HelloBench 是一款开源基准测试工具,专注于评估大型语言模型在长文本生成任务中的表现。它基于布鲁姆分类法设计了五个子任务,并采用 HelloEval 方法实现高效自动化评估。该工具支持多领域应用,包括模型开发、学术研究、产品测试等,同时揭示了现有模型在长文本生成中的局限性。

DataCamp

DataCamp 是一个在线学习平台,专注于数据科学、人工智能及编程技能的培养。它提供超过900门互动课程,支持浏览器内编程,具备技能评估与个性化学习路径推荐功能。通过该平台,用户可以提升职业技能并获取行业认证,广泛应用于企业培训、学术教育及个人职业转型等领域。

LongCite

LongCite是清华大学研发的一项旨在提升大型语言模型在长文本问答中可信度和可验证性的项目。它通过生成细粒度的句子级引用,帮助用户验证模型回答的准确性。LongCite包含LongBench-Cite评估基准、CoF自动化数据构建流程、LongCite-45k数据集,以及基于该数据集训练的模型。这些模型能够处理长文本内容,提供准确的问答服务,并附带可追溯的引用,增强信息的透明度和可靠性。

MMRole

MMRole是一个由中国人民大学高瓴人工智能学院研究团队开发的多模态角色扮演智能体(MRPA)框架。该框架通过整合图像和文本,使智能体能够以特定角色进行更为自然和沉浸式的对话。MMRole框架包括一个大规模、高质量的多模态数据集和一个全面的评估方法,用于开发和评估MRPAs的性能。该框架为创建能够理解和生成与图像相关对话内容的智能体提供了新的可能,并扩展了其在教育、娱乐、客户服务、社交模拟和内容创