评估

Sky

Sky-T1是由加州大学伯克利分校NovaSky团队开发的开源推理AI模型,具备高性价比和强大推理能力。其训练成本仅450美元,数据来源经过优化处理,可在数学、编程和科学领域表现出色。模型支持用户从零复现,适用于教育、科研及软件开发等场景。在MATH500和LiveCodeBench测试中,Sky-T1表现优于部分早期OpenAI模型,展现出良好的实用价值。

moonshot

moonshot-v1-vision-preview 是一款由月之暗面开发的多模态图像理解模型,具备精准的图像识别、OCR 文字识别和数据解析能力。支持 API 集成,适用于内容审核、文档处理、医学分析、智能交互等多个领域。模型可识别复杂图像细节、分析图表数据,并从美学角度进行图像评价,适合需要高效图像处理和智能交互的应用场景。

OmniThink.AI

OmniThink.AI是一款面向零售和消费品行业的AI平台,整合预测性与生成性AI技术,助力企业加速产品设计、营销及供应链管理。平台支持自然语言解释、全球数据模型、多系统集成,并提供可持续性评估与个性化推荐功能,提升运营效率与市场响应速度。

LalaEval

LalaEval是由香港中文大学与货拉拉数据科学团队联合开发的针对特定领域大语言模型的人类评估框架。它提供了一套完整的端到端评估流程,涵盖领域界定、能力指标构建、评测集生成、标准制定及结果分析。通过争议度与评分波动分析,有效减少主观误差,提升评估质量。该工具已在物流领域成功应用,并具备良好的跨领域扩展性,适用于企业内部模型优化与多场景评测。

HMA

HMA(Heterogeneous Masked Autoregression)是一种基于异构预训练和掩码自回归技术的机器人动作视频建模方法,支持离散与连续生成模式,可处理不同动作空间的异构性。该工具具备高效实时交互能力,广泛应用于视频模拟、策略评估、合成数据生成及模仿学习等领域,适用于机器人学习与控制任务,提升策略泛化与执行效率。

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。

AxBench

AxBench是斯坦福大学推出的语言模型可解释性评估框架,支持概念检测与模型转向任务。它通过合成数据生成训练集,评估模型对特定概念的识别能力和干预后的表现。提供统一的评估平台,支持多种控制方法,如提示、微调和稀疏自编码器,并采用多维评分机制,适用于AI安全、伦理及内容生成等场景。

Collaborative Gym

Collaborative Gym(Co-Gym)是一款支持人机协作的开发框架,具备异步交互、任务环境设计和多维评估功能。它通过模拟与真实环境支持开发者进行高效迭代与实际部署,适用于旅行规划、表格分析和文献综述等多种协作任务,提升人机协作效率与质量。

FoloUp

FoloUp 是一款开源的 AI 语音面试平台,能根据职位描述自动生成面试问题,并通过自然语言交互与候选人进行语音面试。系统支持实时分析、评分与报告生成,提供数据仪表盘用于跟踪候选人表现。平台支持一键分享、远程面试和批量招聘,结合语音识别、NLP 和安全数据管理技术,适用于多种招聘场景,提升招聘效率与质量。

Crawl4LLM

Crawl4LLM是由清华与CMU联合开发的智能爬虫系统,通过评估网页对大语言模型预训练的价值,提升数据获取效率。支持多种爬取模式,具备状态保存、数据可视化功能,并与DCLM框架兼容。采用多维度评分机制优化爬取策略,减少低价值内容抓取,降低对网站负担,适用于LLM预训练、数据集构建等场景。