评估

FullStack Bench

FullStack Bench是一款由字节跳动与M-A-P社区联合推出的专业代码评估工具,主要针对全栈编程和多语言编程能力进行评估。它包含11种真实编程场景、3374个问题以及16种编程语言,具备全面评估、多语言支持、实际场景模拟、代码质量控制等特点,适用于代码智能评估、教育与培训、研究开发、软件测试及多语言编程能力评估等多个场景。

FlagEval

FlagEval作为一个专业的语言模型评估平台,为用户提供了一个可靠、标准化的评测环境。通过这个平台,研究人员和开发者可以全面了解模型的性能,推动语言模型技术的不断进步和创新。

智能文档处理“百宝箱”

智能文档处理“百宝箱”是一款专注于文档解析的专业化工具,能够支持批量处理、多版式兼容,并具备高精度解析能力。其核心功能包括文档解析可视化、关键信息提取、解析效果评估等,广泛应用于企业文档管理、法律事务、金融数据分析、医疗记录处理及教育资源整合等领域,旨在优化各行业的文档处理流程,提升工作效率与准确性。

TryOffDiff

TryOffDiff是一种基于扩散模型的虚拟试穿技术,通过高保真服装重建实现从单张穿着者照片生成标准化服装图像的功能。它能够精确捕捉服装的形状、纹理和复杂图案,并在生成模型评估和高保真重建领域具有广泛应用潜力,包括电子商务、个性化推荐、时尚设计展示及虚拟时尚秀等场景。

MagicSchool AI

MagicSchool AI 是一款利用生成式AI的工具,旨在帮助教师在课堂中应用生成式AI。

Sitespeak.ai

SiteSpeakAI可以通过使用您网站的内容、文档、知识自定义 AI 聊天机器人,训练一个可以回答你产品和服务的24/7 全天候实时提供服务的聊天机器人。

SocioVerse

SocioVerse是由复旦大学等机构联合开发的社会模拟平台,基于大语言模型和1000万真实用户数据构建与现实对齐的模拟环境。系统包含社会环境、用户引擎、场景引擎和行为引擎四大模块,支持多场景应用,如政治选举预测、新闻传播分析、经济调查和政策评估。它能够模拟群体行为,预测事件趋势,为社会科学研究提供高效工具。

Promptim

Promptim是一款实验性的AI提示优化工具,旨在通过自动化优化循环提升AI系统在特定任务中的表现。其主要功能包括自动化提示优化、自定义评估器集成、人工反馈循环及多轮优化。Promptim支持文本生成、对话系统、机器翻译、情感分析和教育等多个应用场景,通过数据驱动的优化方法和元提示策略,帮助用户快速生成更高效的提示,显著提升AI系统的性能。

VideoPhy

VideoPhy是一款由UCLA和谷歌研究院联合开发的基准测试工具,旨在评估视频生成模型的物理常识能力。它包含688条描述性字幕,通过人类和自动评估方式,衡量生成视频是否符合物理规则。VideoPhy不仅揭示了现有模型的不足,还推出了自动评估工具VideoCon-Physics,以推动模型性能的提升。其应用场景广泛,包括视频生成模型开发、计算机视觉研究、教育与培训以及娱乐产业等。

PromptBench

一个基于 Pytorch 的 Python 包,用于评估和理解大型语言模型的统一库。它为研究人员提供了用户友好的 API,以便对 LLM 进行评估。