基准测试
WorldSense
WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具，用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对，覆盖8大领域及26类认知任务，强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证，确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域，推动AI模型在多模态场景下的性能提升。
DeepSeek V3
DeepSeek V3是一款由幻方量化旗下的深度求索公司开源的AI模型，拥有6850亿参数，采用混合专家架构。它在多语言编程、长文本处理和对话交互方面表现出色，能够生成高质量代码、优化现有代码、协助调试、生成文本、分析文本、润色文本，并支持自然对话和多轮对话。此外，它在多个基准测试中表现出色，包括编程、数学、推理等领域。
AndroidLab
AndroidLab 是一款面向 Android 自主代理的训练与评估框架，集成了文本和图像模态操作环境，提供标准化的基准测试任务。它通过支持多种模型类型（LLMs 和 LMMs），覆盖九个应用场景的 138 项任务，有效提升了开源模型的性能。此外，AndroidLab 提供了丰富的评估指标和操作模式，助力研究者优化模型表现并推动开源解决方案的发展。
