数据集构建
HelloBench
HelloBench 是一款开源基准测试工具,专注于评估大型语言模型在长文本生成任务中的表现。它基于布鲁姆分类法设计了五个子任务,并采用 HelloEval 方法实现高效自动化评估。该工具支持多领域应用,包括模型开发、学术研究、产品测试等,同时揭示了现有模型在长文本生成中的局限性。
LongWriter
LongWriter是一款由清华大学与智谱AI合作开发的长文本生成模型,能够生成超过10,000字的连贯文本。该模型基于增强的长上下文大型语言模型,采用了直接偏好优化(DPO)技术和AgentWrite方法,能够处理超过100,000个token的历史记录。LongWriter适用于多种应用场景,包括学术研究、内容创作、出版行业、教育领域和新闻媒体等。
ImagePulse
ImagePulse是由魔搭社区推出的开源项目,专注于图像理解和生成模型的数据集支持。它通过将复杂任务拆解为“修改、添加、移除”“风格迁移”“人脸保持”等原子能力,构建专门的数据集,提升模型在特定任务上的性能。项目提供开源脚本,支持数据集的生成与扩展,并结合多种技术资源实现多模型协同,适用于艺术创作、视频制作、产品展示等多个领域。