大规模数据

CCI 3.0

CCI 3.0是一项由智源研究院开发的大规模中文互联网语料库,包含1000GB主数据集及498GB高质量子集。该语料库覆盖新闻、社交媒体、博客等领域,数据规模较前代扩大近一倍,来源增至20余家机构。通过多维度标注与数据清洗技术,CCI 3.0筛选出高价值数据,适用于自然语言处理、大模型训练、知识图谱构建、内容推荐系统以及教育科研等多种应用场景。

OmniCorpus

OmniCorpus是上海人工智能实验室联合多家知名高校和研究机构共同创建的一个大规模多模态数据集,包含86亿张图像和16960亿个文本标记,支持中英双语。它通过整合来自网站和视频平台的文本和视觉内容,提供了丰富的数据多样性。OmniCorpus不仅规模庞大,而且数据质量高,适合多模态机器学习模型的训练和研究。它广泛应用于图像识别、视觉问答、图像描述生成和内容推荐系统等领域。