NVIDIA

NVIDIA-Ingest是什么

NVIDIA-Ingest 是英伟达推出的一款开源微服务工具，旨在高效解析复杂且非结构化的PDF及其他企业文档。该工具能够将文档内容转化为元数据和文本，便于后续在检索系统中使用。NVIDIA-Ingest 支持多种文档格式，包括 PDF、Word、PowerPoint 和图像文件，并提供不同的提取方式，以适应不同场景下的吞吐量与准确性的需求。它还支持预处理和后处理功能，如文本分割、转换、过滤、嵌入生成和图像存储。通过并行化处理机制，NVIDIA-Ingest 提升了文档解析效率，并可将提取结果集成到 Milvus 等向量数据库中，适用于大规模文档处理及生成式 AI 应用。

NVIDIA-Ingest的主要功能

• 多格式文档支持：支持解析 PDF、Word (Docx)、PowerPoint (Pptx) 和图像等多种复杂的企业文档格式。
• 多方法提取：提供多种提取方式，可根据实际需求在吞吐量与准确性之间进行权衡。例如，PDF 文档可采用 pdfium、Unstructured.io 或 Adobe Content Extraction Services 进行处理。
• 内容分类与提取：对文档内容进行分类，如文本、表格、图表和图像，并分别提取。利用 OCR 技术对图像内容进行识别和上下文化处理，最终输出结构化的 JSON 格式。
• 并行处理：支持将文档拆分为多个页面，并行执行内容提取操作，从而提升整体处理效率。
• 预处理和后处理：提供丰富的预处理和后处理选项，包括文本分块、内容转换、过滤、嵌入生成以及图像存储。

NVIDIA-Ingest的技术原理

• 微服务架构：采用模块化设计，每个微服务负责特定任务，如文本、图像或表格的提取，增强了系统的可扩展性与灵活性。
• GPU 加速：依托 NVIDIA 的 GPU 技术（如 H100 和 A100），显著提升文档解析与内容提取的速度，尤其适用于大规模数据处理。
• 光学字符识别（OCR）：集成多种 OCR 引擎，如 PaddleOCR，提高图像和表格内容的识别精度与处理效率。

NVIDIA-Ingest的项目地址

• GitHub仓库：https://github.com/NVIDIA/nv-ingest

NVIDIA-Ingest的应用场景

• 企业内容管理：将纸质文档、PDF、Word 和 PowerPoint 文件转换为结构化数字格式，便于搜索与协作。
• 智能客服系统：自动解析用户上传的文档，提取关键信息，辅助生成自动化回复。
• 法律和合规领域：用于合同与法律文件的解析，提取关键条款，支持合规审查与风险评估。
• 金融行业：处理财务报告、合同等文档，提取关键数据，支撑风险评估与尽职调查。
• 医疗保健：将病历文档转化为结构化数据，支持电子病历管理与临床研究。