标签: PDF提取工具

  • PDF文档一键批量提取工具

    款将PDF转化为机器可读格式的工具(如markdown、json),可以很方便地抽取为任意格式。 

    主要功能

    • 删除页眉、页脚、脚注、页码等元素,保持语义连贯
    • 对多栏输出符合人类阅读顺序的文本
    • 保留原文档的结构,包括标题、段落、列表等
    • 提取图像、图片标题、表格、表格标题
    • 自动识别文档中的公式并将公式转换成latex
    • 自动识别文档中的表格并将表格转换成latex
    • 乱码PDF自动检测并启用OCR
    • 支持CPU和GPU环境
    • 支持windows/linux/mac平台

    使用CPU快速体验(Windows,Linux,Mac)

    安装前必看——软硬件环境支持说明

    为了确保项目的稳定性和可靠性,我们在开发过程中仅对特定的软硬件环境进行优化和测试。这样当用户在推荐的系统配置上部署和运行项目时,能够获得最佳的性能表现和最少的兼容性问题。

    在非主线环境中,由于硬件、软件配置的多样性,以及第三方依赖项的兼容性问题,我们无法100%保证项目的完全可用性。因此,对于希望在非推荐环境中使用本项目的用户,我们建议先仔细阅读文档以及FAQ,大多数问题已经在FAQ中有对应的解决方案,除此之外我们鼓励社区反馈问题,以便我们能够逐步扩大支持范围。

    操作系统
    Ubuntu 22.04 LTSWindows 10 / 11macOS 11+
    CPUx86_64x86_64x86_64 / arm64
    内存大于等于16GB,推荐32G以上
    python版本3.10
    Nvidia Driver 版本latest(专有驱动)latestNone
    CUDA环境自动安装[12.1(pytorch)+11.8(paddle)]11.8(手动安装)+cuDNN v8.7.0(手动安装)None
    GPU硬件支持列表最低要求 8G+显存3060ti/3070/3080/3080ti/4060/4070/4070ti
    8G显存仅可开启lavout和公式识别加速
    None
    推荐配置 16G+显存3090/3090ti/4070tisuper/4080/4090
    16G及以上可以同时开启layout,公式识别和ocr加速

    安装教程

    安装magic-pdf,最新版本国内镜像源同步可能会有延迟,请耐心等待

    conda create -n MinerU python=3.10
    conda activate MinerU
    pip install magic-pdf[full]==0.7.0b1 --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple

    从 Hugging Face 下载模型

    使用Git LFS 从Hugging Face下载模型文件

    git lfs install # 安装 Git 大文件存储插件 (Git LFS) git lfs clone https://huggingface.co/opendatalab/PDF-Extract-Kit # 从 Hugging Face 下载 PDF-Extract-Kit 模型

    拷贝配置文件并进行配置

    在仓库根目录可以获得 magic-pdf.template.json 配置模版文件

    务必执行以下命令将配置文件拷贝到【用户目录】下,否则程序将无法运行

    windows的用户目录为 “C:\Users\用户名”, linux用户目录为 “/home/用户名”, macOS用户目录为 “/Users/用户名”

    cp magic-pdf.template.json ~/magic-pdf.json

    在用户目录中找到magic-pdf.json文件并配置”models-dir”为2. 下载模型权重文件中下载的模型权重文件所在目录

    务必正确配置模型权重文件所在目录的【绝对路径】,否则会因为找不到模型文件而导致程序无法运行

    windows系统中此路径应包含盘符,且需把路径中所有的"\"替换为"/",否则会因为转义原因导致json文件语法错误。

    例如:模型放在D盘根目录的models目录,则model-dir的值应为”D:/models”

    {
      // other config
      "models-dir": "D:/models",
      "table-config": {
            "is_table_recog_enable": false, // 表格识别功能默认是关闭的,如果需要修改此处的值
            "max_time": 400
        }
    }

    如何使用

    magic-pdf --help
    Usage: magic-pdf [OPTIONS]
    
    Options:
      -v, --version                display the version and exit
      -p, --path PATH              local pdf filepath or directory  [required]
      -o, --output-dir TEXT        output local directory
      -m, --method [ocr|txt|auto]  the method for parsing pdf.  
                                   ocr: using ocr technique to extract information from pdf,
                                   txt: suitable for the text-based pdf only and outperform ocr,
                                   auto: automatically choose the best method for parsing pdf
                                      from ocr and txt.
                                   without method specified, auto will be used by default. 
      --help                       Show this message and exit.
    
    
    ## show version
    magic-pdf -v
    
    ## command line example
    magic-pdf -p {some_pdf} -o {some_output_dir} -m auto

    例如:magic-pdf -p /Users/cavon/Downloads/文件.pdf -o /Usersx/xxx/Downloads/批处理 -m auto

    其中 {some_pdf} 可以是单个pdf文件,也可以是一个包含多个pdf文件的目录。 运行完命令后输出的结果会保存在{some_output_dir}目录下, 输出的文件列表如下:

    ├── some_pdf.md # markdown 文件
    ├── images # 存放图片目录
    ├── layout.pdf # layout 绘图
    ├── middle.json # minerU 中间处理结果
    ├── model.json # 模型推理结果
    ├── origin.pdf # 原 pdf 文件
    └── spans.pdf # 最小粒度的bbox位置信息绘图