百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

使用GPT-4o将 PDF 解析为 Markdown 的工具,实现pdf转word完美转档

yuyutoo 2025-01-21 22:38 4 浏览 0 评论

仅293行代码,它可以几乎完美地解析任何PDF文件,包括排版、数学公式、表格、图片和图表等内容,平均每页成本为 $0.013,如果有免费的api,那就是零成本。

工作原理:使用PyMuPDF库,首先对PDF进行解析出所有非文本区域,并做好标记 然后使用GPT-4o进行解析,得到markdown文件。

项目名称:gptpdf[1]

主程序

def parse_pdf(pdf_path, output_dir='./', api_key=None, base_url=None, model='gpt-4o', verbose=False, gpt_worker=1):
    
    """
    解析PDF文件到markdown文件
    :param pdf_path: pdf文件路径
    :param output_dir: 输出目录。存储所有的图片和markdown文件
    :param api_key: OpenAI API Key(可选)。如果未提供,则使用OPENAI_API_KEY环境变量。
    :param base_url: OpenAI Base URL。(可选)。如果未提供,则使用OPENAI_BASE_URL环境变量。
    :param model: OpenAI Vison LLM Model,默认为'gpt-4o'。您还可以使用qwen-vl-max
    :param verbose: 详细模式,默认为False
    :param gpt_worker: gpt解析工作线程数,默认为1
    :return: (content, all_rect_images), markdown内容,带有![](path/to/image.png) 和 所有矩形图像(图像、表格、图表等)路径列表。
    """
    import os
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    image_infos = _parse_pdf_to_images(pdf_path, output_dir=output_dir)
    content = _gpt_parse_images(image_infos, output_dir=output_dir, api_key=api_key, base_url=base_url, model=model, verbose=verbose, gpt_worker=gpt_worker)

    # 删除每页的图片 & 保留所有的矩形图片
    all_rect_images = []
    for page_image, rect_images in image_infos:
        if os.path.exists(page_image):
            os.remove(page_image)
        all_rect_images.extend(rect_images)
    
    return content, all_rect_images

用法

python环境下直接安装gptpdf:

pip install gptpdf

在代码中直接导入parse_pdf,输入参数包括,输入pdf文件,gpt api等,其他参数可以缺省。

import os
# laod environment variables from .env file
import dotenv
dotenv.load_dotenv()

def test_use_api_key():
    from gptpdf import parse_pdf
    pdf_path = '../examples/attention_is_all_you_need.pdf'
    output_dir = '../examples/attention_is_all_you_need/'
    api_key = os.getenv('OPENAI_API_KEY')
    base_url = os.getenv('OPENAI_API_BASE')
    # Manually provide OPENAI_API_KEY and OPEN_API_BASE
    content, image_paths = parse_pdf(pdf_path, output_dir=output_dir, api_key=api_key, base_url=base_url, model='gpt-4o', gpt_worker=6)
    print(content)
    print(image_paths)
    # also output_dir/output.md is generated

if __name__ == '__main__':
    test_use_api_key()
    # test_use_env()

如果使用代理api可以参数上加上base_url。

示例

原文件为:

解析出markdown格式为:

解析出markdown文件基本准确,可用性较高。

测试

在cnki下一篇文章,通过它来解析:

整体识别还是比较不错,个别地方是给出整张图片,没有解析文字。这个距离pdf转word已经很近了,可以直接把markdown转doc。

markdown转doc

直接把markdown转成doc完成最后一步:

def markdown_to_docx(markdown_file, output_file):
    # 读取Markdown文件内容,指定编码为GB2312
    with open(markdown_file, 'r', encoding='gb2312') as f:
        markdown_text = f.read()
    # 使用mistune解析Markdown文本
    html = mistune.markdown(markdown_text)

    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(html, 'html.parser')

    # 创建一个新的docx文档
    doc = Document()

    # 递归解析HTML并添加到docx文档中
    def parse_html(element, parent):
        if isinstance(element, NavigableString):
            # 为纯文本创建一个段落并添加文本
            new_paragraph = parent.add_paragraph()
            new_paragraph.add_run(str(element))
        elif element.name in ['h1', 'h2', 'h3', 'h4', 'h5', 'h6']:
            # 添加标题
            heading_level = int(element.name[1])  # heading level 1-6
            new_paragraph = parent.add_heading(element.text.strip(), level=heading_level)
        elif element.name == 'p':
            # 添加段落
            new_paragraph = parent.add_paragraph(element.text)
            # 遍历段落内的img标签并处理图片
            for img in element.find_all('img'):
                img_src = img.get('src')
                if img_src:
                    img_full_path = os.path.join(os.path.dirname(markdown_file), img_src)
                    if os.path.exists(img_full_path):
                        try:
                            # 添加图片到段落中
                            run = new_paragraph.add_run()
                            run.add_picture(img_full_path, width=Inches(4))
                        except Exception as e:
                            print(f"Error adding image: {e}")
                    else:
                        print(f"Warning: Image file '{img_full_path}' not found.")
        elif element.name in ['ul', 'ol']:
            # 添加列表项
            bullet_style = 'ListBullet' if element.name == 'ul' else 'ListNumber'
            for li in element.find_all('li'):
                new_paragraph = parent.add_paragraph(li.text.strip(), style=bullet_style)
        else:
            # 递归处理其他元素
            for child in element.children:
                parse_html(child, parent)

    # 遍历soup的子元素并解析
    for element in soup.children:
        parse_html(element, doc)
    # 保存docx文档
    doc.save(output_file)

转成word最后的效果:

现在的问题是word文档有好多空行,还有一些表,它把表以图的形式放在文档中,又通过gpt转成了表,后续作者优化应该可以解决。

脚本下载

如果上github不方便,可以后台回复gptpdf获取作者的代码,以及markdown转word部分代码。

相关推荐

.NET 奇葩问题调试经历之3——使用了grpc通讯类库后,内存一直增长......

...

全局和隐式 using 指令详解(全局命令)

1.什么是全局和隐式using?在.NET6及更高版本中,Microsoft引入了...

请停止微服务,做好单体的模块化才是王道:Spring Modulith介绍

1、介绍模块化单体是一种架构风格,代码是根据模块的概念构成的。对于许多组织而言,模块化单体可能是一个很好的选择。它有助于保持一定程度的独立性,这有助于我们在需要的时候轻松过渡到微服务架构。Spri...

ASP.NET程序集引用之痛:版本冲突、依赖地狱等解析与实战

我是一位多年后端经验的工程师,其中前几年用ASP.NET...

.NET AOT 详解(.net 6 aot)

简介AOT(Ahead-Of-TimeCompilation)是一种将代码直接编译为机器码的技术,与传统的...

一款基于Yii2开发的免费商城系统(一款基于yii2开发的免费商城系统是什么)

哈喽,我是老鱼,一名致力于在技术道路上的终身学习者、实践者、分享者!...

asar归档解包(游戏arc文件解包)

要学习Electron逆向,首先要有一个Electron开发的程序的发布的包,这里就以其官方的electron-quick-start作为例子来进行一下逆向的过程。...

在PyCharm 中免费集成Amazon CodeWhisperer

CodeWhisperer是Amazon发布的一款免费的AI编程辅助小工具,可在你的集成开发环境(IDE)中生成实时单行或全函数代码建议,帮助你快速构建软件。简单来说,AmazonCodeWhi...

2014年最优秀JavaScript编辑器大盘点

1.WebstormWebStorm是一种轻量级的、功能强大的IDE,为Node.js复杂的客户端开发和服务器端开发提供完美的解决方案。WebStorm的智能代码编辑器支持JavaScript,...

基于springboot、tio、oauth2.0前端vuede 超轻量级聊天软件分享

项目简介:基于JS的超轻量级聊天软件。前端:vue、iview、electron实现的PC桌面版聊天程序,主要适用于私有云项目内部聊天,企业内部管理通讯等功能,主要通讯协议websocket。支持...

JetBrains Toolbox推出全新产品订阅授权模式

捷克知名软件开发公司JetBrains最为人所熟知的产品是Java编程语言开发撰写时所用的集成开发环境IntelliJIDEA,相信很多开发者都有所了解。而近期自2015年11月2日起,JetBr...

idea最新激活jetbrains-agent.jar包,亲测有效

这里分享一个2019.3.3版本的jetbrains-agent.jar,亲测有效,在网上找了很多都不能使用,终于找到一个可以使用的了,这里分享一下具体激活步骤,此方法适用于Jebrains家所有产品...

CountDownTimer的理解(countdowntomars)

CountDownTimer是android开发常用的计时类,按照注释中的说明使用方法如下:kotlin:object:CountDownTimer(30000,1000){...

反射为什么性能会很慢?(反射时为什么会越来越长)

1.背景前段时间维护一个5、6年前的项目,项目总是在某些功能使用上不尽人意,性能上总是差一些,仔细过了一下代码发现使用了不少封装好的工具类,工具类里面用了好多的反射,反射会影响到执行效率吗?盲猜了一...

btrace 开源!基于 Systrace 高性能 Trace 工具

介绍btrace(又名RheaTrace)是抖音基础技术团队自研的一款高性能AndroidTrace工具,它基于Systrace实现,并针对Systrace不足之处加以改进,核心改进...

取消回复欢迎 发表评论: