使用GPT-4o将 PDF 解析为 Markdown 的工具,实现pdf转word完美转档
yuyutoo 2025-01-21 22:38 2 浏览 0 评论
仅293行代码,它可以几乎完美地解析任何PDF文件,包括排版、数学公式、表格、图片和图表等内容,平均每页成本为 $0.013,如果有免费的api,那就是零成本。
工作原理:使用PyMuPDF库,首先对PDF进行解析出所有非文本区域,并做好标记 然后使用GPT-4o进行解析,得到markdown文件。
项目名称:gptpdf[1]
主程序
def parse_pdf(pdf_path, output_dir='./', api_key=None, base_url=None, model='gpt-4o', verbose=False, gpt_worker=1):
"""
解析PDF文件到markdown文件
:param pdf_path: pdf文件路径
:param output_dir: 输出目录。存储所有的图片和markdown文件
:param api_key: OpenAI API Key(可选)。如果未提供,则使用OPENAI_API_KEY环境变量。
:param base_url: OpenAI Base URL。(可选)。如果未提供,则使用OPENAI_BASE_URL环境变量。
:param model: OpenAI Vison LLM Model,默认为'gpt-4o'。您还可以使用qwen-vl-max
:param verbose: 详细模式,默认为False
:param gpt_worker: gpt解析工作线程数,默认为1
:return: (content, all_rect_images), markdown内容,带有 和 所有矩形图像(图像、表格、图表等)路径列表。
"""
import os
if not os.path.exists(output_dir):
os.makedirs(output_dir)
image_infos = _parse_pdf_to_images(pdf_path, output_dir=output_dir)
content = _gpt_parse_images(image_infos, output_dir=output_dir, api_key=api_key, base_url=base_url, model=model, verbose=verbose, gpt_worker=gpt_worker)
# 删除每页的图片 & 保留所有的矩形图片
all_rect_images = []
for page_image, rect_images in image_infos:
if os.path.exists(page_image):
os.remove(page_image)
all_rect_images.extend(rect_images)
return content, all_rect_images
用法
python环境下直接安装gptpdf:
pip install gptpdf
在代码中直接导入parse_pdf,输入参数包括,输入pdf文件,gpt api等,其他参数可以缺省。
import os
# laod environment variables from .env file
import dotenv
dotenv.load_dotenv()
def test_use_api_key():
from gptpdf import parse_pdf
pdf_path = '../examples/attention_is_all_you_need.pdf'
output_dir = '../examples/attention_is_all_you_need/'
api_key = os.getenv('OPENAI_API_KEY')
base_url = os.getenv('OPENAI_API_BASE')
# Manually provide OPENAI_API_KEY and OPEN_API_BASE
content, image_paths = parse_pdf(pdf_path, output_dir=output_dir, api_key=api_key, base_url=base_url, model='gpt-4o', gpt_worker=6)
print(content)
print(image_paths)
# also output_dir/output.md is generated
if __name__ == '__main__':
test_use_api_key()
# test_use_env()
如果使用代理api可以参数上加上base_url。
示例
原文件为:
解析出markdown格式为:
解析出markdown文件基本准确,可用性较高。
测试
在cnki下一篇文章,通过它来解析:
整体识别还是比较不错,个别地方是给出整张图片,没有解析文字。这个距离pdf转word已经很近了,可以直接把markdown转doc。
markdown转doc
直接把markdown转成doc完成最后一步:
def markdown_to_docx(markdown_file, output_file):
# 读取Markdown文件内容,指定编码为GB2312
with open(markdown_file, 'r', encoding='gb2312') as f:
markdown_text = f.read()
# 使用mistune解析Markdown文本
html = mistune.markdown(markdown_text)
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html, 'html.parser')
# 创建一个新的docx文档
doc = Document()
# 递归解析HTML并添加到docx文档中
def parse_html(element, parent):
if isinstance(element, NavigableString):
# 为纯文本创建一个段落并添加文本
new_paragraph = parent.add_paragraph()
new_paragraph.add_run(str(element))
elif element.name in ['h1', 'h2', 'h3', 'h4', 'h5', 'h6']:
# 添加标题
heading_level = int(element.name[1]) # heading level 1-6
new_paragraph = parent.add_heading(element.text.strip(), level=heading_level)
elif element.name == 'p':
# 添加段落
new_paragraph = parent.add_paragraph(element.text)
# 遍历段落内的img标签并处理图片
for img in element.find_all('img'):
img_src = img.get('src')
if img_src:
img_full_path = os.path.join(os.path.dirname(markdown_file), img_src)
if os.path.exists(img_full_path):
try:
# 添加图片到段落中
run = new_paragraph.add_run()
run.add_picture(img_full_path, width=Inches(4))
except Exception as e:
print(f"Error adding image: {e}")
else:
print(f"Warning: Image file '{img_full_path}' not found.")
elif element.name in ['ul', 'ol']:
# 添加列表项
bullet_style = 'ListBullet' if element.name == 'ul' else 'ListNumber'
for li in element.find_all('li'):
new_paragraph = parent.add_paragraph(li.text.strip(), style=bullet_style)
else:
# 递归处理其他元素
for child in element.children:
parse_html(child, parent)
# 遍历soup的子元素并解析
for element in soup.children:
parse_html(element, doc)
# 保存docx文档
doc.save(output_file)
转成word最后的效果:
现在的问题是word文档有好多空行,还有一些表,它把表以图的形式放在文档中,又通过gpt转成了表,后续作者优化应该可以解决。
脚本下载
如果上github不方便,可以后台回复gptpdf获取作者的代码,以及markdown转word部分代码。
相关推荐
- 建筑福利-pdf转dwg格式转换器,再也不用描图-极客青年
-
作为一名经常熬夜画图的建筑狗或者cad用户,你体验过pdf图纸描图到cad吗?前几天一个老同学找我,说他的毕业设计需要我帮忙,发给我一份pdf图纸文件,问我怎么把pdf图纸转换成dwg格式。机智的我灵...
- 想学 HTML,不知从何入手?看完这篇文章你就知道了
-
很多人都说HTML是一门很简单的语言,看看书,看看视频就能读懂。但是,如果你完全没有接触过,就想通过看一遍教程,背背标签,想要完全了解HTML,真的有点太天真了。HTML中文...
- 「前端」HTML之结构
-
今天继续为大家分享前端的知识,如果对前端比较感兴趣的小伙伴,可以关注我,我会更大家继续分享更多与前端相关的内容,当然如果内容中又不当的或者文字错误的,欢迎大家在评论区留言,我会及时修改纠正。1.初识H...
- 手把手教你使用Python网络爬虫下载一本小说(附源码)
-
大家好,我是Python进阶者。前言前几天【磐奚鸟】大佬在群里分享了一个抓取小说的代码,感觉还是蛮不错的,这里分享给大家学习。...
- 用于处理pdf文件格式的转换器
-
在上传过程中如果单个文件太大则容易中断,而且文件太大的话对与存储也有些弊端。那么我们应该想到将文件进行压缩(注意这里压缩指的是不改变文件格式的压缩,而不是用变成压缩文件。这里就将以下用专门的软件压缩P...
- 乐书:在线 Kindle 电子书制作和转换工具
-
之前Kindle伴侣曾推荐过可以在Windows和Mac系统平台上运行的kindle电子书制作软件Sigil(教程),用它可以制作出高质量的的ePub格式电子书,当然最后还需要通...
- 付费文档怎么下载?教你5种方法,任意下载全网资源
-
网上查资料的时候,经常遇到需要注册登录或者付费的才能复制或者是下载,遇到这种情况大多数人都会选择重新查。...
- 捡来的知识!3种方法随便复制网页内容,白嫖真香呀
-
网上的资源真的多,所以许多人常常会从网上找资料。我们看到感兴趣的内容,第一时间可能会想要收入囊中。比如说截个图啊,或者挑选有意思的句子复制粘贴,记录下来。可是,有些时候,却会遇到这样的情况:1、内容不...
- AI的使用,生成HTML网页。
-
利用deepseek,豆包,kimi以及通义千问,写入相同的需求。【写一个网页,实现抽奖功能,点击“开始”,按键显示“停止”,姓名开始显示在屏幕上,人员包括:“张三”,“里斯”,“Bool”,“流水废...
- pdf转换成jpg转换器 4.1 官方正式版
-
pdf转换成jpg工具软件简介pdf转换成jpg转换器是一款界面简洁,操作方便的pdf转换成jpg转换器。pdf转换成jpg转换器可以将PDF文档转换为JPG,BMP,GIF,PNG,TIF图片文件。...
- 办公必备的office转换成pdf转换器怎么用?
-
2016-02-2415:53:37南方报道网评论(我要点评)字体刚从校园走出社会,对于快节奏的办公环境,难免会觉得有些吃力。在起步阶段力求将手头上的事情按时完工不出错,但是渐渐的你会发现,别人只...
- 为什么PDF转Word大多要收费?
-
PDF转Word大多都要收费?并非主要是因为技术上的难度,而是基于多方面的商业和版权考虑的,下面给大家浅分析下原因:...
- 如何用python生成简单的html report报告
-
前提:用python写了一个简单的log分析,主要也就是查询一些key,value出来,后面也可以根据需求增加。查询出来后,为了好看,搞个html表格来显示。需要的组件:jinja2flask...
- 学用系列|如何搞定word批量替换修改和格式转换?这里一站搞定
-
想必不少朋友都会碰到批量修改word文档内容、压缩文档图片、文件格式转换等重复性文档处理工作的需要,今天胖胖老师就推荐给大家一个免费工具XCLWinKits,一站搞定你所有的需要。什么是XCLWinK...
- 这款PDF文档转换神器,能帮你解决PDF使用中的许多难点
-
不管是平时的学习还是工作,相信许多朋友都经常接触PDF文件。可以说,PDF文件在我们的日常办公学习过程中的重要性和Word文档一样重要。在之前的更新中,小编介绍了几款非常不错的PDF文档格式转换软件,...
你 发表评论:
欢迎- 一周热门
-
-
前端面试:iframe 的优缺点? iframe有那些缺点
-
带斜线的表头制作好了,如何填充内容?这几种方法你更喜欢哪个?
-
漫学笔记之PHP.ini常用的配置信息
-
其实模版网站在开发工作中很重要,推荐几个参考站给大家
-
推荐7个模板代码和其他游戏源码下载的网址
-
[干货] JAVA - JVM - 2 内存两分 [干货]+java+-+jvm+-+2+内存两分吗
-
正在学习使用python搭建自动化测试框架?这个系统包你可能会用到
-
织梦(Dedecms)建站教程 织梦建站详细步骤
-
【开源分享】2024PHP在线客服系统源码(搭建教程+终身使用)
-
2024PHP在线客服系统源码+完全开源 带详细搭建教程
-
- 最近发表
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)