python教程:爬虫模拟用户请求详细教程
yuyutoo 2025-01-17 13:59 4 浏览 0 评论
今天我们来说一下如何模拟用户请求，因为大多数网站都是有防爬虫措施的
学习爬虫要了解web知识，我们需要通过http请求头来伪装自己爬虫程序
1.修改请求头
这里要用到python的urllib.request的模块，首相介绍一下http请求头，它就是你每次在访问网页时，向服务器传输的一组属性和配置信息。下面有七个字段被大多数浏览器用来初始化网络请求。
这是是用户在访问网页时所发出的host请求(表格中是我的电脑发起的请求，打开F12可查看自己的host请求)。下面看一下为不加请求头时python爬虫发出的请求。
下面我们通过python代码来模拟一下用户请求
2.设置爬取间隔时间
如果访问网址过于频繁会被有些服务器的反爬虫程序认为是被爬虫恶意请求，这时候我们就要设置爬取数据的频率
比如说最简单的方式用如下代码
3.使用HTTP代理
有时候即使设置了爬取的间隔时间，还是会被服务器判别是爬虫程序，是因为我们的爬虫程序都是通过自己的ip地址发起请求，同一个ip访问次数过多会被服务器反爬虫机制直接拒绝
这时候我们要设置http代理去发起请求
proxy_ip是我们的http代理，可以根据需求选择厂商。
4.人机验证
目前遇到人机验证、验证码的需要采用第三方的识别验证码方式
5.ajax请求
有些网页一请求并没有数据，是通过ajax异步获取来的数据，这时候就需要我们模拟ajax请求来抓取数据
6.参数js加密
7.cookie限制
打开浏览器按f12，把cookie复制，放入请求头
本文来源转载
原文链接：
https://blog.csdn.net/qq_41389354/article/details/111472608
若有侵权，请联系作者及时删除，谢谢！！
- 上一篇：网站反爬虫常见方法
- 下一篇：使用Socks5代理加强爬虫的网络安全
相关推荐
- 网络规划建设原来也可以这么简单!
-
废话少说，直接上干货。天气炎热，请各位看官老爷静心阅读。整体思路下图是关于网络建设的所有相关领域，接下来我为大家逐一讲解。网络分层...
- 网络规划设计师笔记-第 1 章 计算机网络原理
-
计算机网络原理1.1计算机网络概论（P1-10）...
- 别输在远见上，网工这样做职业规划，比啥都强
-
01职业中的规划，人生中的buff“职业规划“这个词，其实对很多年轻人，包括曾经年轻的我来说，都不屑一提。...
- 网络规划设计师学习中(个人自学笔记分享1)，有一起学习的吗?
-
网络规划设计师，上午考试内容学习：第一章：计算机网络概述（上部分）：如果你也在一起学习，那么我们来一起学习吧！坚持1年，争取明年一次性通过！...
- 在微服务中使用 ASP.NET Core 实现事件溯源和 CQRS
-
概述：事件溯源和命令查询责任分离（CQRS）已成为解决微服务设计的复杂性的强大架构模式。基本CQRS表示形式在本文中，我们将探讨ASP.NETCore如何使你能够将事件溯源和CQRS...
- 用 Nginx 部署 ASP.NET Core 应用程序
-
用Nginx部署ASP.NETCore应用程序步骤如下：在Linux中安装.NETCore运行时和Nginx：...
- Asp.net Core启动流程讲解(一)（asp.net core 入门）
-
asp.netcore默认项目包括项目根目录级的Startup.cs、Program.cs、appsettings.json（appsettings.Development.json）launch...
- 十天学会ASP之第五天（十天学会asp教程）
-
学习目的：学会数据库的基本操作1（写入记录）数据库的基本操作无非是：查询记录，写入记录，删除记录，修改记录。今天我们先学习写入记录。先建立一个表单：<formname="form1"met...
- ASP.NET Core 的 WebApplication 类
-
ASP.NETCore提供了3个主机类（Host）。这些类用于配置应用、管理生命周期和启动Web服务。...
- ASP.NET Core中的键控依赖注入（.net依赖注入原理）
-
大家好,我是深山踏红叶,今天我们来聊一聊ASP.NETCore中的FromKeyedServices,它是在.Net8中引入的。这一特性允许通过键（如字符串或枚举）来注册和检索依赖注入（D...
- Asp.net常用方法及request和response-a
-
asp.net教程asp.net常用方法:1、Request.UrlReferrer请求的来源，可以根据这个判断从百度搜的哪个关键词、防下载盗链、防图片盗链，可以伪造(比如迅雷)。(使用全局一般处理...
- asp.net常考面试题（aspnet题库）
-
asp.net常考面试题一，列举ASP.Net页面之间传递值的几种方式？1，使用QueryString，如：......?id=1;response.Redirect()......2，使用Sessi...
- 在Windows系统搭建.NET Core环境并创建运行ASP.NET网站
-
微软于6月27日在红帽DevNation峰会上正式发布了.NETCore1.0、ASP.NET1.0和EntityFrameworkCore1.0，其将全部支持Windows、OSX和...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)