Requests 库的全面使用指南

引言

Requests 是一个常用的 Python HTTP 库，用于发送 HTTP 请求和处理响应。它提供了简单易用的 API 来处理各种 HTTP 操作，如 GET、POST、PUT、DELETE 等。本文将详细介绍 Requests 库的常见用法，并配以代码示例和解释，帮助开发者高效地进行 HTTP 请求处理。

1. 安装 Requests

在使用 Requests 之前，需要确保安装了该库。可以通过 pip 命令安装：

pip install requests

2. 发送 GET 请求

通过 requests.get() 方法发送 GET 请求来获取资源。

代码示例

import requests

url = 'https://api.example.com/data'
response = requests.get(url)
print(response.status_code)
print(response.text)

代码解释

• requests.get(url)：发送 GET 请求到指定的 URL。
• response.status_code：获取响应的状态码（如 200 表示请求成功）。
• response.text：获取响应的内容，以字符串形式显示。

3. 发送带参数的 GET 请求

通过 params 参数向 URL 添加查询参数。

代码示例

payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.get(url, params=payload)
print(response.url)

代码解释

• params=payload：将查询参数附加到请求 URL 中。
• response.url：显示完整的请求 URL，包含所有的查询参数。

4. 发送 POST 请求

使用 requests.post() 发送 POST 请求来提交数据。

代码示例

payload = {'username': 'user', 'password': 'pass'}
response = requests.post(url, data=payload)
print(response.status_code)

代码解释

• requests.post(url, data=payload)：发送 POST 请求并附带表单数据。
• data 参数用于发送表单格式的数据。

5. 发送 JSON 数据

可以通过 json 参数来发送 JSON 格式的数据。

代码示例

payload = {'username': 'user', 'password': 'pass'}
response = requests.post(url, json=payload)
print(response.status_code)
print(response.json())

代码解释

• json=payload：将数据作为 JSON 格式发送，而不是表单格式。
• response.json()：以字典的形式获取响应的 JSON 内容。

6. 自定义请求头

使用 headers 参数来自定义请求头，以模拟浏览器等客户端。

代码示例

headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers)
print(response.status_code)

代码解释

• headers=headers：自定义请求头以模拟浏览器行为，这对防止被服务器封锁尤为有用。

7. 处理响应

可以通过响应对象获取响应内容、状态码等详细信息。

代码示例

response = requests.get(url)
content = response.text
status_code = response.status_code
print(f'状态码: {status_code}, 内容: {content[:100]}')

代码解释

• response.text：获取响应的完整内容。
• response.status_code：获取响应状态码，判断请求是否成功。

8. 处理异常

可以使用 requests.exceptions.RequestException 捕获请求过程中出现的异常。

代码示例

try:
    response = requests.get(url)
    response.raise_for_status()
except requests.exceptions.RequestException as e:
    print(f'请求失败: {e}')

代码解释

• raise_for_status()：如果请求失败（状态码不在 200-399 范围内），则抛出异常。
• RequestException：捕获所有请求相关的异常，如连接超时、找不到主机等。

9. 设置超时时间

通过 timeout 参数设置请求的最大等待时间，防止长时间等待。

代码示例

try:
    response = requests.get(url, timeout=5)
    print(response.status_code)
except requests.exceptions.Timeout:
    print('请求超时')

代码解释

• timeout=5：设置请求的超时时间为 5 秒，超时后将抛出 Timeout 异常。

10. 处理 Cookies

Requests 可以轻松处理 Cookies，既可以读取响应中的 Cookies，也可以发送带有 Cookies 的请求。

代码示例

# 发送带有 Cookies 的请求
cookies = {'session_id': 'abc123'}
response = requests.get(url, cookies=cookies)
print(response.cookies)

代码解释

• cookies=cookies：在请求中附加 Cookies 信息，用于身份验证等场景。
• response.cookies：获取服务器返回的 Cookies 信息。

11. 会话管理

使用 Session 对象可以在多次请求之间保持状态，例如共享 Cookies。

代码示例

session = requests.Session()
session.cookies.set('session_id', 'abc123')

response1 = session.get(url)
response2 = session.get(url + '/profile')

代码解释

• Session()：创建一个会话对象，用于在多个请求之间共享 Cookies 和其他参数。
• 会话对象可以简化需要多次请求的场景，比如登录后的操作。

13. 常见问题与解决方案

13.1 常见问题

1. 请求超时：可以通过 timeout 参数设置请求超时时间，避免阻塞程序。
2. SSL 证书验证失败：可以通过 verify=False 来跳过 SSL 验证，但这会降低安全性。
3. 被服务器封锁：可以通过设置 User-Agent 模拟浏览器请求来避免封锁。

13.2 解决方案

• 设置超时时间：保证程序不会因网络问题而卡住。
• 自定义请求头：模拟真实用户请求，避免被服务器识别为爬虫。
• 使用会话对象：在需要多次请求的场景下，共享状态使得请求更高效。

14. 总结

通过本文的讲解，我们详细介绍了 Requests 库在 Python 中的使用，包括如何发送 GET 和 POST 请求、处理请求头、管理 Cookies 和会话等操作。Requests 提供了简洁易用的接口，帮助开发者更高效地处理 HTTP 请求。

关键点总结：

• 使用 requests.get()、requests.post() 发送请求，并处理响应。
• 可以通过 params、json 等参数自定义请求内容。
• 处理异常、超时和 Cookies 等，确保请求的稳定性和正确性。

通过合理使用 Requests 库，我们可以高效地进行 HTTP 通信，简化 Web 应用开发中的网络交互逻辑。