Python爬虫requests库多种用法实例-猿码集

1. 前言

Python爬虫是数据爬取和分析过程中非常常见的一步，而requests库是Python中用于发送HTTP请求的库，功能强大且使用简单。本文将介绍requests库的多种用法，并使用实例来说明，帮助读者更好地掌握这个工具。

2. 安装requests库

在正式开始使用requests库之前，我们首先需要将其安装到Python环境中。可以通过pip命令进行安装，命令如下：

pip install requests

安装完成之后，我们就可以在Python脚本中引入requests库并开始使用了。

3. 发送GET请求

3.1 基本用法

发送GET请求是最常见的网络请求方式，我们可以使用requests库非常简洁地发送GET请求。下面是一个示例：

import requests
response = requests.get('https://www.example.com')
print(response.text)

在上述示例中，我们使用requests库发送了一个GET请求到'https://www.example.com'，并将响应内容打印出来。其中response.text就是响应的内容，这里使用了print函数将其打印出来。

3.2 带参数的GET请求

有时候我们需要在GET请求中传递一些参数，例如查询字符串。requests库提供了一个params参数，可以将参数以字典的形式传递给GET请求：

import requests
params = {
    'key1': 'value1',
    'key2': 'value2'
}
response = requests.get('https://www.example.com', params=params)
print(response.text)

在上述示例中，我们在GET请求中传递了两个参数key1和key2，对应的值分别为value1和value2。这样，请求的完整URL就会变成'https://www.example.com?key1=value1&key2=value2'。

4. 发送POST请求

4.1 基本用法

发送POST请求与发送GET请求类似，只是使用了requests库的post函数。下面是一个示例：

import requests
data = {
    'key1': 'value1',
    'key2': 'value2'
}
response = requests.post('https://www.example.com', data=data)
print(response.text)

在上述示例中，我们将请求参数data以字典的形式传递给POST请求。

4.2 带JSON数据的POST请求

有时候我们需要发送JSON格式的数据到服务器，可以使用requests库的json参数来实现：

import requests
import json
data = {
    'key1': 'value1',
    'key2': 'value2'
}
response = requests.post('https://www.example.com', json=json.dumps(data))
print(response.text)

在上述示例中，我们将请求参数data转化为JSON格式的字符串，并使用json参数传递给POST请求。

5. 处理响应

requests库不仅可以发送HTTP请求，还可以处理服务器返回的响应。下面介绍几种常见的响应处理方式：

5.1 获取响应状态码

我们可以使用response的status_code属性获取响应的状态码：

import requests
response = requests.get('https://www.example.com')
print(response.status_code)

在上述示例中，我们使用response.status_code获取了请求的状态码，并将其打印出来。

5.2 获取响应头

我们可以使用response的headers属性获取响应的头部信息：

import requests
response = requests.get('https://www.example.com')
print(response.headers)

在上述示例中，我们使用response.headers获取了响应的头部信息，并将其打印出来。

5.3 获取响应内容

我们可以使用response的text属性获取响应的内容：

import requests
response = requests.get('https://www.example.com')
print(response.text)

在上述示例中，我们使用response.text获取了响应的内容，并将其打印出来。

6. 设置请求头

有时候我们需要设置自定义的请求头，可以使用headers参数来实现：

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get('https://www.example.com', headers=headers)
print(response.text)

在上述示例中，我们设置了一个自定义的User-Agent请求头，并将其传递给GET请求。

总结

本文介绍了Python爬虫requests库的多种用法，包括发送GET请求、带参数的GET请求、发送POST请求、带JSON数据的POST请求、处理响应、设置请求头等功能。通过学习这些用法，我们可以更加方便地使用requests库进行爬虫开发。

使用requests库可以轻松实现发送HTTP请求，处理响应，设置请求头等功能。对于爬虫开发来说，这是一个非常实用的工具。掌握了requests库的用法，我们可以更加高效地进行网络数据的抓取工作。

Python爬虫requests库多种用法实例