1. Requests库的介绍
Requests是一个Python第三方库，它可以向网页请求数据，将网页解析为Python可读取的结构。Requests是Python中最流行的http库之一，由于它非常简单易用，而且有很多扩展的功能，所以被很多人用作网络爬虫的工具。
2. 设置请求头的作用
当使用Requests库向网页发出请求时，我们不仅可以传递请求的参数，还可以传递一些请求的头部信息。请求头部是发给网站服务器的数据，通常包含浏览器的信息、cookie和其他特定的信息。设置请求头部信息可以让我们更好地模拟浏览器行为，提高数据请求的成功率。
3. Requests设置请求头Headers的方法
下面是在Requests中设置请求头的示例代码：
import requests
url = 'http://www.example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
}
response = requests.get(url, headers=headers)
在这个示例中，我们向指定的url发送了一个请求，并在headers中添加了一个User-Agent字段。User-Agent是http协议头部的一部分，是客户端标识信息，用来表示客户端的软件类型、操作系统、浏览器等信息。常见的User-Agent有Chrome、Firefox、Safari等浏览器名称。
如果我们不设置User-Agent请求头部，有些网站可能会拒绝我们的请求，或者返回与我们期望的数据不符的结果。因此，在使用Requests库时，设置请求头是很有必要的。
4. 设置Referer字段
除了User-Agent，我们还可以设置Referer字段。Referer字段表示请求的页面来源，可以告诉服务器我们是从哪个页面链接过来的。有些网站会根据Referer字段来进行一些安全控制或数据统计。以下是示例代码：
import requests
url = 'http://www.example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
'Referer': 'http://www.example.com',
}
response = requests.get(url, headers=headers)
在这个示例中，我们在headers中增加了Referer字段，它的值为http://www.example.com。这个字段可以告诉服务器我们是从哪个页面连接过来的。
5. 快捷设置请求头
Requests库中支持快捷设置请求头，以下是示例代码：
import requests
url = 'http://www.example.com'
response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
在这个示例中，我们使用headers参数设置了User-Agent字段。这种设置方式更为简单，适用于只需要设置一个或两个请求头的情况。
6. 总结
在网络爬虫中，设置请求头信息是非常必要的，可以模拟浏览器行为，提高请求数据的成功率。如果不设置请求头信息，有些网站可能会拒绝我们的请求，或者返回与我们期望的数据不符的结果。Requests库提供了多种设置请求头的方法，在爬虫开发中，我们需要根据不同的需求灵活选择合适的设置方法。