06-python爬虫库urllib，开始编写python爬虫代码

Python爬虫库urllib的介绍

在进行网络爬虫的开发中，我们经常需要从网站上获取数据。Python提供了多个爬虫库，其中之一就是urllib。使用urllib，我们可以方便地发送HTTP请求并获取网页内容。

1. urllib的基本功能

urllib库主要包含四个模块：

urllib.request：用于发送HTTP请求并获取网页内容；

urllib.parse：用于解析URL；

urllib.error：用于处理HTTP请求出现的错误；

urllib.robotparser：用于解析robots.txt文件。

接下来，我们将重点介绍urllib.request模块的使用。

2. 发送HTTP请求

使用urllib.request模块发送HTTP请求，可以使用两个主要的函数：urlopen()和Request()。

urlopen()函数用于发送GET请求，并返回一个类文件对象，我们可以通过该对象获取网页内容。

import urllib.request

response = urllib.request.urlopen('https://www.example.com')
html = response.read().decode('utf-8')
print(html)

注意：在Python 3中，urlopen()函数返回的是HTTPResponse对象，不再需要使用read()函数读取内容。需要注意的是，urlopen()函数默认使用GET方法发送请求，如果需要使用POST方法发送请求，可以通过传递data参数。

Request()函数用于构造HTTP请求对象，可以设置请求头、请求方法、请求体等信息。

import urllib.request

url = 'https://www.example.com'
headers = {'User-Agent': 'Mozilla/5.0'}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
html = response.read().decode('utf-8')
print(html)

3. 解析URL

urllib.parse模块提供了一些函数用于解析URL，比如将URL拆分成各个部分，或者将各个部分组合成完整的URL。

下面是一个解析URL的示例：

from urllib.parse import urlparse

url = 'https://www.example.com/path?param=value#fragment'
parsed_result = urlparse(url)
print(parsed_result)

以上代码会输出：

ParseResult(scheme='https', netloc='www.example.com', path='/path', params='', query='param=value', fragment='fragment')

4. 处理HTTP请求错误

urllib.error模块用于处理HTTP请求过程中可能会出现的错误。可以使用try-except语句来捕获这些错误并进行处理。

import urllib.request

import urllib.error
try:
    response = urllib.request.urlopen('https://www.example.com')
    html = response.read().decode('utf-8')
    print(html)
except urllib.error.HTTPError as e:
    print('HTTP Error:', e.code, e.reason)
except urllib.error.URLError as e:
    print('URL Error:', e.reason)

以上代码中，如果HTTP请求出现错误，比如网页不存在或者网络连接超时，会触发相应的异常，并在except语句中进行处理。

5. 解析robots.txt文件

robots.txt是一个位于网站根目录下的文本文件，用于指定哪些爬虫可以访问网站的哪些内容。可以使用urllib.robotparser模块来解析robots.txt文件。

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url('https://www.example.com/robots.txt')
rp.read()
can_crawl = rp.can_fetch('MyCrawler', 'https://www.example.com/page')  # 判断是否允许爬取某个URL
print(can_crawl)

以上代码中，我们首先创建了一个RobotFileParser对象，然后通过set_url()方法指定要解析的robots.txt文件的URL，再调用read()方法读取文件内容。最后，可以通过can_fetch()方法来判断某个爬虫是否可以访问指定的URL。

总结

在这篇文章中，我们介绍了Python爬虫库urllib的基本功能。我们可以使用urllib.request模块发送HTTP请求并获取网页内容，使用urllib.parse模块解析URL，使用urllib.error模块处理请求过程中可能出现的错误，以及使用urllib.robotparser模块解析robots.txt文件。

希望本文对你了解和使用Python爬虫库urllib有所帮助。