详解python内置模块urllib

1. urllib简介

urllib是Python内置的一个用于操作URL的标准库。它提供了一系列的模块，包括urllib.request、urllib.parse、urllib.error、urllib.robotparser，用于处理URL请求、解析URL、处理错误和解析robots.txt文件。

2. urllib.request模块

urllib.request模块用于发送HTTP请求并获取HTTP响应。它提供了一个统一的接口，可以方便地进行URL打开、读取、保存等操作。

2.1 打开URL

使用urlopen()函数可以打开一个URL并返回一个文件对象。我们可以使用read()方法读取文件内容，并使用decode()方法将其解码为字符串。

import urllib.request

response = urllib.request.urlopen('http://www.example.com')
html = response.read().decode('utf-8')

在上面的例子中，我们打开了一个URL，并将返回的内容保存到变量html中。我们使用decode()方法将内容解码为 utf-8 编码的字符串，这样我们就可以对其进行进一步处理。

2.2 发送请求

如果我们需要发送请求时，可以使用urllib.request.Request()函数来创建一个请求对象，并将其传递给urlopen()函数。

import urllib.request

req = urllib.request.Request('http://www.example.com')
response = urllib.request.urlopen(req)
html = response.read().decode('utf-8')

在上面的例子中，我们创建了一个请求对象req，并将其传递给urlopen()函数，然后获取返回的响应内容。

3. urllib.parse模块

urllib.parse模块用于解析URL，包括URL的分解、构造等功能。

3.1 URL的分解

在使用urllib发送请求时，我们需要对URL进行分解，获取其中的一些重要信息，比如URL的域名、端口号等。urllib.prase模块的urlparse()函数可以帮助我们完成这个工作。

import urllib.parse

result = urllib.parse.urlparse('http://www.example.com/index.html?id=1')
print(result)

运行上面的代码，我们可以得到URL的分解结果。

3.2 URL的构造

除了可以将URL进行分解，urllib.parse模块还提供了urlunparse()函数，用于将分解后的URL重新构造。

import urllib.parse

url = ('http', 'www.example.com', 'index.html', '', 'id=1', '')
newurl = urllib.parse.urlunparse(url)
print(newurl)

运行上面的代码，我们可以得到重新构造后的URL。

4. urllib.error模块

urllib.error模块用于处理URL请求中的错误。在发送请求过程中，可能会出现一些错误，比如URL不存在、服务器错误等。urllib.error模块提供了一些异常类，我们可以使用它们来处理这些错误。

import urllib.error

try:
    response = urllib.request.urlopen('http://www.example.com/path-not-exist')
except urllib.error.HTTPError as e:
    print(e.code, e.reason)

在上面的代码中，我们使用urlopen()函数打开一个不存在的URL，此时会抛出HTTPError异常。我们可以捕获这个异常，并输出异常的错误码和原因。

5. urllib.robotparser模块

urllib.robotparser模块用于解析robots.txt文件，它是一个存放在网站根目录下的文本文件，用于指示哪些用户代理可以访问该网站的哪些页面。我们可以使用urllib.robotparser模块来解析这个文件。

import urllib.robotparser

rp = urllib.robotparser.RobotFileParser()
rp.set_url('http://www.example.com/robots.txt')
rp.read()
can_crawl = rp.can_fetch('Googlebot', 'http://www.example.com/path')

在上面的代码中，我们创建了一个RobotFileParser对象rp，并设置了要解析的robots.txt文件的URL。然后使用read()方法读取文件内容，并使用can_fetch()方法判断一个特定的用户代理是否可以访问某个URL。

总结

以上就是对Python内置模块urllib的介绍和使用方法的详细解析。urllib提供了一系列的模块和函数，用于处理URL请求、解析URL、处理错误和解析robots.txt文件，非常方便实用。掌握使用urllib可以帮助我们更好地进行URL的操作和处理。