1. urllib简介
urllib是Python内置的一个用于操作URL的标准库。它提供了一系列的模块，包括urllib.request、urllib.parse、urllib.error、urllib.robotparser，用于处理URL请求、解析URL、处理错误和解析robots.txt文件。
2. urllib.request模块
urllib.request模块用于发送HTTP请求并获取HTTP响应。它提供了一个统一的接口，可以方便地进行URL打开、读取、保存等操作。
2.1 打开URL
使用urlopen()函数可以打开一个URL并返回一个文件对象。我们可以使用read()方法读取文件内容，并使用decode()方法将其解码为字符串。
import urllib.request
response = urllib.request.urlopen('http://www.example.com')
html = response.read().decode('utf-8')
在上面的例子中，我们打开了一个URL，并将返回的内容保存到变量html中。我们使用decode()方法将内容解码为 utf-8 编码的字符串，这样我们就可以对其进行进一步处理。
2.2 发送请求
如果我们需要发送请求时，可以使用urllib.request.Request()函数来创建一个请求对象，并将其传递给urlopen()函数。
import urllib.request
req = urllib.request.Request('http://www.example.com')
response = urllib.request.urlopen(req)
html = response.read().decode('utf-8')
在上面的例子中，我们创建了一个请求对象req，并将其传递给urlopen()函数，然后获取返回的响应内容。
3. urllib.parse模块
urllib.parse模块用于解析URL，包括URL的分解、构造等功能。
3.1 URL的分解
在使用urllib发送请求时，我们需要对URL进行分解，获取其中的一些重要信息，比如URL的域名、端口号等。urllib.prase模块的urlparse()函数可以帮助我们完成这个工作。
import urllib.parse
result = urllib.parse.urlparse('http://www.example.com/index.html?id=1')
print(result)
运行上面的代码，我们可以得到URL的分解结果。
3.2 URL的构造
除了可以将URL进行分解，urllib.parse模块还提供了urlunparse()函数，用于将分解后的URL重新构造。
import urllib.parse
url = ('http', 'www.example.com', 'index.html', '', 'id=1', '')
newurl = urllib.parse.urlunparse(url)
print(newurl)
运行上面的代码，我们可以得到重新构造后的URL。
4. urllib.error模块
urllib.error模块用于处理URL请求中的错误。在发送请求过程中，可能会出现一些错误，比如URL不存在、服务器错误等。urllib.error模块提供了一些异常类，我们可以使用它们来处理这些错误。
import urllib.error
try:
response = urllib.request.urlopen('http://www.example.com/path-not-exist')
except urllib.error.HTTPError as e:
print(e.code, e.reason)
在上面的代码中，我们使用urlopen()函数打开一个不存在的URL，此时会抛出HTTPError异常。我们可以捕获这个异常，并输出异常的错误码和原因。
5. urllib.robotparser模块
urllib.robotparser模块用于解析robots.txt文件，它是一个存放在网站根目录下的文本文件，用于指示哪些用户代理可以访问该网站的哪些页面。我们可以使用urllib.robotparser模块来解析这个文件。
import urllib.robotparser
rp = urllib.robotparser.RobotFileParser()
rp.set_url('http://www.example.com/robots.txt')
rp.read()
can_crawl = rp.can_fetch('Googlebot', 'http://www.example.com/path')
在上面的代码中，我们创建了一个RobotFileParser对象rp，并设置了要解析的robots.txt文件的URL。然后使用read()方法读取文件内容，并使用can_fetch()方法判断一个特定的用户代理是否可以访问某个URL。
总结
以上就是对Python内置模块urllib的介绍和使用方法的详细解析。urllib提供了一系列的模块和函数，用于处理URL请求、解析URL、处理错误和解析robots.txt文件，非常方便实用。掌握使用urllib可以帮助我们更好地进行URL的操作和处理。