Python：urllib2模块的基本使用-猿码集

Python：urllib2模块的基本使用

1. 引言

Python是一种功能强大的编程语言，广泛应用于Web开发、数据科学等领域。在Web开发中，访问网络资源是一项常见的任务。urllib2模块是Python标准库中提供的用于简化HTTP请求的模块。本文将介绍urllib2模块的基本使用。

2. urllib2模块概述

urllib2模块是Python标准库中的一个模块，用于处理HTTP请求和访问网络资源。它提供了一系列函数和类，用于发送HTTP请求、处理返回的响应以及处理HTTP错误。使用urllib2模块，我们可以方便地获取网络资源、发送表单数据、处理Cookie等。

3. 发送GET请求

3.1 最简单的GET请求

要发送一个最简单的GET请求，可以使用urllib2模块中的urlopen()函数。下面是一个简单的示例：


import urllib2
response = urllib2.urlopen("http://www.example.com")
html = response.read()
print html

在上面的示例中，我们使用urlopen()函数打开了"http://www.example.com"这个URL，并读取了返回的HTML内容。最后将结果输出到控制台。

3.2 添加请求头

在发送GET请求时，有时我们需要添加一些自定义的请求头信息，比如User-Agent、Referer等。urllib2模块提供了Request类，可以方便地添加请求头。下面是一个示例：


import urllib2
url = "http://www.example.com"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
req = urllib2.Request(url, headers=headers)
response = urllib2.urlopen(req)
html = response.read()
print html

在上面的示例中，我们通过创建一个Request对象，并手动指定了User-Agent请求头。然后使用urlopen()函数发送请求，并读取返回的HTML内容。

4. 发送POST请求

4.1 最简单的POST请求

发送最简单的POST请求，可以使用urlopen()函数和urlencode()函数将表单数据编码成标准的POST数据格式。下面是一个示例：


import urllib2
import urllib
url = "http://www.example.com"
values = {'key': 'value'}
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
html = response.read()
print html

在上面的示例中，我们通过将字典类型的数据编码成标准的POST数据格式，然后将data参数传递给Request对象，发送POST请求。

4.2 添加请求头和Cookie

与发送GET请求类似，我们也可以在发送POST请求时添加自定义的请求头信息和Cookie。下面是一个示例：


import urllib2
import urllib
url = "http://www.example.com"
values = {'key': 'value'}
data = urllib.urlencode(values)
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
req = urllib2.Request(url, data, headers)
req.add_header('Cookie', 'sessionid=123456')
response = urllib2.urlopen(req)
html = response.read()
print html

在上面的示例中，我们首先创建了一个Request对象，并手动指定了User-Agent请求头，然后使用add_header()方法添加了Cookie信息。最后使用urlopen()函数发送请求并读取返回的HTML内容。

5. 异常处理

在使用urllib2模块发送HTTP请求时，可能会遇到各种异常情况，比如网络连接失败、服务器返回错误等。为了保证程序的稳定性，我们需要对这些异常进行处理。下面是一个示例：


import urllib2
url = "http://www.example.com"
try:
    response = urllib2.urlopen(url, timeout=5)
    html = response.read()
    print html
except urllib2.URLError as e:
    print "Error:", e.reason

在上面的示例中，我们使用try-except语句对urlopen()函数可能抛出的异常进行了捕获和处理。如果遇到异常，我们将错误信息打印到控制台。

总结

通过本文的介绍，我们了解了urllib2模块的基本使用。我们可以使用urlopen()函数发送GET和POST请求，添加请求头信息和Cookie，处理异常情况。使用urllib2模块，我们可以方便地访问网络资源，发送表单数据，处理返回的响应。希望本文对你了解和使用urllib2模块有所帮助。

文章总字数：845字