Python urlopen()和urlretrieve()用法解析

1. urlopen()函数

urlopen()函数是Python中用于打开URL的内置函数。它可以用来从指定的URL获取页面内容,以便后续处理或分析。

1.1 打开URL

要使用urlopen()函数打开URL,只需要传入一个URL作为参数即可:

from urllib.request import urlopen

# 打开一个URL

response = urlopen("http://www.example.com")

# 获取页面内容

html = response.read()

# 打印页面内容

print(html)

上述代码使用urlopen()函数打开了一个URL,并通过response.read()方法获取了页面的内容。最后打印出了获取到的页面内容。

注意:urlopen()函数不仅可以打开普通的HTTP、HTTPS链接,还可以打开本地文件等。只要是有效的URL,都可以使用urlopen()函数打开。

1.2 设置请求头

urlopen()函数的第二个参数可以指定请求的头部信息。对于某些特殊的URL,可能需要设置一些额外的请求头部信息才能访问成功。

from urllib.request import urlopen

# 设置请求头

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"

}

# 打开一个URL,并设置请求头

response = urlopen("http://www.example.com", headers=headers)

# 获取页面内容

html = response.read()

# 打印页面内容

print(html)

上述代码中,我们通过headers参数设置了请求头部信息,其中User-Agent字段指定了浏览器的信息。这样可以模拟浏览器发送请求,避免一些特殊的反爬虫机制。

1.3 处理异常

在使用urlopen()函数时,有可能会遇到一些异常。比如网络连接超时、URL不存在等。为了避免程序崩溃,我们需要进行异常处理。

from urllib.request import urlopen

from urllib.error import URLError

try:

response = urlopen("http://www.example.com")

html = response.read()

print(html)

except URLError as e:

print("URL打开失败!", e)

上述代码中,我们使用了try-except语句来捕获URLError异常。当URL无法正常打开时,会抛出这个异常,并打印出错误信息。

1.4 关闭连接

在使用urlopen()函数后,需要手动关闭连接。为了简化操作,可以使用with语句来自动关闭连接。

from urllib.request import urlopen

with urlopen("http://www.example.com") as response:

html = response.read()

print(html)

上述代码中,我们使用with语句打开URL,并自动关闭连接。这样可以确保在使用完成后,连接能够被正确关闭。

2. urlretrieve()函数

urlretrieve()函数也是Python中用于下载网络文件的内置函数。它可以将指定的URL下载到本地文件中。

2.1 下载文件

要使用urlretrieve()函数下载文件,只需要传入一个URL和一个文件路径作为参数即可:

from urllib.request import urlretrieve

# 下载文件

urlretrieve("http://www.example.com/image.jpg", "image.jpg")

上述代码中,我们使用urlretrieve()函数将指定URL的文件下载到本地,保存为文件名为image.jpg的文件。

注意:urlretrieve()函数会自动处理重定向,并且可以自动根据URL的后缀名确定文件的类型,从而设置Content-Type头部信息。

2.2 显示下载进度

urlretrieve()函数还可以显示下载进度,以便用户知道文件下载的进度情况。

from urllib.request import urlretrieve

def report_hook(block_num, block_size, total_size):

percent = 100.0 * block_num * block_size / total_size

print("下载进度:%.2f%%" % percent)

# 下载文件,并显示下载进度

urlretrieve("http://www.example.com/image.jpg", "image.jpg", reporthook=report_hook)

上述代码中,我们定义了一个report_hook()函数来处理下载进度,然后将这个函数传给urlretrieve()函数的reporthook参数。在下载过程中,每下载一个数据块,都会调用这个函数来更新下载进度。

2.3 设置超时

有时候下载一个文件可能会比较耗时,为了避免程序长时间等待,可以设置一个超时时间。

from urllib.request import urlretrieve

# 设置超时时间为5秒

urlretrieve("http://www.example.com/image.jpg", "image.jpg", timeout=5)

上述代码中,我们通过timeout参数设置了下载的超时时间为5秒。如果在指定的时间内没有完成下载,就会抛出一个超时错误。

总结

本文介绍了Python中的urlopen()函数和urlretrieve()函数的用法。通过使用这两个函数,我们可以方便地打开URL并获取页面内容,或者下载网络文件到本地。同时,我们还学习了如何设置请求头信息、处理异常、关闭连接,以及显示下载进度和设置超时时间等技巧。

这些函数的灵活运用,可以为我们处理各种网页爬取和文件下载任务提供便利。对于爬虫、数据分析和网络编程等领域的开发人员来说,掌握这些函数的用法是必不可少的。

免责声明:本文来自互联网,本站所有信息(包括但不限于文字、视频、音频、数据及图表),不保证该信息的准确性、真实性、完整性、有效性、及时性、原创性等,版权归属于原作者,如无意侵犯媒体或个人知识产权,请来电或致函告之,本站将在第一时间处理。猿码集站发布此文目的在于促进信息交流,此文观点与本站立场无关,不承担任何责任。

后端开发标签