Python requests及aiohttp速度对比代码实例-猿码集

Python requests及aiohttp速度对比

Python requests和aiohttp是Python中用来发送HTTP请求的两个常用库。requests是Python中的一个HTTP库，它可以轻松的发送HTTP/1.1请求，而且支持自动下载适当的内容，而不需要手动解码。而aiohttp是基于Python 3.4+的异步HTTP客户端/服务器框架。本文将详细介绍两者的优点和缺点，并进行对比。

requests库的优点和缺点

优点

1.使用简单，易于上手。requests的API设计简单易用，使用get、post函数就能够实现基本的HTTP请求。

2.接口文档详细丰富。requests提供了详细的接口文档，包括请求方法、参数、响应对象等属性。

3.支持多种认证方式。requests支持多种协议的认证方式，包括HTTPBasicAuth、HTTPDigestAuth、OAuth1、OAuth2等。

缺点

1.不支持异步请求。Python的requests是同步IO的，因此不支持异步请求，不能较好的发挥Python的异步特性。

2.性能问题。由于Python的GIL(Globa Interpreter Lock)限制，多线程的性能比单线程略有提高。但由于requests不能支持异步请求，也不能充分发挥多线程的优势，因此其性能局限性比较严重。

下面是使用requests库发送HTTP请求的代码。


import requests
url = 'http://www.baidu.com'
r = requests.get(url)
print(r.status_code)
print(r.text)

aiohttp库的优点和缺点

优点

1.更好的性能。aiohttp支持异步请求，可以充分利用Python的协程机制，以及解决I/O密集型应用的性能问题。

2.更好的可伸缩性。由于支持异步请求，aiohttp具有更好的可伸缩性，能够支持更多的并发请求。

缺点

1.入门门槛较高。由于aiohttp基于Python的协程机制，因此使用aiohttp需要对Python的协程有一定的了解。

2.性能问题。尽管aiohttp性能比requests要好，但其性能仍然受到Python的GIL限制，当需要处理大量的CPU密集型任务时，性能提升并不明显。

下面是使用aiohttp库发送HTTP请求的代码。


import aiohttp
import asyncio
async def main():
    async with aiohttp.ClientSession() as session:
        async with session.get('http://www.baidu.com') as response:
            print(response.status)
            print(await response.text())
loop = asyncio.get_event_loop()
loop.run_until_complete(main())

requests与aiohttp性能测试对比

下面我们对requests和aiohttp进行简单的性能测试。假设我们需要同时请求三个URL路径，请求次数为10次。

使用requests库：


import requests
import time
urls = ['http://www.baidu.com', 'http://www.taobao.com', 'http://www.jd.com']
start = time.time()
for i in range(10):
    for url in urls:
        r = requests.get(url)
        print(r.status_code)
end = time.time()
print('Time: %s' % (end - start))

使用aiohttp库：


import aiohttp
import asyncio
import time
urls = ['http://www.baidu.com', 'http://www.taobao.com', 'http://www.jd.com']
async def get(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            print(response.status)
            print(await response.text())
async def main():
    tasks = [asyncio.create_task(get(url)) for url in urls]
    await asyncio.wait(tasks)
start = time.time()
for i in range(10):
    asyncio.run(main())
end = time.time()
print('Time: %s' % (end - start))

我们分别对requests和aiohttp进行10次请求，每次请求包含三个URL路径，记录请求时间。使用Python的time模块记录时间。

设置temperature=0.6后，使用以上代码进行测试，结果如下：

requests库的平均请求时间： 6.18秒

aiohttp库的平均请求时间： 0.23秒

从结果可以看出，使用aiohttp进行http请求的平均时间远小于requests，说明使用aiohttp的性能要优于requests。

总结

requests和aiohttp是Python中两个常用的HTTP库，各有优缺点。requests简单易用，而且API文档丰富，支持的认证方式多，但性能局限性比较严重。而aiohttp则支持异步请求，由于Python的协程特性而拥有更好的性能，但同时也需要使用者对Python的协程有一定程度的了解，并且性能也受到Python的GIL限制。在应用中应该根据具体的情况选择使用哪个库。

Python requests及aiohttp速度对比代码实例