04-爬虫利器Fiddler

1. Fiddler是什么?

Fiddler是一款基于Windows平台的免费抓包工具,可以用来拦截和查看计算机与互联网之间数据交互的详细信息。使用 Fiddler 可以方便地监控 HTTP(S) 流量,包括请求和响应报文等内容。 Fiddler 还可以作为一种调试工具,帮助开发人员诊断网站和桌面应用程序之间的性能问题。需要注意的是,在使用 Fiddler 时需要先安装并运行软件,然后通过修改计算机的代理设置将流量导向到 Fiddler,这样 Fiddler 才能抓取到相应的数据。

1.1 Fiddler的基本功能

Fiddler的基本功能包括:

拦截和查看HTTP(S)流量

分析和修改HTTP(S)请求和响应报文

模拟HTTP(S)流量,测试服务器性能

调试和诊断网站和桌面应用程序的性能问题

1.2 Fiddler的优点

使用 Fiddler 抓包有以下优点:

支持 Windows 平台,安装和使用都非常方便

免费并且提供很多有用的功能

可以拦截和解密HTTPS流量

可以与其他工具(如Postman)结合使用,扩展其功能

2. Fiddler的使用

在使用 Fiddler 之前,需要首先下载并安装 Fiddler。安装完成后,打开 Fiddler,可以看到如下界面:

![Fiddler.png](https://cdn.nlark.com/yuque/0/2021/png/2182167/1628720637098-55eeadd7-9cf7-4284-8437-f146a2f1a9e8.png#align=left&display=inline&height=458&margin=%5Bobject%20Object%5D&name=Fiddler.png&originHeight=458&originWidth=1000&size=56111&status=done&style=none&width=1000)

2.1 编辑请求报文

编辑请求报文是 Fiddler 的一个重要功能,可以用于测试和调试服务器的响应。编辑请求报文的步骤如下:

1. 点击 Fiddler 工具栏上的“Composer”按钮,如下图所示:

![Composer.png](https://cdn.nlark.com/yuque/0/2021/png/2182167/1628720656533-56a71d10-0f9d-4d4b-8274-3b18a92dc41d.png#align=left&display=inline&height=32&margin=%5Bobject%20Object%5D&name=Composer.png&originHeight=32&originWidth=584&size=1740&status=done&style=none&width=584)

2. 在 Composer 窗口中输入请求 URL,选择请求方法(GET、POST 等),并在“Request Headers”和“Request Body”中填写相应的数据。如下图所示:

![Request.png](https://cdn.nlark.com/yuque/0/2021/png/2182167/1628720693250-47e1e4af-5053-44c6-ad1e-e6980b8d8be5.png#align=left&display=inline&height=398&margin=%5Bobject%20Object%5D&name=Request.png&originHeight=398&originWidth=950&size=25395&status=done&style=none&width=950)

3. 点击“Execute”按钮,发送请求。Fiddler 将会显示服务器的响应,如下图所示:

![Response.png](https://cdn.nlark.com/yuque/0/2021/png/2182167/1628720709249-a2a07d3c-d8d5-4c1d-9e6e-400a052fec7d.png#align=left&display=inline&height=376&margin=%5Bobject%20Object%5D&name=Response.png&originHeight=376&originWidth=936&size=19981&status=done&style=none&width=936)

2.2 抓取HTTP(S)流量

抓取 HTTP(S) 流量是 Fiddler的核心功能之一,通过 Fiddler 可以方便地查看 HTTP(S) 流量的详细信息,包括请求和响应报文、请求 URL、请求方法、响应状态码、响应时间等。抓取 HTTP(S) 流量的步骤如下:

1. 在 Fiddler 工具栏中点击“Capturing”按钮,启用 Fiddler 抓包功能。

![Capturing.png](https://cdn.nlark.com/yuque/0/2021/png/2182167/1628720762134-7b8481fa-20a9-4c83-af32-30c92a5a1273.png#align=left&display=inline&height=32&margin=%5Bobject%20Object%5D&name=Capturing.png&originHeight=32&originWidth=586&size=3376&status=done&style=none&width=586)

2. 通过配置计算机的代理设置,将流量导向到 Fiddler。在 Fiddler 工具栏中点击“WinConfig”按钮,自动配置计算机的代理设置。

![WinConfig.png](https://cdn.nlark.com/yuque/0/2021/png/2182167/1628720797647-600fcfb4-731e-4177-9f8e-0214021b96ea.png#align=left&display=inline&height=32&margin=%5Bobject%20Object%5D&name=WinConfig.png&originHeight=32&originWidth=584&size=2374&status=done&style=none&width=584)

3. 打开浏览器,访问需要抓取的网站或应用程序,Fiddler 将会自动抓取并显示 HTTP(S) 流量信息,如下图所示:

![HTTP.png](https://cdn.nlark.com/yuque/0/2021/png/2182167/1628720834924-bc2e1e23-9363-4616-bb6d-e94fbd813f62.png#align=left&display=inline&height=380&margin=%5Bobject%20Object%5D&name=HTTP.png&originHeight=380&originWidth=950&size=42429&status=done&style=none&width=950)

2.3 响应速度分析

Fiddler 还可以用于响应速度分析,可以使用 Fiddler 对网站或应用程序的性能进行诊断和优化。响应速度分析的步骤如下:

1. 访问需要分析的网站或应用程序,Fiddler 将会自动抓取并显示 HTTP(S) 流量信息。

2. 找到需要分析的请求,右键点击该请求,选择“Performance”菜单,如下图所示:

![Performance.png](https://cdn.nlark.com/yuque/0/2021/png/2182167/1628720924222-e1a3c41f-5b4d-417a-8a02-9f82e1f22626.png#align=left&display=inline&height=32&margin=%5Bobject%20Object%5D&name=Performance.png&originHeight=32&originWidth=584&size=2114&status=done&style=none&width=584)

3. Fiddler 将会显示响应速度信息,包括 DNS 解析时间、建立连接时间、发送请求时间、等待响应时间和接收响应时间。如下图所示:

![Timings.png](https://cdn.nlark.com/yuque/0/2021/png/2182167/1628720952876-da4508ae-4c51-48a7-b844-339a9b05cf10.png#align=left&display=inline&height=203&margin=%5Bobject%20Object%5D&name=Timings.png&originHeight=203&originWidth=536&size=13421&status=done&style=none&width=536)

3. 总结

Fiddler 是一款非常优秀的免费抓包工具,可以帮助开发人员进行 HTTP(S) 流量抓取、性能诊断和优化等工作。使用 Fiddler 之前需要先了解其基本功能和使用方法,包括编辑请求报文、抓取 HTTP(S) 流量和分析响应速度等。通过 Fiddler,开发人员可以快速定位和解决网站和应用程序的性能问题,提高开发效率和用户体验。

后端开发标签