1. 引言
网络爬虫是一种可以自动化获取互联网信息的方式，它可以在短时间内从网页上收集大量的数据。在Python中，我们可以使用不同的库和框架来实现网络爬虫的功能。对于获取真实的URL，通常不能仅仅依靠XHR（XMLHttpRequest）来实现。本文将从以下几个方面介绍如何获取真实的URL。
2. 了解XHR
2.1 XHR的作用
XHR是一种用于在后台与服务器交换数据的技术。它的主要作用是在不重新加载整个网页的情况下更新部分网页内容。XHR通常用于前端开发中，通过发送HTTP请求并处理响应，从而实现网页的异步更新。
2.2 XHR的局限性
尽管XHR在前端开发中非常有用，但它并不适用于爬虫。使用XHR只能获取到网页加载后由JavaScript动态生成的内容，而无法获取到网页最初加载的静态内容。在一些网站中，真实的URL可能被JavaScript代码动态生成或者通过其他方式隐藏起来，因此仅仅依靠XHR是无法获取到真实的URL的。
3. 查看网页源代码
3.1 查看网页源代码的方法
要获取真实的URL，最简单直接的方法是查看网页的源代码。每个网页浏览器都提供了查看源代码的功能，在浏览器中打开要爬取的网页，右键点击页面，选择“查看页面源代码”或类似的选项，即可打开网页的源代码。
3.2 查找真实URL
在网页源代码中，我们可以搜索关键词来找到真实的URL。可以搜索网页中出现的标签属性、JavaScript代码中的URL拼接等。一般情况下，真实的URL会以http://或https://开头，并且与页面上显示的URL不完全一样。
# 示例代码
import requests
# 发送请求获取网页源代码
response = requests.get('https://example.com')
html = response.text
# 查找真实URL
real_url = 'http' + html.split('http')[1]
print(real_url)
4. 使用浏览器开发工具
4.1 打开开发工具
现代浏览器都提供了开发者工具，可以用于调试和分析网页。在大多数浏览器中，可以通过按F12键或者右键点击页面并选择“检查”或“开发者工具”等选项来打开开发者工具。
4.2 查看网络请求
开发者工具中通常有一个“Network”或“网络”选项卡，可以用于查看网页加载过程中的各个网络请求。在这个选项卡中，可以找到页面加载过程中发送的所有请求，包括XHR请求和其他类型的请求。
4.3 查找真实URL
在“Network”选项卡中找到与目标URL相关的请求，点击该请求，可以查看请求的详细信息，包括请求的URL、请求头、响应等。通过分析响应的内容，可以找到真实的URL。
# 示例代码
import requests
# 发送请求获取网页源代码
response = requests.get('https://example.com')
# 查看网络请求
print(response.url)
5. 使用Selenium
5.1 Selenium的作用
Selenium是一个自动化测试工具，可以用于模拟用户的操作行为。通过Selenium，我们可以自动打开一个浏览器，并在浏览器中执行JavaScript代码，以获取网页的所有内容，包括动态生成的内容。
5.2 使用Selenium获取真实URL
使用Selenium获取真实的URL相对简单，只需要打开网页并获取当前URL即可。
# 示例代码
from selenium import webdriver
# 创建一个浏览器实例
driver = webdriver.Chrome()
# 打开网页
driver.get('https://example.com')
# 获取当前URL
real_url = driver.current_url
print(real_url)
# 关闭浏览器实例
driver.quit()
6. 结论
总而言之，要获取真实的URL，我们不能仅仅依靠XHR来实现。通过查看网页源代码、使用浏览器开发工具或使用Selenium，我们可以找到真实的URL并进行进一步的处理。搭配合适的Python库和框架，我们可以轻松实现一个强大的网络爬虫。