scrapy框架3——请求传参

1. 什么是请求传参

Scrapy框架是一款基于Python的网络爬虫框架，它具有高效快速、易于扩展、结构清晰、模块化程度高等特点。在爬取网页的过程中，我们经常需要向目标网站发送请求，并从中获取到数据，而在实际情况中，我们需要定制化我们所发送的请求。这就需要使用到请求传参。

1.1 请求传参是什么

请求传参，即通过在发送请求的过程中，向目标网站传递参数，以定制化所发送的请求的方式和内容。这样做的好处显而易见，它可以帮助我们更好、更快捷地获取我们需要的数据。

1.2 请求传参的方式

对于Scrapy框架而言，可以通过直接在Scrapy的一些特定的类中传递参数，从而定制化发送请求，而不需要在请求的URL中手动添加参数。

下面我们来看一下Scrapy中传递参数的方式。

2. Scrapy中传递参数的方法

2.1 在URL中传递参数

在Scrapy中，可以通过在URL中手动添加参数的方式对请求进行传参，如下所示：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://www.example.com']
    
    def parse(self, response):
        yield scrapy.Request('http://www.example.com/page1.html?param1=value1&param2=value2', self.parse_page1)
        yield scrapy.Request('http://www.example.com/page2.html?param1=value1&param2=value2', self.parse_page2)
        
    def parse_page1(self, response):
        # 解析网页1
        pass
        
    def parse_page2(self, response):
        # 解析网页2
        pass

在上述代码中，我们通过将参数直接添加在URL的末尾被传递到了我们需要爬取的目标网站中。

2.2 在请求中传递参数

与在URL中传参的方式相比，我们还可以通过在请求中添加参数的方式进行传参。

Scrapy中提供了一个Request类，该类接受多个参数，其中包括URL、callback、method、headers等，我们可以通过将参数传递给该类来定制发送请求的方式。

下面是一个示例代码：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://www.example.com']
    
    def parse(self, response):
        metadata = {'param1': 'value1', 'param2': 'value2'}
        
        yield scrapy.Request('http://www.example.com/page1.html', callback=self.parse_page1, meta=metadata)
        yield scrapy.Request('http://www.example.com/page2.html', callback=self.parse_page2, meta=metadata)
        
    def parse_page1(self, response):
        # 解析网页1
        pass
        
    def parse_page2(self, response):
        # 解析网页2
        pass

在上述代码中，我们通过meta参数将需要传递的参数传递给了Request类。

2.3 在文件中存储参数

实际情况中，传递的参数可能很多，过多的参数可能会让代码变得混乱，可读性变差。因此，我们可以将参数单独存储在一个文件中，并在我们的代码中引用该文件。

在Scrapy框架中，常使用的参数存储格式为JSON和YAML格式的文件。

下面是一个传递JSON格式参数的示例代码：

import scrapy

import json
class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://www.example.com']
    
    def __init__(self):
        with open('params.json') as f:
            self.params = json.load(f)
        
    def parse(self, response):
        yield scrapy.Request('http://www.example.com/page1.html', callback=self.parse_page1, meta={'params': self.params})
        yield scrapy.Request('http://www.example.com/page2.html', callback=self.parse_page2, meta={'params': self.params})
        
    def parse_page1(self, response):
        # 解析网页1
        pass
        
    def parse_page2(self, response):
        # 解析网页2
        pass

在上述代码中，我们通过JSON.load()方法将我们需要发送的参数从params.json中读取出来，并将其存储在self.params变量中。之后，我们在发送请求的时候通过meta参数将该参数传递给请求。

3. 结语

通过对Scrapy框架中传递参数的方式进行介绍，相信大家已经初步掌握了这种定制化请求的方式和使用方法。在爬虫过程中，传递参数可以极大地提高我们的爬虫效率，减少不必要的请求和数据处理，从而提高我们的爬虫工作效率。