详解向scrapy中的spider传递参数的几种方法(2种)

1. 直接在Spider类中传递参数

在Scrapy中，可以通过在Spider类的构造函数中添加参数来向Spider传递参数。可以通过修改构造函数，给Spider类传递参数。在构造函数中可以接收参数，并在爬虫逻辑中使用这些参数。

import scrapy
class MySpider(scrapy.Spider):
    name = 'myspider'
    def __init__(self, myparam=None, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.myparam = myparam
    def start_requests(self):
        # 使用传递的参数
        url = 'http://www.example.com?param=' + self.myparam
        yield scrapy.Request(url, self.parse)

在上面的示例中，通过在构造函数中添加参数myparam，然后在start_requests方法中使用了传递的参数self.myparam。

优点:

直接在Spider类中传递参数的逻辑比较简单明了，方便快捷。

缺点:

这种方法只适用于在启动爬虫时就确定好参数的情况，对于需要动态调整参数的场景，并不适用。

2. 使用start_requests方法传递参数

如果需要在爬虫启动后根据不同的情况动态传递参数给Spider类，可以使用start_requests方法来传递参数。

import scrapy
class MySpider(scrapy.Spider):
    name = 'myspider'
    def start_requests(self):
        # 构造请求对象，并传递参数
        yield scrapy.Request(url='http://www.example.com', callback=self.parse, meta={'myparam': 'value'})
    def parse(self, response):
        # 获取传递的参数
        myparam = response.meta['myparam']
        # 使用传递的参数
        url = 'http://www.example.com?param=' + myparam
        yield scrapy.Request(url, self.parse_detail)
    def parse_detail(self, response):
        # 解析详情页面
        # ...

在上面的示例中，通过在start_requests方法中构造请求对象时，使用meta参数传递了myparam参数。在parse方法中可以通过response.meta字典获取传递的参数，并在parse_detail方法中使用这个参数。

优点:

使用start_requests方法传递参数的方式相对灵活，适用于根据不同情况动态传递参数的场景。

缺点:

相比于直接在构造函数中传递参数，使用start_requests方法传递参数的方式稍微复杂一些。

通过上述两种方法，我们可以向Scrapy的Spider类传递参数。你可以根据自己的需求选择适合的方法。当然，除了这两种方法，还有其他一些方法来传递参数，例如使用命令行参数、在settings中配置参数等等，根据实际情况选择最合适的方式。