php+phpquery简易爬虫抓取京东商品分类

1. 简介

爬虫（Crawler）是模拟用户行为访问互联网，并自动提取数据的程序。它可用于获取大量互联网上的数据，如新闻、商品信息等。在本文中，我们将使用PHP和phpQuery库来构建一个简易的爬虫，用于抓取京东的商品分类信息。

2. 爬虫原理

爬虫主要分为两个步骤：发送HTTP请求获取网页内容，解析网页内容提取需要的数据。

首先，我们使用PHP的cURL库发送HTTP请求，并获取到京东的网页内容。代码如下：

function getHtml($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $html = curl_exec($ch);
    curl_close($ch);
    return $html;
}
$url = 'https://www.jd.com/';
$html = getHtml($url);

上述代码中的getHtml()函数使用cURL库发送GET请求，并返回获取到的网页内容。我们将京东首页的URL传入该函数，并将返回的内容存储在$html变量中。

然后，我们使用phpQuery库来解析网页内容，并提取出商品分类信息。代码如下：

include 'phpQuery.php';
$doc = phpQuery::newDocument($html);
$categories = $doc->find('.category-item');
foreach ($categories as $category) {
    $categoryName = pq($category)->find('em')->text();
    echo $categoryName . "\n";
}

phpQuery库提供了类似于jQuery的语法，方便我们使用CSS选择器来解析HTML。上述代码中，我们使用.find()方法找到所有class为.category-item的元素，并遍历每个元素，提取出商品分类名称并输出。

3. 实现

首先，我们需要安装phpQuery库。通过Composer进行安装最为方便，可以在终端中执行以下命令来安装：

composer require todorowww/phpquery

安装完成后，我们可以创建一个PHP文件，并在开头引入phpQuery库：

require 'vendor/autoload.php';

接下来，我们可以将上述发送HTTP请求和解析网页内容的代码放入一个函数中，方便后续调用：

function getCategories() {
    $url = 'https://www.jd.com/';
    $html = getHtml($url);
    $doc = phpQuery::newDocument($html);
    $categories = $doc->find('.category-item');
    foreach ($categories as $category) {
        $categoryName = pq($category)->find('em')->text();
        echo $categoryName . "\n";
    }
}

最后，我们可以在主程序中调用getCategories()函数来获取京东的商品分类信息：

getCategories();

4. 结论

通过使用PHP和phpQuery库，我们构建了一个简易的爬虫，并成功抓取了京东的商品分类信息。爬虫技术在实际应用中具有广泛的用途，如数据分析、信息监测等。希望本文对于初学者能够提供一些帮助，并促使他们进一步探索爬虫技术的应用。