在现代互联网中，爬虫技术被广泛用于信息收集、数据挖掘等领域。本文将详细介绍如何使用C#编写一个基础的网页爬虫，从如何设置HTTP请求，到解析网页内容，最后存储数据。希望通过本文的介绍，能够帮助你对C#爬虫技术有一个初步的了解。

准备环境

工具和库

要编写一个C#爬虫程序，我们需要使用一些工具和库，其中最为常用的包括：

.NET Core SDK

HttpClient

HtmlAgilityPack（用于解析HTML）

创建项目

首先，使用.NET Core命令行工具创建一个新的控制台项目：

dotnet new console -n WebScraper

进入项目目录，并安装HtmlAgilityPack：


cd WebScraper
dotnet add package HtmlAgilityPack

构建HTTP请求

使用HttpClient发送请求

我们将使用HttpClient类来发送HTTP请求并获取响应。在Program.cs文件中添加如下代码：


using System;
using System.Net.Http;
using System.Threading.Tasks;
class Program
{
    static async Task Main(string[] args)
    {
        HttpClient client = new HttpClient();
        string url = "http://example.com";
        HttpResponseMessage response = await client.GetAsync(url);
        string responseBody = await response.Content.ReadAsStringAsync();
        Console.WriteLine(responseBody);
    }
}

上述代码中，我们创建了一个HttpClient实例，访问了指定的URL，并打印了响应内容。

解析网页内容

引入HtmlAgilityPack

接下来，我们将使用HtmlAgilityPack来解析网页内容。继续在Program.cs文件中添加以下代码：


using HtmlAgilityPack;
class Program
{
    static async Task Main(string[] args)
    {
        HttpClient client = new HttpClient();
        string url = "http://example.com";
        HttpResponseMessage response = await client.GetAsync(url);
        string responseBody = await response.Content.ReadAsStringAsync();
        HtmlDocument doc = new HtmlDocument();
        doc.LoadHtml(responseBody);
        var nodes = doc.DocumentNode.SelectNodes("//h1");
        foreach (var node in nodes)
        {
            Console.WriteLine(node.InnerText);
        }
    }
}

这里，我们加载了HTTP响应的内容到HtmlAgilityPack的HtmlDocument对象中，并选择了所有的

标签，打印出其内容。

处理和存储数据

保存数据到文件

在爬虫程序中，常常需要将获取的数据保存下来。我们可以将解析的数据保存到一个文本文件中。继续在Program.cs文件中添加以下代码：


using System.IO;
class Program
{
    static async Task Main(string[] args)
    {
        HttpClient client = new HttpClient();
        string url = "http://example.com";
        HttpResponseMessage response = await client.GetAsync(url);
        string responseBody = await response.Content.ReadAsStringAsync();
        HtmlDocument doc = new HtmlDocument();
        doc.LoadHtml(responseBody);
        var nodes = doc.DocumentNode.SelectNodes("//h1");
        using (StreamWriter writer = new StreamWriter("output.txt"))
        {
            foreach (var node in nodes)
            {
                writer.WriteLine(node.InnerText);
            }
        }
        Console.WriteLine("Data saved to output.txt");
    }
}

上述代码中，我们使用StreamWriter将

标签的内容保存到了output.txt文件中。

补充和扩展

处理异常

在实际使用过程中，网络请求可能会遇到各种异常情况，例如网络不通、请求超时等。因此，需要添加异常处理代码：


class Program
{
    static async Task Main(string[] args)
    {
        try
        {
            HttpClient client = new HttpClient();
            string url = "http://example.com";
            HttpResponseMessage response = await client.GetAsync(url);
            response.EnsureSuccessStatusCode();
            string responseBody = await response.Content.ReadAsStringAsync();
            HtmlDocument doc = new HtmlDocument();
            doc.LoadHtml(responseBody);
            var nodes = doc.DocumentNode.SelectNodes("//h1");
            using (StreamWriter writer = new StreamWriter("output.txt"))
            {
                foreach (var node in nodes)
                {
                    writer.WriteLine(node.InnerText);
                }
            }
            Console.WriteLine("Data saved to output.txt");
        }
        catch (HttpRequestException e)
        {
            Console.WriteLine($"Request error: {e.Message}");
        }
    }
}

通过添加try-catch块，我们可以捕获和处理HTTP请求过程中可能出现的异常。

以上就是使用C#编写基础网页爬虫的全过程，通过这个简单的例子，你应该已经了解了如何使用HttpClient发送HTTP请求，如何使用HtmlAgilityPack解析HTML内容，以及如何处理和存储爬取的数据。

c#如何爬虫