C# 使用HtmlAgilityPack框架制作html爬虫

HtmlAgilityPack是一个基于C#的第三方免费开源的微型html解析类库，主要用于解析html文档。虽然是一个轻量型的html解析类库，但它的功能却不弱，为解析DOM已经提供了足够强大的功能支持，在HtmlAgilityPack中最常用的基础类其实不多，对解析DOM来说，也就只有HtmlWeb、HtmlDocument、HtmlNode这两个常用的类，还有一个 HtmlNodeCollection集合类不怎么常用，接下来我们介绍下这个类库如何使用，首先我们在Nuget中搜索“HtmlAgilityPack”进行安装，安装代码如下。

Install-Package HtmlAgilityPack -Version 1.11.46

属性说明

方法说明

填写目标页面或者网站地址，获取指定DOM树下的元素；如果目标网站做了反爬虫，那就需要去代理网站购买代理然后动态切换代理，还有就是可以每次访问时都动态更换UA标识，计算机标识等手段来规避反爬虫机制；话不多说贴上示例代码，目标网站是以本博客的地址作为对象爬取网页信息，做了一个小小的示例。

internal class Program
    {
        private static void Main(string[] args)
        {
            //创建HtmlWeb对象并设置随机UA
            var web = new HtmlWeb()
            {
                UserAgent = Sayaka.Common.ProviderFakeUserAgent.RandomComputer
            };

            //加载目标网页，获取DOM树，代理信息根据目标网站而定，如果目标网站做了反扒封IP之类的，那就需要去代理网站购买代理，然后在此动态切换代理
            HtmlAgilityPack.HtmlDocument doc = web.Load("https://www.sotoolbox.com", "代理ip(选填)", 代理端口(选填), "代理账户(选填)", "代理密码(选填)");
            //获取ul标签class为nav nav-sub dk下面的li标签集合；按DOM结构大概拼下来就行
            var aList = doc.DocumentNode.SelectNodes("//ul[@class='nav nav-sub dk']//li//a");

            foreach (var tb in aList)
            {
                Console.WriteLine(tb.LastChild.InnerText.Replace("\n", "").Replace("\t", ""));
            }
            Console.ReadLine();
        }
    }

另外，还有一种网页结构经常遇到，就是网页table表格抓爬。在此写一下示例方便大家参考，示例代码如下

internal class Program
    {
        private static void Main(string[] args)
        {
            //创建HtmlWeb对象并设置随机UA
            var web = new HtmlWeb()
            {
                UserAgent = Sayaka.Common.ProviderFakeUserAgent.RandomComputer
            };

            //加载目标网页，获取DOM树
            HtmlAgilityPack.HtmlDocument doc = web.Load("https://price.21food.cn/market/"/*由于上面写过示例了，代理配置就不写了*/);
            var docList = doc.DocumentNode.SelectNodes("//div[@class='sjs_top_tv1']//div[@class='sjs_top_cent_erv']//ul//li//table");
            foreach (var tb in docList)
            {
                var tdList = tb.SelectNodes("tr//td");
                var market = tdList[0].InnerText;
                var city = tdList[1].InnerText;
                var product = tdList[2].InnerText.Replace(" ", "").Replace("\t", "").Replace("\r", "").Replace("\n", "");
                var create_time = tdList[3].InnerText;
                Console.WriteLine($"市场：{market}");
                Console.WriteLine($"所在地：{city}");
                Console.WriteLine($"产品：{product}");
                Console.WriteLine($"报价日期：{create_time}");
                break;
            }
            Console.ReadLine();
        }
    }

最后，随机生成UA类库也能够在Nuget上找到，名字叫FakeUserAgent，安装代码如下

Install-Package FakeUserAgent -Version 1.0.2