什么是爬虫？

爬虫又称为网络爬虫，是一种基于规则对网址中文本、图片等信息进行自动抓取的程序。爬虫通过模拟真实用户，向服务器发送请求，持续对网页数据进行抓取，直到达成某一条件时停止。爬虫的本质是在海量的互联网信息中通过筛选收集有用的信息，最终进行分析整合以供使用。

免费创建账户

联系云计算专家

爬虫的工作原理

爬虫的工作原理表现为获取初始 URL、根据初始信息更新 URL、通过读取 URL 解读网页内容以及在遵循爬虫系统指令停止爬取几个过程。爬虫首先会爬取初始 URL 网页信息，随后进行解析，从中获取新的 URL 地址，存放到爬取的 URL 队里中，爬取到的网页会被存储到原始数据库中。爬虫过程就是不断重复在 URL 中获取网页信息和从网页信息中获取新的 URL 的过程。在编写爬虫时，要设置爬取停止规则，当爬虫系统满足设置的停止规则时，爬虫会停止爬取。如果不设置爬取条件，爬虫会工作到无法获取新的 URL 为止。

爬虫的应用

爬虫能够从海量的网络信息中抓取有效信息，根据抓取的大量数据分析用户的兴趣偏好，将匹配内容推送给目标用户，可以用于商业模式的开发。现阶段的爬虫已经成为大数据时代，行业发展的重要方式，例如，新闻资讯平台利用爬虫技术爬取互联网中的新闻资讯数据，通过整合展示给平台用户；外卖平台利用爬虫抓取用户的购买习惯，优先推送用户经常消费的店铺。此外，企业还可以通过爬虫爬取企业运营中产生的数据，挖掘数据潜在价值，洞察市场，为企业发展提供数据支撑。

爬虫的分类

通用网络爬虫

通用网络爬虫的爬行范围和数量较大，对爬取速度和存储空间的要求较高，主要用于门户网站搜索引擎和大型 Web 服务提供商采集数据。通用网络爬虫覆盖面较广，一般采用并行工作方式，其结构大致分为以下几个模块：页面爬行、页面分析、链接过滤、页面数据库、URL 队列以及初始 URL 集合。

聚焦网络爬虫

聚焦网路爬虫是指可以进行内容筛选的爬虫，相较通用网络爬虫增加了链接评价模块和内容评价模块，对爬取页面的内容和链接进行重要性评价，根据不同的重要性对 URL 访问顺序进行排序。聚焦网络爬虫指爬取与需求主题相关的页面，节省硬件和网络资源。

增量式网络爬虫

增量式网络爬虫是指只爬取新产生或发生变化的网页，只在需要时进行爬取，降低了爬虫的数据下载量，但爬行算法比较复杂。增量式网路爬虫的结构包含爬行模块、排序模块、更新模块、本地页面集、待爬行 URL 集以及本地页面 URL 集。

深层网络爬虫

深层网络爬虫通过表单填写进行内容爬取，主要用来爬取隐藏在搜索表单后，不能通过静态链接直接爬取的网页。深层网络爬虫包含爬行控制权、解析器、表单分析器、表单处理器、响应分析器、LVS 控制器六个基本模块和两个爬虫内部数据结构。

如何识别爬虫

识别爬虫的常见方法是检查 HTTP 协议头的 User-agent 字段，通过字段中含有的用户标识信息进行判断，确定发起访问请求的IP地址是否与声明一致。由于爬虫对 URL 访问量较大，HTTP 请求率高，对特定文件类型请求较多，对于一些无法识别的爬虫，可以基于请求速率、访问量、请求方法等进行算法识别。另外，识别恶意爬虫的常用策略是进行黑名单匹配，但爬虫会经常更换 IP 地址，需要精细地分析爬虫行为，判断爬虫的行为动机。