什么是网络爬虫？

Question

如题所述

Answer 1

在网络爬虫的爬行策略中应用最为基础的是：深度优先遍历策略和广度优先遍历策略。

一、深度优先遍历策略

深度优先遍历策略很好理解，这跟我们有向图中的深度优先遍历是一样的，因为网络本身就是一种图模型嘛。深度优先遍历的思路是先从一个起始网页开始抓取，然后对根据链接一个一个的逐级进行抓取，直到不能再深入抓取为止，返回上一级网页继续跟踪链接。

二、广度优先遍历策略

广度优先搜索和深度优先搜索的工作方式正好是相对的，其思想为：将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。

深度优先遍历的算法

根据深度优先算法的特性，可以使用栈先入后出的特性实现。将探索过的点存入栈内，遇到走不通的时候将栈顶元素出栈回到上一个元素，实现回溯。

广度优先遍历的算法

根据广度优先算法需要按序回顾之前走过的顶点顺序的特性，可以使用队列先入先出来进行实现。