网络爬虫的概念?

Question

如题所述

Answer 1

网络爬虫（web crawler），以前经常称之为网络蜘蛛（spider），是按照一定的规则自动浏览万维网并获取信息的机器人程序（或脚本），曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因如此，网络数据采集的过程就像一个爬虫或者蜘蛛在网络上漫游，所以才被形象的称为网络爬虫或者网络蜘蛛。

Answer 2

Answer 3

网络爬虫(又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
爬虫可以在抓取过程中进行各种异常处理、错误重试等操作，确保爬取持续高效地运行。它分为通用爬虫和专用爬虫，通用爬虫是搜索引擎系统的重要组成部分，主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份;专用爬虫，为某一类特定的人群提供服务，爬取的目标网页定位与主题相关的页面中，节省大量的服务器资源和带宽资源。