什么是网络爬虫,网络爬虫的职能是什么

如题所述

自动检索工具(automatic indexer),或者(在FOAF软件概念中)网络疾走(WEB scutter),是一种“自动化浏览网络”的程序,或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站,以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容,以供搜索引擎做进一步处理(分检整理下载的页面),而使得用户能更快的检索到他们需要的信息。
参考自知乎网友回答
温馨提示:答案为网友推荐,仅供参考
第1个回答  2020-03-09
相似回答