网络爬虫的主要流程

Question

如题所述

Answer 1

发起请求、获取响应、解析内容。
1、发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers、data等信息，然后等待服务器响应。
2、获取响应：如服务器能正常响应，会得到一个Response，Response的内容便是所要获取的内容，类型有HTML、Json字符串，二进制数据等类型。
3、解析内容：得到的内容是HTML，可以使用正则表达式、网页解析库进行解析。是二进制数据，可以做保存或者进一步处理。