写个python 爬虫怎么爬取一个网页上面发现的url链接

Question

如题所述

Answer 1

1.使用beautifulsoup框架。 

from bs4 import BeautifulSoup
bs = BeautifulSoup('网页源码', "html.parser")
bs.findAll('a') # 查找所有的超链接
# 具体方法可以参见官方文档

2.使用正则表达式