python 爬虫 ip池怎么做

Question

如题所述

Answer 1

Python爬虫采集信息都是采用IP进行更改，不然就不能快速的爬取信息，可以加入采用这类方式，就失去了快速抓取的意义。
所以，如果要大批量的抓取信息，就不能避免的使用IP池，针对Python爬虫使用的IP池，是如何搭建起来的呢？接下来和大家说明一下如何建爬虫IP池的问题。
第一步：找IP资源
IP资源并不丰富，换句话说是供不应求的，因此一般是使用动态IP。
免费方法，直接在网络上找，在搜索引擎中一搜索特别多能够提供IP资源的网站，进行采集即可。
付费方法，通过购买芝麻代理上的IP资源，并进行提取，搭建IP池。
第二步，检测可用IP保存
提取到的IP，可以进一步进行检测是否可用，比如访问某个固定的网站，找出访问成功的IP进行保存。
第三步，随机调用IP
在爬虫需要使用IP时，可用读取保存IP的文件，进行随机调用IP。
本文介绍了如何建爬虫的IP池方法，可以说搭建IP池很容易，可有些IP的时效性很短，使用之前还可以再测试一次的。如果考虑免费IP，那么对于IP的效果性要做好心理准备的。

Answer 2

第一步、选择好提取数量，以及协议，和格式，点击生成api链接，就可以获取到链接了。
第二步、生成API链接，调用HTTP GET请求即可返回所需的IP结果
第三步、点击浏览器里的设置，选择局域网设置
第四步、勾选，代理服务器的，输入账号密码即可。

Answer 3

自己做个代理服务器。再指向次一级代理。或者是直接让爬虫通过http proxy的参数设置去先把一个代理。 代理池通常是租来的，或者是扫描出来的。扫描出来的往往大部分都不可用。 爬虫的实现有几百种方案。通常建议直接从SCRAPY入手。本回答被网友采纳

Answer 4

1. 安装 Python 请到 Download Python 这里下载 Python 建议使用 Python 3.4.3 或者 Python 2.7.10 2.默认安装的 Python 已经安装了 pip 3. 如果你要学习的 scrapy 这个爬虫框架，还是 Py2 的版本的吧， pip install 就可以了。 4. requests bs4...本回答被提问者采纳

Answer 5

好问题，这个我们用的是AWS Elastic IP解决的