爬虫代理池爬虫代理ip使用方法

1.需要准备一个代理池，可以自己爬取一些IP做一个代理池(简单的做法可以是把IP放到txt文件读取，也可以自己使用开源代理池代码（借用别人做的代理池，不同代码效率有差异，免费代理池一般效率不高）放一个代理池链接：链接：/s/1w6FpNgFXhP3_wWBQOM441Q提取码：dtsx2.安装相关的包、模块、数据库等（如redis数据库），可以在运行代理池的时候发现哪些包哪些模块没有安装，安装lAnaconda的话，基本pipinstall都能很快装好。

1.可以通过redis数据库管理器查看；
2.可以在浏览器网址栏中输入：http://localhost:/count（查看当时代理运行个数）或者http://localhost:/get（查看实时ip）查看。

来源：麦叔编程作者：Kevin。如果你真正写过爬虫，你一定遇到过这些问题：爬取数据的时候IP被封或者被限制网页数据库时时刻刻都在更新，不可能每次爬取都爬整站，需要做增量爬取数据量巨…

本文使用pythonselenium库为前提分享一点心得。在制作爬虫项目时，最关心一点是爬虫的稳定性。影响稳定性的两点莫过于加载与反扒手法。网页加载是一个大麻烦，在遇上网络延迟或者丢包，…