费用:20/s换一次IPIP/天0.04/ip/元172元/天=元/月使用方法:
q=Queue.Queue()defget_proxy():ifq.empty():res=resquests.get(‘xxx’).json()foriinres[‘proxy’]:q.put(i)else:returnq.get()
defcrawl():proxy=get_proxy()r=res=resquests.get(‘xxx’,proies=proxy)
使用配置相对麻烦,性能受VPS主机影响较多(短时间高频拨号会失败,vps主机长时间运行无响应,拨号等待时间长)
特点:vps主机的配置差,不稳定,抓取程序和数据可能会丢失适合不是很超长时间运行的爬虫。总抓取量在千万级以内
classCrawler:definit(self):self._crawl_count=0def_do_request(self,url):try:r=requests.get(url)returnr.textexceptExceptionase:return‘’
def_readsl(self):os.popen(‘rasdial网络名称/disconnect’)time.sleep(6)os.popen(‘rasdial网络名称adsl账号adsl密码’)code=os.system(‘ifdown网络链接名称’)time.sleep(6)code=os.system(‘ifup网络链接名称’)
defstart(self):whileTrue:text=self._do_request(url)self._crawl_count ifself._crawl_count>100:self._readsl()self._crawl_count=0
ln-s/usr/local/python3.6/bin/python3.6/usr/bin/python3
2.1备份现在的源cp/etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.backup
2.2下载阿里云安装源wget-O/etc/yum.repos.d/CentOS-Base.repo/repo/Centos-7.repo
安装epel-release(安装了epel-release才能安装tinyproxy)
安装openssl(支持firewalldsystemctldisablefirewalld5.2询问商家是否支持在服务器上建http代理
1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。