1、国内ADSL是王道,多申请些线路,分布在多个不同的电信区局,能跨省跨市更好,自己写好断线重拨组件,自己写动态IP追踪服务,远程硬件重置(主要针对ADSL猫,防止其宕机),其余的任务分配,数据回收~
2、
1.IP必须需要,,ADSL。如果有条件,其实可以跟机房多申请外网IP。
2.在有外网IP的机器上,部署代理服务器。
3.你的程序,使用轮训替换代理服务器来访问想要采集的网站。
3、ADSL 脚本,监测是否被封,然后不断切换ip设置查询频率限制正统的做法是调用该网站提供的服务接口。4、1useragent伪装和轮换2使用代理ip和轮换3cookies的处理,有的网站对登陆用户政策宽松些友情提示:考虑爬虫给人家网站带来的负担,bearesponsiblecrawler5、尽可能的模拟用户行为:
1、UserAgent经常换一换;
2、访问时间间隔设长一点,访问时间设置为随机数;
3、访问页面的顺序也可以随机着来
6、
1.对爬虫抓取进行压力控制;
2.可以考虑使用代理的方式访问目标站点。-降低抓取频率,时间设置长一些,访问时间采用随机数-频繁切换UserAgent(模拟浏览器访问)-多页面数据,随机访问然后抓取数据-更换用户IP