答:本文邀请feifan来回答,他总结了使用python自带库完成爬虫的方法,并且列出了爬虫在实际中可能遇到的几个问题,教会你零基础入门python爬虫~此处的爬虫并不是百度或者google这样需要沿着某条路径采集互联网上所有信息的机器人,而是针对某个特定的网页,从中提取出我们需要的信息。比如我们在中关村上查到了一台手机的详情页,想把其中的cpu信息、操作系统、分辨率等等字段提出出来。即此处的爬虫是指针对特定网页结构、规模很小、抓取路径收敛的情况而言。下文我们以一个实例,看看如何从头写一个python爬虫。抓取页面基本方法浏览器中看到的页面,实际上是通过一系列的work分析基本上可以满足需求,但一款抓包利器无疑可以提升我们的效率。推荐使用fiddler进行抓包和解包,可以更清晰第看到http中所用的不同请求方式。字符串查找、正则表达式、html解析http请求的response通常包含两种:json字符串,或html代码片段,信息的提取就转变成了字符串处理。此时无论是通过字符串查找、正则表达式匹配,只要能定位到目标字段即可。但更好的方法是对html的Dom树进行解析,尤其是存在多个目标字段需要抓取时,解析html的方式能够对特殊格式的字段信息进行批量解析。这里使用python自带的htmlparser进行解析,htmlparser对html片段进行深度优先的遍历,在遍历的过程中可以识别出开始标签、结束标签和标签中的内容,因此提供了一种基于标签tag的编程方式。看下面的例子需要提取手机的操作系统、核心数、cpu型号等信息,根据html的标签、属性名称,代码如下:针对中关村上的某个手机详细handle_data可以提取html标签中的数据,但handle_data存在两个问题。
(1)当标签内容为空时,handle_data自动跳过该标签。这里的标签为空是指标签中不包含任意字符串内容、不包含其他的子标签。注意,当标签中含有