写了两篇之后，我觉得关于爬虫，重点还是分析过程
分析些什么呢：
1）首先明确自己要爬取的目标
比如这次我们需要爬取的是使用百度搜索之后所有出来的url结果
2）分析手动进行的获取目标的过程，以便以程序实现
比如百度，我们先进行输入关键词搜索，然后百度反馈给我们搜索结果页，我们再一个个进行点击查询
3）思考程序如何实现，并克服实现中的具体困难
那么我们就先按上面的步骤来，我们首先认识到所搜引擎，提供一个搜索框，让用户进行输入，然后点击执行
我们可以先模拟进行搜索，发现点击搜索之后的完整url中有一项很关键，如下
http://www.baidu.com/s?wd=搜索内容......
后面的内容我们尝试去除之后再次请求上面的url，发现返回的信息一样，我们就可以断定请求的url只需要填入wd这个参数即可
接着我们就应该进行尝试requests.get()查看是否能正常返回页面，防止百度的反爬虫
嘿，幸运的是返回页面正常哈哈~
（当然如果没有返回到正常信息，只要设置好headers或者严格的cookies就行了）
importrequests
url= 'http://www.baidu.com/s?wd=......'r=requests.get(url)print r.status_code,r.content
好，接下来我们就想知道怎么爬取所有的结果