从零开始写Python爬虫，四大工具你值得拥有！

如果你正在学习编程，那么“爬虫”绝对是你不可忽视的。那么，学习python爬虫之前需要哪些准备？

创新互联是创新、创意、研发型一体的综合型网站建设公司，自成立以来公司不断探索创新，始终坚持为客户提供满意周到的服务，在本地打下了良好的口碑，在过去的10余年时间我们累计服务了上千家以及全国政企客户，如成都砂岩浮雕等企业单位，完善的项目管理流程，严格把控项目进度与质量监控加上过硬的技术实力获得客户的一致夸奖。

• 一颗热爱学习，不屈不挠的心

• 一台有键盘的电脑（什么系统都行。我用的os x，所以例子会以这个为准）

• html相关的一些知识。不需要精通，能懂一点就行

• Python的基础语法知识 。

当这些你都具备了，这个时候你需要学习：

0.基本的爬虫工作原理

1.基本的http抓取工具：scrapy

2.Bloom Filter: Bloom Filters by Example

3.如果需要大规模网页抓取，你需要学习分布式爬虫的概念。简单来说，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: https://github.com/nvie/rq

4.rq和Scrapy的结合：darkrho/scrapy-redis · GitHub

5.后续处理：网页析取(grangier/python-goose · GitHub)，存储(Mongodb)

python的火，很大原因就是各种好用的模块，这些模块是居家旅行爬网站常备的——

*** F12 开发者工具

• 看源代码：快速定位元素

• 分析xpath：1、此处建议谷歌系浏览器,可以在源码界面直接右键看

NO.2 抓包工具

• 推荐httpfox，火狐浏览器下的插件,比谷歌火狐系自带的F12工具都要好，可以方便查看网站收包发包的信息

NO.3 XPATH CHECKER (火狐插件）

非常不错的xpath测试工具，不过也有几个小缺点，：

1. xpath checker生成的是绝对路径，遇到一些动态生成的图标（常见的有列表翻页按钮等），飘忽不定的绝对路径很有可能造成错误，所以这里建议在真正分析的时候，只是作为参考

2. 记得把如下图xpath框里的“x:”去掉，貌似这个是早期版本xpath的语法，目前已经和一些模块不兼容（比如scrapy），还是删去避免报错。

NO.4 正则表达测试工具

在线正则表达式测试 ，拿来多练练手，也辅助分析！里面有很多现成的正则表达式可以用，也可以进行参考！ 

本文标题：从零开始写Python爬虫，四大工具你值得拥有！
文章位置：http://www.36103.cn/qtweb/news30/12830.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联