在Python中,具有特殊功能的标识符称为关键字,每个关键字都代表不同的含义,Python语言自己已经使用它们,不允许自己定义和关键字相同名字的标识符,开发者应该尽量避开这些关键字。Python中的关键字如下所示:查看全文>>
使用变量存储数据时,为了更充分利用内存空间,我们可以为变量指定不同的数据类型。Python中常见的数据类型包含整型、浮点型和复数类型等,本节课来就来讲解一下Python中常见的数据类型和他们的示例代码查看全文>>
Slaver端从Master端拿任务(Request/url/ID)进行数据抓取,在抓取数据的同时也生成新任务,并将任务分配给Master端。Master端只有一个Redis数据库,负责对Slaver提交的任务进行去重、加入待爬队列查看全文>>
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量代码,就能够快速的抓取到数据内容。Scrapy使用了Twisted异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。查看全文>>
Selenium是一个Web的自动化测试工具,可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。查看全文>>
python爬虫用什么数据库好?Mysql和Mongdb哪家有优势?我们从Mysql、Mongdb各自特点和关系数据库和非关系数据库的特点来分析。查看全文>>