Scrapy爬取知名问答网站 session和cookie自动登录机制cookie是请求服务器时，服务器为了分辨不同的客户端，返回给客户端的东西，以字典的形式存储在客户端本地。 之后每次客户端发出请求时，都会带上cookie信息，这样服务器就是识别是哪个客户端发出的请求。 session是存储在服务器端的，是用户登录后，服务器生成的用户身份识别数据。一般包括sessionID ,sessionData，过期时间。 过程是：用户 2020-05-28 Python Python 爬虫
Scrapy爬取知名技术文章网站 scrapy安装和配置virtualenvwrapper管理虚拟环境virtualenvwrapper这个软件包可以让我们管理虚拟环境变得更加简单。不用再跑到某个目录下通过virtualenv来创建虚拟环境，并且激活的时候也要跑到具体的目录下去激活。 安装virtualenvwrapper： *nix：pip install virtualenvwrapper。 windows：pip inst 2020-05-28 Python Python 爬虫
Python数据模型 魔术方法(magic method)是特殊方法的昵称，“双下－ getitem”(dunder-getitem)这种说法。于是乎，特殊方法也叫双下方法(dunder method)。 一摞Python风格的纸牌12345678910111213141516171819202122232425262728293031import collectionsfrom random import choic 2020-05-26 Python 进阶 流畅的Python
爬虫基础知识回顾 技术选型，爬虫能做什么？Scrapy VS requests+beautifulsoup requests和beautifulsoup都是库，Scrapy是框架。 scrapy框架可以加入requests和beautifulsoup。 scrapy是基于twisted，性能是最大的优势。 scrapy方便扩展，提供了很多内置的功能。 scrapy内置的css和xpath selector非常方便， 2020-05-25 Python Python 爬虫
魔法函数 什么是魔法函数在python里面，以双下划线开头并结尾的函数，叫做魔法函数。 魔法函数可以随意定义某个类的特性，这些方法在进行特定的操作时会自动被调用。 python数据模型对python的影响python数据模型就是魔法函数，魔法函数不用我们显式的去调用，我们声明了魔法函数意味着这个对象就有特别的功能，我们是不需要像XXX.goxx()这个样取调用我们的魔法方法的。 python魔法函数一览__ 2020-05-25 Python 进阶 Python3高级核心技术97讲
Python中一切皆对象 Python中一切皆对象 Python中的一切皆对象更加彻底 在python中的一切皆对象比Java中的一切皆对象更加彻底，Java中有class，也就是类的概念，object是class的一个实例。 1.函数和类也是对象赋值给一个变量 12345678# 函数可以赋值给一个变量def ask(name='kevin'): print(name)my_func = ask # 函数赋给变量 2020-05-25 Python 进阶 Python3高级核心技术97讲