大概框架

Request库的安装

---

• 爬取网页最好用的第三方库
• 直接安装即可（用于OS X）
  pip3 install requests
• request库的常用方法：

• request库一共有七个常用方法。一个基本方法是request方法，其他的方法都是调用request方法实现的。

get方法

• 获取网页最简单的方法就是get方法
  r = requests.get(url)
• 通过get方法+url获得一个向服务器请求资源的Request对象。注意python是严格区分大小写的，这个Request和我们说的request是不同的。
• request.get()返回一个Response对象，就是我们的变量r。

Response对象

看一段代码：

Response对象包含了服务器返回的所有信息。

• Response对象的属性：

• 一般的解析流程：

一个例子

• 状态编码为200，说明返回信息成功。
• 但是我们查看r的text属性时，却发现了乱码，于是我们去检查r的编码方式：

• 用r.apparent_encoding的utf-8编码替换r.encoding的ISO编码方式可以正常显示中文信息。这是为什么呢？

• r.encoding是从header中提取charset字段的编码方式，但是并非所有网站都有charset字段，如果没有charset字段时默认返回ISO-8859-1类型，而这个类型是不能解析中文的。
• r.apparent_encoding是根据http的内容部分实实在在分析内容的可能编码类型，更加准确！