2.1　HTTP基本原理

HTTP（Hyper Text Transfer Protocol，超文本传输协议）是人们平常使用最多的一种网络请求方式，常见的是在网络浏览器中输入一个网址。那么HTTP到底是怎么回事，发送请求、获取响应是怎么运作的？本节就来解决这个问题。

2.1.1　URI和URL

在了解HTTP基础原理之前，先来了解一下URI（Uniform Resource Identifier，统一资源标志符）和URL（Universal Resource Locator，统一资源定位符）这两个基础概念。

URL是URI的子集，URI还包括一个子类URN（Universal Resource Name，统一资源名称）。URI可被视为定位符URL、名称URN或者两者兼备。URN定义某事物的身份，URL提供查找该事物的方法。URN仅用于命名，而不指定地址。

URL有时用来定位那些包含指示器的资源，而这些指示器又指向其他资源。有时这些指示器用关系链接表示，在关系链接中，第二资源的位置表示符原则上“和那些除了带有次相关路径的表示符相同”。关系链接的使用依赖于包含分层结构的原始URL，这是关系链接的基础。有些URL方案（例如FTP、HTTP和文件方案）包含的名字可以被认为是分层次的，这些层次之间用“/”分隔。

常见的一些方案列举如下：

• File Transfer Protocol（文件传输协议，FTP）
• HyperText Transfer Protocol（超文本传输协议，HTTP）
• Gopher The Gopher Protocol（Gopher协议）
• Mailto Electronic Mail Address（电子邮件地址）
• News USENET News（USENET新闻）
• NNTP USENET news using NNTP access（使用NNTP访问的USENET新闻）
• Telnet Reference to Interactive Sessions（交互式会话访问）
• Wais Wide Area Information Servers（广域信息服务系统）
• File Host-Specific File Names（特殊主机文件名）
• Prospero Directory Service（Prospero目录服务）

2.1.2　超文本

浏览器中的网页是由超文本（Hypertext）解析而成。网页源代码是一系列HTML代码，里面包含一系列标签（如img显示图片、p显示段落），浏览器解析这些标签后形成了我们平时看到的网页。网页的源代码比起普通文本能够描述更多的内容，包括网页的样式、网页的构成等，这些网页的源代码HTML就被称为超文本。

2.1.3　HTTP和HTTPS

HTTP（Hyper Text Transfer Protocol，超文本传输协议）是用于从网络传输超文本数据到本地浏览器的传输协议，它能保证高效而准确地传送超文本文档。

HTTPS（Hyper Text Transfer Protocol over Secure Socket Layer，超文本传输安全协议）是以安全为目标的HTTP通道，是HTTP的安全版，它在普通的HTTP下加入TLS（Transport Layer Security，传输层安全协议）。TLS是为网络通信提供安全及数据完整性的一种安全协议。

HTTPS的安全基础是SSL，通过它传输的内容都是SSL加密的，主要作用有两种：

• 一是建立一个信息安全通道，保证数据传输的安全。
• 二是确认网站的真实性，凡是使用HTTPS的网站都可以通过单击浏览器地址栏的锁头标志来查看网站认证之后的真实信息，也可以通过CA机构颁发的安全签章来查询。

一些网站虽然使用HTTPS协议，但还是会被浏览器提示不安全，如在Chrome浏览器中打开链接，它会提示“您的连接不是私密连接”，如图2-1所示。

原因是某些网站的证书是不被官方机构认可的，所以证书验证不通过，但它的数据传输依然是SSL加密的。爬虫如果要爬取这样的站点，就需要设置忽略证书的选项，否则会提示SSL链接错误。

2.1.4　HTTP请求过程

在浏览器输入一个URL，按回车键后，在浏览器中观察页面内容，其中的过程是浏览器向网站所在服务器发送一个Request（请求），网站服务器接收到Request后进行处理和解析，然后返回对应的Response（响应），传回浏览器，Response中包含页面的源代码等内容，浏览器再对其进行解析便会将网页呈现出来。

下面用Chrome浏览器的开发者模式下的Network监听组件进行演示。

步骤01　首先使用Chrome浏览器输入网址：http://www.baidu.com。

步骤02　使用快捷键Ctrl+Shift+I，打开Chrome的开发者选项，单击“Network”选项，再按F5键刷新页面，将打开Network页面下的一个条目，这代表一次发送Request和接收Response的过程，如图2-2所示。

步骤03　查看图2-2的结果可以发现网络请求记录这一项，其中各列的意义如下：

• 第一列Name，即Request的名称。一般会用URL的最后一部分内容当作名称。
• 第二列Method，说明请求的方法，通常有GET、POST等方式，图2-2中显示均为GET方式。
• 第三列Status，即Response的状态码。这里显示为200，代表Response是正常的，通过状态码可以判断发送了Request之后是否得到了正常的Response。
• 第四列Protocol，即为在网络中进行数据交换而建立的规则、标准或约定。用于不同系统中实体间的通信。这里均使用的是HTTP1.1协议。
• 第五列Type，即Request请求的文档类型。第一行为document，代表我们这次请求的是一个HTML文档，内容就是一些HTML代码。另外还有gif、png等其他类型。
• 第六列Initiator，即请求源。用来标记Request是由哪个对象或进程发起的。其中有Other、https://www.baidu.com等内容。
• 第七列Size，即从服务器下载的文件和请求的资源大小。如果是从缓存中取得的资源，该列就会显示from memory cache。
• 第八列Time，即发起Request请求到获取Response响应所用的总时间。单位ms为毫秒，0代表从缓存中获取。
• 第九列Waterfall，即网络请求的可视化瀑布流。如图2-2所示，是由不同颜色组成的可视化图。

步骤04　单击条目可以看到更详细的信息，如图2-3所示。

图2-3所示的结果中的General部分，各个项目详细情况如下：

• Request URL为Request请求的URL。
• Request Method为请求的方法。
• Status Code为响应状态码。
• Remote Address为远程服务器的地址和端口。
• Referrer Policy为Referrer判别策略。

图2-3中的Response Headers和Request Headers，分别代表响应头和请求头。

请求头里面带有许多请求信息，例如浏览器标识、Cookies、Host等信息，这是Request的一部分，服务器会根据请求头内的信息判断请求是否合法，进而做出对应的响应，返回Response，在图2-3中看到的Response Headers就是Response的一部分。例如，其中包含服务器的类型、文档类型、日期等信息，浏览器接收Response后，会解析响应内容，进而呈现网页内容。

2.1.5　请求

Request（请求）由客户端向服务端发出。可以将Request划分为4部分内容：Request Method（请求方式）、Request URL（请求URL地址）、Request Headers（请求头）和Request Body（请求体）。

下面详细介绍请求的4部分内容。

（1）Request Method，常见的有两种；GET和POST。

在浏览器中直接输入一个URL并按回车键，便会发起一个GET请求，请求参数会直接包含到URL里，如在百度中搜索Python，这就是一个GET请求，链接为：https://www.baidu.com/s?wd=Python。请求URL中包含请求的参数信息，这里的参数wd就是要搜索的关键词。

POST请求大多为表单提交发起的，如登录表单、输入用户名和密码、单击“登录”按钮，通常会发起一个POST请求，其数据通常以Form Data（表单形式）传输，不会体现在URL中。

GET和POST请求方法的区别如下：

• GET请求中的参数包含在URL里面，数据可以在URL中看到，而POST请求的URL不会包含这些数据，数据都是通过表单的形式传输的，会包含在RequestBody中。所以通常情况下，POST请求比GET请求更安全。
• GET方式请求提交的数据最多只有1024字节，而POST方式没有限制。

（2）Request URL，用URL可以唯一确定我们想请求的资源。

（3）Request Headers，用来说明服务器要使用的附加信息。一些常用的头部信息说明如下：

• Accept，请求报头域，用于指定客户端可接收哪些类型的信息。
• Accept-Language，指定客户端可接收的语言类型。
• Accept-Encoding，指定客户端可接收的内容编码。
• Host，用于指定请求资源的主机IP和端口号，其内容为请求URL的原始服务器或网关的位置。
• Cookie/Cookies，是网站为了辨别用户进行Session跟踪而存储在本地的数据。Cookies的主要功能是维持当前访问会话，例如用户输入用户名和密码登录了某个网站，登录成功之后，服务器会用Session保存用户的登录状态信息，后面每次刷新或请求该站点的其他页面时会发现都是保持着登录状态的，在这里就是Cookies的功劳，Cookies里有信息标识了用户所对应的服务器的Session会话，每次浏览器在请求该站点的页面时都会在请求头中加上Cookies并将其发送给服务器，服务器通过Cookies识别出用户，并且查出当前状态是登录的状态，所以返回的结果就是登录之后才能看到的网页内容。
• Referer，此内容用来标识这个请求是从哪个页面发过来的，服务器可以获取这个信息并进行相应的处理，如来源统计、防盗链处理等。
• User-Agent（UA），这是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、浏览器及版本等信息。在进行爬虫时，加上此信息可以伪装为浏览器，如果不加，就很可能会被识别为爬虫。
• Content-Type，即Internet Media Type，互联网媒体类型，也叫作MIME类型，在HTTP协议消息头中，使用它来表示具体请求中的媒体类型信息。例如，text/html代表HTML格式，image/gif代表GIF图片，application/json代表JSON类型，更多常见的对应关系如表2-1所示。

（4）Request Body，一般承载的内容是POST请求中的Form Data（表单数据），而对于GET请求，Request Body则为空。

在Request Headers中指定Content-Type和POST提交数据方式的关系，在爬虫中，如果要构造POST请求，就要注意这几种Content-Type，了解请求库的各个参数设置时使用的是哪种Content-Type，不然可能会导致POST提交后得不到正常的Response。

2.1.6　响应

Response（响应）由服务端返回给客户端。Response可以划分为3部分：Response Status Code（响应状态码）、Response Headers（响应头）和Response Body（响应体）。

（1）Response Status Code，表示了服务器的响应状态，如200表示服务器正常响应，404代表页面未找到，500代表服务器内部发生错误。在爬虫中可以根据状态码来判断服务器的响应状态，如判断为200，就证明成功返回数据，再进行进一步处理，否则直接忽略。

（2）Response Headers，包含服务器对请求的应答信息，如Context-Type、Server、Set-Cookie等。一些常见的头信息说明如下：

• Date：标识Response产生的时间。
• Last-Modified：指定资源的最后修改时间。
• Content-Encoding：指定Response内容的编码。
• Serve：包含服务器的信息、名称、版本号等。
• Context-Type：文档类型，指定返回的数据类型。
• Set-Cookie：设置Cookie，告诉浏览器要将此内容放在Cookies中，下次请求携带Cookies请求。
• Expires：指定Response的过期时间，使用它可以控制代理服务器或浏览器将内容更新到缓存中，再次访问时直接从缓存中加载，可以降低服务器负载，缩短加载时间。

（3）Response Body，非常重要，响应的正文数据都是在响应体中，如请求一个网页，它的响应体是网页的HTML代码，请求一张图片，响应体就是图片的二进制数据。在爬虫执行时，主要解析的内容就是Response Body，通过Response Body可以得到网页的源代码、JSON数据等，然后从中进行相应内容的提取。