《图解HTTP》笔记

发表于 更新于 分类于

本篇博客图文内容均来自《图解HTTP》
作者：【日】上野宣
译者：于均良
出版社：人民邮电出版社

仅做读书笔记使用（并非完全按照书内内容排版）
已记录至第一章

第一章：了解Web及网络基础

HTTP的诞生

HTTP诞生的背景

现在已提出了3项WWW构建技术，分别是：

  1. 把SGML（Standard Generalized Markup Language，标准通用标记语言）作为页面的文本标记语言的HTML（HyperText Markup Language，超文本标记语言）；
  2. 作为文档传递协议的HTTP；
  3. 指定文档所在地址的URL（Uniform Resource Locator，统一资源定位符）。

WWW这一名称，是Web浏览器当年用来浏览超文本的客户端应用程序时的名称。现在则用来表示这一系列的集合，也可简称为Web。

HTTP/0.9
HTTP于1990年问世。那时的HTTP并没有作为正式的标准被建立。这时的HTTP其实含有HTTP/1.0之前版本的意思，因此被称为HTTP/0.9。

HTTP/1.0
HTTP正式作为标准被公布是在1996年的5月，版本被命名为HTTP/1.0，并记载于RFC1945。虽说是初期标准，但该协议标准至今仍被广泛使用在服务器端。

当初的标准是RFC2068，之后发布的修订版RFC2616就是当前的最新版本。

当年HTTP协议的出现主要是为了解决文本传输的难题。由于协议本身非常简单，于是在此基础上设想了很多应用方法并投入了实际使用。
现在HTTP协议已经超出了Web这个框架的局限，被运用到了各种场景里。而作为Web文档传输协议的HTTP，它的版本几乎没有更新。
新一代HTTP/2.0正在制订中，但要达到较高的使用覆盖率，仍需假以时日。

网络基础TCP/IP

通常使用的网络（包括互联网）是在TCP/IP协议族的基础上运作的。而HTTP属于它内部的一个子集。
TCP/IP是互联网相关的各类协议族的总称，当然也有一种说法认为，TCP/IP是指TCP和IP这两种协议，还有一种说法认为，TCP/IP是在IP协议的通信过程中，使用到的协议族的统称。
TCP/IP协议族里重要的一点就是分层。TCP/IP协议族按层次分别分为以下4层：

  1. 应用层
  2. 传输层
  3. 网络层
  4. 数据链路层

  • 应用层
    应用层决定了向用户提供应用服务时通信的活动。
    TCP/IP协议族内预存了各类通用的应用服务。比如，FTP（File Transfer Protocol，文件传输协议）和DNS（Domain Name System，域名系统）服务就是其中两类。
    HTTP协议也处于该层。

  • 传输层
    传输层对上层应用层，提供处于网络连接中的两台计算机之间的数据传输。
    在传输层有两个性质不同的协议：TCP（Transmission Control Protocol，传输控制协议）和UDP（User Data Protocol，用户数据报协议）。

  • 网络层（又称网络互联层）
    网络层用来处理在网络上流动的数据包。
    数据包是网络传输的最小数据单位。
    该层规定了通过怎样的路径（所谓的传输路线）到达对方计算机，并把数据包传送给对方。
    在通过多台网络设备或计算机进行传输时，网络层所起到的作用就是在诸多选项中选择一条传输路线。

  • 数据链路层
    用来处理连接网络的硬件部分。硬件上的范畴均在链路层的作用范围之内。

利用TCP/IP协议族进行网络通信时，会通过分层顺序与对方进行通信。发送端从应用层往下走，接收端则往应用层往上走。

发送端给接收端发送数据，经过四个层，发送端从应用层往下走，每走过一层就在数据前端加上首部名称，接收端则从链路端往上走，每走一层就把数据前端的首部名称摘去，这种把数据包装起来的方式就叫做封装

与HTTP关系密切的三个协议：IP，TCP和DNS

负责传输的IP协议

按层次分，IP（Internet Protocol）网际协议位于网络层，几乎所有使用网络的系统都会用到IP协议。
IP协议的作用是把各种数据包传送给对方。而要保证确实传送到对方那里，则需要满足各类条件。其中两个重要的条件是：IP地址和MAC地址（Media Access Control Address）。
IP地址指明了节点被分配到的地址，MAC地址是指网卡所属的固定地址。
IP地址可以和MAC地址进行配对。
IP地址可变换，但MAC地址基本上不会更改。

使用ARP协议凭借MAC地址进行通信
ARP是一种用以解析地址的协议，根据通信方的IP地址就可以反查出对应的MAC地址。
在网络上，通信的双方在同一局域网（LAN）内的情况是很少的，通常是经过多台计算机和网络设备中转才能连接到对方。而在进行中转时，会利用下一站中转设备的MAC地址来搜索下一个中转目标。这时，会采用ARP协议（Address Resolution Protocol）。

没有人能够全面掌握互联网中的传输状况
无论哪台计算机、哪台网络设备，它们都无法全面掌握互联网中的细节。

确保可靠性的TCP协议

按层次分，TCP位于传输层，提供可靠的字节流服务。

  1. 字节流服务（Byte Stream Service）是指，为了方便传输，将大块数据分割成以报文段（segment）为单位的数据包进行管理。
  2. 而可靠的传输服务是指，能够把数据准确可靠地传给对方。

确保数据能够到达目标
TCP协议采用了三次握手（three-way handshaking）策略，以此来确保能够将数据准确无误地送达目标处。
握手过程中使用了TCP的标志（flag）——SYN（synchronize）和ACK（acknowledgement）。
三次握手的流程为：发送端首先发送一个带SYN标志的数据包给对方。接收端收到后，回传一个带有SYN/ACK标志的数据包以示传达确认信息。最后，发送端再回传一个带ACK标志的数据包，代表“握手”结束。
如果在握手过程中某个阶段莫名中断，TCP协议会再次以相同的顺序发送相同的数据包。
除了三次握手TCP还有其他各种手段来保证通信的可靠性

负责域名解析的DNS服务

按层次分，DNS（Domain Name System）服务是和HTTP协议一样位于应用层的协议。它提供域名到IP地址之间的解析服务。
计算机既可以被赋予IP地址，也可以被赋予主机名和域名。
用户通常使用主机名或域名来访问对方的计算机，而不是直接通过IP地址访问。因为相比IP地址那样的一组纯数字，用字母配合数字的表示形式更符合人类的记忆习惯。
但是计算机并不是人类，计算机更擅长处理一串长数字。
为了解决这类问题，DNS服务应运而生。DNS协议提供通过域名查找IP地址，或逆向从IP地址反查域名的服务。

各种协议和HTTP协议的关系

我们简单通过一张图来了解上述提到的三种协在使用HTTP协议的通信中各自发挥了哪些作用。

第二章 简单的HTTP协议

HTTP协议和TCP/IP协议族类的其他众多的协议相同，用于客户端和服务器端之间的通信。

其中请求范文文本或图像等资源的一端称为客户端，而提供资源响应的一端称为服务器端。在使用HTTP协议通信的时候，一条通信线路上必定有一端是客户端，另一端是服务器端。

然而在实际情况下，两台计算机作为客户端和服务器端的角色有可能会互换。

但是仅仅从一条通信线路来看，服务器端和客户端的角色是确定的，而用HTTP协议能够明确区分哪端是客户端，哪端是服务器端。

HTTP协议规定，请求从客户端发出，最后服务器端相应该请求并返回。

换句话说，建立通信一定肯定绝对四重客户端先开始的，而服务器在没有接收到请求之前是不会发送相应的

请求报文

现在我们先来看一个示例：

其中①客户端发送的请求内容，叫做请求报文
请求报文是由以下几部分构成的：

  1. 请求方法；
  2. 请求URI；
  3. 协议版本；
  4. 请求首部字段；
  5. 内容实体；

而一个完整的请求报文如图所示：

HTTP/1.1中可使用的方法

图解6①中第一行开头的GET和图解7中的POST表示请求访问服务器的类型，称为方法（method）。向请求URI指定的资源发送请求报文时，采用称为方法的命令。
在HTTP/1.1中可使用的方法有：

  1. GET
  2. POST
  3. PUT
  4. HEAD
  5. DELETE
  6. OPTIONS
  7. TRACE
  8. CONNECT
    另外还有LINK和UNLINK方法，但是已经被HTTP/1.1废弃不再使用了。而其他的方法可自行上网查找HTTP协议规范文档

GET：获取资源

GET方法用来请求访问已被URI识别的资源。
指定的资源经过服务器端解析后返回响应内容。也就是说，如果请求的资源是文本，那就保持原样返回；如果是像CGI（Common Gateway Interface，通用网关接口）那样的程序，则返回经过执行后的输出结果。

例子：

POST：传输实体主体

POST方法用来传输实体的主体。
虽然用GET方法也可以传输实体的主体，但一般不用GET方法进行传输，而是用POST方法。虽说POST的功能与GET很相似，但POST的主要目的并不是获取响应的主体内容

例子：

PUT：传输文件

PUT方法用来传输文件。
就像FTP协议的文件上传一样，要求在请求报文的主体中包涵文件内容，然后保存到请求URI到指定的位置。

但是，鉴于HTTP/1.1的PUT方法自身不带验证机制，任何人都可以上传文件，存在安全性问题，因此一般的Web网站不适用该方法

若配合Web应用程序的验证机制，或架构设计采用REST（Representational State Transfer，表征状态转移）标准的同类Web网站，就可能会开放使用PUT方法。

例子：

HEAD：获得报文首部

HEAD方法和GET方法一样，只是不返回报文主体部分。用于确认URI的有效性及资源更新的日期时间等。

例子：

DELETE：删除文件

DELETE方法用来删除文件，是与PUT相反的方法。DELETE方法按请求URI删除指定的资源。
但是，HTTP/1/1的DELETE方法本身和PUT方法一样不带验证机制，所以一般的Web网站也不使用DELETE方法。蛋配合Web应用程序的验证机制，或遵守REST标准时还是有可能会开放使用的。

例子：

OPTIONS：询问支持的方法

OPTIONS放大用来查询针对请求URI指定的资源支持的方法。

例子：

TRACE：追踪路径

TRACE方法是让Web服务器端将之前的请求通信环回给客户端的方法。
发送请求时，在Max-Forwards首部字段中填入数值，每经过一个服务器端就将该数字减1，当数值刚好减到0时，就停止继续传输，最后接收到请求的服务器端则返回状态码200 OK的响应。
客户端通过TRACE方法可以查询发送出去的请求是怎样被加工修改/篡改的。这是因为，请求想要连接到源目标服务器可能会通过代理中转，TRACE方法就是用来确认连接过程中发生的一系列操作。
但是，TRACE方法本来就不怎么常用，再加上它容易引发XST（Cross-Site Tracing，跨站追踪）攻击，通常就更不会用到了。

例子：

CONNECT：要求用隧道协议连接代理

CONNECT方法要求在与代理服务器通信时建立隧道，实现用隧道协议进行TCP通信。
主要使用SSL（Secure Sockets Layer，安全套接层）和TLS（Transport Layer Security，传输层安全）协议把通信内容加密后经网络隧道传输。

例子：

请求URI定位资源

图解6①中的字符串/index.htm指明了请求访问的资源对象，也就是请求URI（request-URI）。
HTTP协议使用URI定位互联网上的资源。正是因为URI的特定功能，在互联网上任意位置的资源都能访问到。
但客户端请求访问资源而发送请求时，URI需要将作为请求报文中的请求URI包含在内。
指定请求URI的方法有很多：

  • URI为完整的请求URI
  • 在首部字段Host中写明网络域名或IP地址

除此之外，如果不是访问特定资源而是对服务器本身发起请求，可以用一个“*”来代替请求URI。

HTTP无状态协议及持久连接节省通信量

图解6①中起始行最后的HTTP/1.1，表示对应的HTTP的版本号，用来提示客户端使用的HTTP协议功能。

HTTP无状态协议

HTTP是一种不保存状态，即无状态（stateless）协议。
HTTP协议自身不对请求和响应之间的通信状态进行保存，也就是协议不会对发送过的请求或响应做持久化处理。
使用HTTP协议，每当有新的请求发送时，就会有对应的新响应产生。协议本身并不保留之前一切的请求或响应报文的信息。（用过就忘）
HTTP/1.1虽然是无状态协议，但为了实现期望的保持状态功能，于是引入了Cookie技术。有了Cookie再用HTTP协议通信，就可以管理状态了。

持久连接

在HTTP协议的初始版本中，每进行一次HTTP通信就要断开一次TCP连接。
在当初的通信情况来看，因为都是小容量的文本传输，所以问题不是很大。但是随着HTTP的普及，文档中包含大量图片的情况就多了起来。
比如，使用浏览器浏览一个包含多张图片的HTML页面时，在发送请求访问HTML页面资源的同时，也会请求该HTML页面里包含的其他资源。因此，每次的请求都会造成无谓的TCP连接建立和断开，增加通信量的开销。
所以为了解决上述TCP的问题，HTTP/1.1和一部分的HTTP/1.0想出了持久连接（HTTP Persistent Connections，也称为HTTP keep-alive或HTTP connection reuse）的方法。持久连接的特点是，只要任意一端没有明确提出断开连接，则保持TCP连接状态。
持久连接的好处在于减少了TCP连接的重复建立和断开所造成的额外开销，减轻了服务器端的负载。另外，减少开销的那部分时间，使HTTP请求和响应能够更早地结束，这样Web页面的显示速度也就相应提高了。

管线化

持久连接使得多数请求以管线化（pipelining）方式发送成为可能。从前发送请求后需等待并收到响应，才能发送下一个请求。管线化技术出现后，不用等待响应亦可直接发送下一个请求。
这样就能够做到同时并行发送多个请求，而不需要一个接一个地等待响应了。
比如，当请求一个包含10张图片的HTML Web页面，与挨个连接相比，用持久连接可以让请求更快结束。
而管线化技术则比持久连接还要快。请求数越多，时间差就越明显。

使用Cookie的状态和管理

HTTP是无状态协议，它不对之前发生过的请求和响应的状态进行管理。也就是说，无法根据之前的状态进行本次的请求处理。
假设要求登录认证的Web页面本身无法进行状态的管理（不记录已登录的状态），那么每次跳转新页面就要再次登录，或者要在每次请求报文中附加参数来管理登录状态。
保留无状态协议这个特征的同时又要解决类似的矛盾问题，于是引入了Cookie技术。Cookie技术通过在请求和响应报文中写入Cookie信息来控制客户端的状态。
Cookie会根据从服务器端发送的响应报文内的一个叫做Set-Cookie的首部字段信息，通知客户端保存Cookie。当下次客户端再往该服务器发送请求时，客户端会自动在请求报文中加入Cookie值后发送出去。
服务器端发现客户端发送过来的Cookie后，会去检查究竟是从哪一个客户端发来的连接请求，然后对比服务器上的记录，最后得到之前的状态信息。

请求首部字段：

一般来说有四种首部，分别是：

  1. 通用首部：请求报文和响应报文两方都会使用的首部。
  2. 请求首部：从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信息、响应内容相关优先级等信息。
  3. 响应首部：从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容，也会要求客户端附加额外的内容信息。
  4. 实体首部：针对请求报文和响应报文的实体部分使用的首部。补充了资源内容更新时间等与实体有关的信息。

在请求报文中不包含响应首部，同理，响应报文中不包含请求首部

首部字段将会额外在另一篇博客详细阐述，本篇不在赘述

内容实体

HTTP在传输数据时可以按照数据原貌直接传输，但也可以在传输过程中通过编码提升传输速率。通过在传输时编码，能有效地处理大量的访问请求。但是，编码的操作需要计算机来完成，因此会消耗更多的CPU等资源。
报文：
HTTP通信中的基本单位，由8位组字节流（octet sequence，其中octet为8个比特）组成，通过HTTP通信传输。
实体：
作为请求或响应的有效载荷数据被传输，其内容由实体首部和实体主体组成

由这张图我们不难发现实体首部字段被包含在报文首部，而实体主体被包含在报文主体中
通常，报文主体等于实体主体。只有当传输中进行编码操作时，实体主体的内容发生变化，才导致它和报文主体产生差异。
！！！报文和实体这两个术语，是不同的，两者是有差异的