Python小白學習爬蟲常用請求報頭

客戶端HTTP請求

URL只是標識資源的位置，而HTTP是用來提交和獲取資源。客戶端發送一個HTTP請求到服務器的請求消息，包括以下格式：

請求行、請求頭部、空行、請求數據

一個典型的HTTP請求

  GET https://www.baidu.com/ HTTP/1.1  Host: www.baidu.com  Connection: keep-alive  Upgrade-Insecure-Requests: 1  User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101   Safari/537.36  Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8  Accept-Encoding: gzip, deflate, br  Accept-Language: zh,zh-CN;q=0.8,ar;q=0.6,zh-TW;q=0.4  Cookie: BAIDUID=AE4D1DA6B2D6689BB8C557B3436893E3:FG=1; BIDUPSID=AE4D1DA6B2D6689BB8C557B3436893E3; PSTM=1501466227;   BD_UPN=12314353; BD_CK_SAM=1; PSINO=1; H_PS_PSSID=1420_25548_21080_20929; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598;   BDSVRTM=0

常用請求報頭

1. Host (主機和端口號)

Host：對應網址URL中的Web名稱和端口號，用於指定被請求資源的Internet主機和端口號，通常屬於URL的一部分。

2. Connection (鏈接類型)

Connection：表示客戶端與服務連接類型。

Client 發起一個包含 Connection:keep-alive 的請求，HTTP/1.1使用 keep-alive 為默認值。

Server收到請求後：

如果 Server 支持 keep-alive，回覆一個包含 Connection:keep-alive 的響應，不關閉連接；

如果 Server 不支持 keep-alive，回覆一個包含 Connection:close 的響應，關閉連接。

如果client收到包含 Connection:keep-alive 的響應，向同一個連接發送下一個請求，直到一方主動關閉連接。

keep-alive在很多情況下能夠重用連接，減少資源消耗，縮短響應時間，比如當瀏覽器需要多個文件時(比如一個HTML文件和相關的圖形文件)，不需要每次都去請求建立連接。

3. Upgrade-Insecure-Requests (升級為HTTPS請求)

Upgrade-Insecure-Requests：升級不安全的請求，意思是會在加載 http 資源時自動替換成 https 請求，讓瀏覽器不再顯示https頁面中的http請求警報。

HTTPS 是以安全為目標的 HTTP 通道，所以在 HTTPS 承載的頁面上不允許出現 HTTP 請求，一旦出現就是提示或報錯。

4. User-Agent (瀏覽器名稱)

User-Agent：是客戶瀏覽器的名稱，以後會詳細講。

5. Accept (傳輸文件類型)

Accept：指瀏覽器或其他客戶端可以接受的MIME（Multipurpose Internet Mail Extensions（多用途互聯網郵件擴展））文件類型，服務器可以根據它判斷並返回適當的文件格式。

舉例：

Accept: */*：表示什麼都可以接收。

Accept：image/gif：表明客戶端希望接受GIF圖像格式的資源；

Accept：text/html：表明客戶端希望接受html文本。

Accept: text/html, application/xhtml+xml;q=0.9, image/*;q=0.8：表示瀏覽器支持的 MIME 類型分別是 html文本、xhtml和xml文檔、所有的圖像格式資源。

q是權重係數，範圍 0 =< q <= 1，q 值越大，請求越傾向於獲得其“;”之前的類型表示的內容。若沒有指定q值，則默認為1，按從左到右排序順序；若被賦值為0，則用於表示瀏覽器不接受此內容類型。

Text：用於標準化地表示的文本信息，文本消息可以是多種字符集和或者多種格式的；Application：用於傳輸應用程序數據或者二進制數據。詳細請點擊

6. Referer (頁面跳轉處)

Referer：表明產生請求的網頁來自於哪個URL，用戶是從該 Referer頁面訪問到當前請求的頁面。這個屬性可以用來跟蹤Web請求來自哪個頁面，是從什麼網站來的等。

有時候遇到下載某網站圖片，需要對應的referer，否則無法下載圖片，那是因為人家做了防盜鏈，原理就是根據referer去判斷是否是本網站的地址，如果不是，則拒絕，如果是，就可以下載；

7. Accept-Encoding（文件編解碼格式）

Accept-Encoding：指出瀏覽器可以接受的編碼方式。編碼方式不同於文件格式，它是為了壓縮文件並加速文件傳遞速度。瀏覽器在接收到Web響應之後先解碼，然後再檢查文件格式，許多情形下這可以減少大量的下載時間。

舉例：Accept-Encoding:gzip;q=1.0, identity; q=0.5, *;q=0

如果有多個Encoding同時匹配, 按照q值順序排列，本例中按順序支持 gzip, identity壓縮編碼，支持gzip的瀏覽器會返回經過gzip編碼的HTML頁面。 如果請求消息中沒有設置這個域服務器假定客戶端對各種內容編碼都可以接受。

8. Accept-Language（語言種類）

Accept-Langeuage：指出瀏覽器可以接受的語言種類，如en或en-us指英語，zh或者zh-cn指中文，當服務器能夠提供一種以上的語言版本時要用到。

9. Accept-Charset（字符編碼）

Accept-Charset：指出瀏覽器可以接受的字符編碼。

舉例：

Accept-Charset:iso-8859-1,gb2312,utf-8

ISO8859-1：通常叫做Latin-1。Latin-1包括了書寫所有西方歐洲語言不可缺少的附加字符，英文瀏覽器的默認值是ISO-8859-1.

gb2312：標準簡體中文字符集;

utf-8：UNICODE 的一種變長字符編碼，可以解決多種語言文本顯示問題，從而實現應用國際化和本地化。

如果在請求消息中沒有設置這個域，缺省是任何字符集都可以接受。

10. Cookie （Cookie）

Cookie：瀏覽器用這個屬性向服務器發送Cookie。Cookie是在瀏覽器中寄存的小型數據體，它可以記載和服務器相關的用戶信息，也可以用來實現會話功能，以後會詳細講。

11. Content-Type (POST數據類型)

Content-Type：POST請求裡用來表示的內容類型。

舉例：Content-Type = Text/XML; charset=utf-8：

指明該請求的消息體中包含的是純文本的XML類型的數據，字符編碼採用“utf-8”。