urllib2支持獲取不同格式的URLs(在URL的":"前定義的字串,例如："ftp"是"ftp:python.ort/"的前綴),它們利用它們相關(guān)網(wǎng)絡(luò)協(xié)議(例如FTP,HTTP)進(jìn)行獲取。這篇教程關(guān)注最廣泛的應(yīng)用--HTTP。

對(duì)于簡(jiǎn)單的應(yīng)用，urlopen是非常容易使用的。但當(dāng)你在打開HTTP的URLs時(shí)遇到錯(cuò)誤或異常，你將需要一些超文本傳輸協(xié)議(HTTP)的理解。

最權(quán)威的HTTP文檔當(dāng)然是RFC 2616(http://rfc.net/rfc2616.html)。這是一個(gè)技術(shù)文檔，所以并不易于閱讀。這篇HOWTO教程的目的是展現(xiàn)如何使用urllib2,

并提供足夠的HTTP細(xì)節(jié)來幫助你理解。他并不是urllib2的文檔說明，而是起一個(gè)輔助作用。

獲取 URLs

最簡(jiǎn)單的使用urllib2

代碼實(shí)例：

import urllib2 
response = urllib2.urlopen('http://python.org/') 
html = response.read()

urllib2的很多應(yīng)用就是那么簡(jiǎn)單(記住，除了"http:",URL同樣可以使用"ftp:","file:"等等來替代)。但這篇文章是教授HTTP的更復(fù)雜的應(yīng)用。

HTTP是基于請(qǐng)求和應(yīng)答機(jī)制的--客戶端提出請(qǐng)求，服務(wù)端提供應(yīng)答。urllib2用一個(gè)Request對(duì)象來映射你提出的HTTP請(qǐng)求,在它最簡(jiǎn)單的使用形式中你將用你要請(qǐng)求的地址創(chuàng)建一個(gè)Request對(duì)象，通過調(diào)用urlopen并傳入Request對(duì)象，將返回一個(gè)相關(guān)請(qǐng)求response對(duì)象，這個(gè)應(yīng)答對(duì)象如同一個(gè)文件對(duì)象，所以你可以在Response中調(diào)用.read()。

import urllib2 
req = urllib2.Request('http://www.pythontab.com') 
response = urllib2.urlopen(req) 
the_page = response.read()

記得urllib2使用相同的接口處理所有的URL頭。例如你可以像下面那樣創(chuàng)建一個(gè)ftp請(qǐng)求。

req = urllib2.Request('ftp://example.com/')

在HTTP請(qǐng)求時(shí)，允許你做額外的兩件事。首先是你能夠發(fā)送data表單數(shù)據(jù)，其次你能夠傳送額外的關(guān)于數(shù)據(jù)或發(fā)送本身的信息("metadata")到服務(wù)器，此數(shù)據(jù)作為HTTP的"headers"來發(fā)送。

接下來讓我們看看這些如何發(fā)送的吧。

Data數(shù)據(jù)

有時(shí)候你希望發(fā)送一些數(shù)據(jù)到URL(通常URL與CGI[通用網(wǎng)關(guān)接口]腳本，或其他WEB應(yīng)用程序掛接)。在HTTP中,這個(gè)經(jīng)常使用熟知的POST請(qǐng)求發(fā)送。這個(gè)通常在你提交一個(gè)HTML表單時(shí)由你的瀏覽器來做。

并不是所有的POSTs都來源于表單，你能夠使用POST提交任意的數(shù)據(jù)到你自己的程序。一般的HTML表單，data需要編碼成標(biāo)準(zhǔn)形式。然后做為data參數(shù)傳到Request對(duì)象。編碼工作使用urllib的函數(shù)而非urllib2。

代碼實(shí)例：

import urllib 
import urllib2 
url = 'http://www.gxlcms.com' 
values = {'name' : 'Michael Foord', 
 'location' : 'pythontab', 
 'language' : 'Python' } 
data = urllib.urlencode(values) 
req = urllib2.Request(url, data) 
response = urllib2.urlopen(req) 
the_page = response.read()

記住有時(shí)需要?jiǎng)e的編碼(例如從HTML上傳文件--看http://www.w3.org/TR/REC-html40/interact/forms.html#h-17.13 HTML Specification, Form Submission的詳細(xì)說明)。

如ugoni沒有傳送data參數(shù)，urllib2使用GET方式的請(qǐng)求。GET和POST請(qǐng)求的不同之處是POST請(qǐng)求通常有"副作用"，它們會(huì)由于某種途徑改變系統(tǒng)狀態(tài)(例如提交成堆垃圾到你的門口)。

盡管HTTP標(biāo)準(zhǔn)說的很清楚POSTs通常會(huì)產(chǎn)生副作用，GET請(qǐng)求不會(huì)產(chǎn)生副作用，但沒有什么可以阻止GET請(qǐng)求產(chǎn)生副作用，同樣POST請(qǐng)求也可能不產(chǎn)生副作用。Data同樣可以通過在Get請(qǐng)求的URL本身上面編碼來傳送。

代碼實(shí)例：

>>> import urllib2 
>>> import urllib 
>>> data = {} 
>>> data['name'] = 'Somebody Here' 
>>> data['location'] = 'pythontab' 
>>> data['language'] = 'Python' 
>>> url_values = urllib.urlencode(data) 
>>> print url_values 
name=blueelwang+Here&language=Python&location=pythontab 
>>> url = 'http://www.pythontab.com' 
>>> full_url = url + '?' + url_values 
>>> data = urllib2.open(full_url)

Headers

我們將在這里討論特定的HTTP頭，來說明怎樣添加headers到你的HTTP請(qǐng)求。

有一些站點(diǎn)不喜歡被程序（非人為訪問）訪問，或者發(fā)送不同版本的內(nèi)容到不同的瀏覽器。默認(rèn)的urllib2把自己作為“Python-urllib/x.y”(x和y是Python主版本和次版本號(hào),例如Python-urllib/2.5)，這個(gè)身份可能會(huì)讓站點(diǎn)迷惑，或者干脆不工作。瀏覽器確認(rèn)自己身份是通過User-Agent頭，當(dāng)你創(chuàng)建了一個(gè)請(qǐng)求對(duì)象，你可以給他一個(gè)包含頭數(shù)據(jù)的字典。下面的例子發(fā)送跟上面一樣的內(nèi)容，但把自身

模擬成Internet Explorer。

import urllib 
import urllib2 
url = 'http://www.gxlcms.com' 
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
 
values = {'name' : 'Michael Foord', 
 'location' : 'pythontab', 
 'language' : 'Python' } 
headers = { 'User-Agent' : user_agent } 
data = urllib.urlencode(values) 
req = urllib2.Request(url, data, headers) 
response = urllib2.urlopen(req) 
the_page = response.read()

response應(yīng)答對(duì)象同樣有兩個(gè)很有用的方法。看下面的節(jié)info and geturl，我們將看到當(dāng)發(fā)生錯(cuò)誤時(shí)會(huì)發(fā)生什么。

Handle Exceptions處理異常

當(dāng)urlopen不能夠處理一個(gè)response時(shí)，產(chǎn)生urlError（不過通常的Python APIs異常如ValueError,TypeError等也會(huì)同時(shí)產(chǎn)生）。

HTTPError是urlError的子類，通常在特定HTTP URLs中產(chǎn)生。

URLError

通常，URLError在沒有網(wǎng)絡(luò)連接(沒有路由到特定服務(wù)器),或者服務(wù)器不存在的情況下產(chǎn)生。這種情況下，異常同樣會(huì)帶有"reason"屬性，它是一個(gè)tuple，包含了一個(gè)錯(cuò)誤號(hào)和一個(gè)錯(cuò)誤信息。

例如

>>> req = urllib2.Request('http://www.gxlcms.com') 
>>> try: urllib2.urlopen(req) 
>>> except URLError, e: 
>>> print e.reason 
>>>

(4, 'getaddrinfo failed')

HTTPError

服務(wù)器上每一個(gè)HTTP 應(yīng)答對(duì)象response包含一個(gè)數(shù)字"狀態(tài)碼"。有時(shí)狀態(tài)碼指出服務(wù)器無法完成請(qǐng)求。默認(rèn)的處理器會(huì)為你處理一部分這種應(yīng)答(例如:假如response是一個(gè)"重定向"，需要客戶端從別的地址獲取文檔，urllib2將為你處理)。其他不能處理的，urlopen會(huì)產(chǎn)生一個(gè)HTTPError。典型的錯(cuò)誤包含"404"(頁面無法找到)，"403"(請(qǐng)求禁止)，和"401"(帶驗(yàn)證請(qǐng)求)。

請(qǐng)看RFC 2616 第十節(jié)有所有的HTTP錯(cuò)誤碼

HTTPError實(shí)例產(chǎn)生后會(huì)有一個(gè)整型'code'屬性，是服務(wù)器發(fā)送的相關(guān)錯(cuò)誤號(hào)。

Error Codes錯(cuò)誤碼

因?yàn)槟J(rèn)的處理器處理了重定向(300以外號(hào)碼)，并且100-299范圍的號(hào)碼指示成功，所以你只能看到400-599的錯(cuò)誤號(hào)碼。

BaseHTTPServer.BaseHTTPRequestHandler.response是一個(gè)很有用的應(yīng)答號(hào)碼字典，顯示了RFC 2616使用的所有的應(yīng)答號(hào)。這里為了方便重新展示該字典。

當(dāng)一個(gè)錯(cuò)誤號(hào)產(chǎn)生后，服務(wù)器返回一個(gè)HTTP錯(cuò)誤號(hào)，和一個(gè)錯(cuò)誤頁面。你可以使用HTTPError實(shí)例作為頁面返回的應(yīng)答對(duì)象response。這表示和錯(cuò)誤屬性一樣，它同樣包含了read,geturl,和info方法。

>>> req = urllib2.Request('http://www.gxlcms.com/fish.html') 
>>> try: 
>>> urllib2.urlopen(req) 
>>> except URLError, e: 
>>> print e.code 
>>> print e.read() 
>>>

404 
 
 Error 404: File Not Found 
...... etc...

Wrapping it Up包裝

所以如果你想為HTTPError或URLError做準(zhǔn)備，將有兩個(gè)基本的辦法。我則比較喜歡第二種。

第一個(gè)：

from urllib2 import Request, urlopen, URLError, HTTPError 
req = Request(someurl) 
try: 
 response = urlopen(req) 
except HTTPError, e: 
 print 'The server couldn/'t fulfill the request.' 
 print 'Error code: ', e.code 
except URLError, e: 
 print 'We failed to reach a server.' 
 print 'Reason: ', e.reason 
else: 
 # everything is fine

注意：except HTTPError 必須在第一個(gè)，否則except URLError將同樣接受到HTTPError。

第二個(gè)：

from urllib2 import Request, urlopen, URLError 
req = Request(someurl) 
try: 
 response = urlopen(req) 
except URLError, e: 
 if hasattr(e, 'reason'): 
 print 'We failed to reach a server.' 
 print 'Reason: ', e.reason 
 elif hasattr(e, 'code'): 
 print 'The server couldn/'t fulfill the request.' 
 print 'Error code: ', e.code 
else: 
 # everything is fine

info and geturl

urlopen返回的應(yīng)答對(duì)象response(或者HTTPError實(shí)例)有兩個(gè)很有用的方法info()和geturl()

geturl -- 這個(gè)返回獲取的真實(shí)的URL，這個(gè)很有用，因?yàn)閡rlopen(或者opener對(duì)象使用的)或許

會(huì)有重定向。獲取的URL或許跟請(qǐng)求URL不同。

info -- 這個(gè)返回對(duì)象的字典對(duì)象，該字典描述了獲取的頁面情況。通常是服務(wù)器發(fā)送的特定頭headers。目前是httplib.HTTPMessage 實(shí)例。

經(jīng)典的headers包含"Content-length"，"Content-type"，和其他。查看Quick Reference to HTTP Headers(http://www.cs.tut.fi/~jkorpela/http.html)獲取有用的HTTP頭列表，以及它們的解釋意義。

Openers和Handlers

當(dāng)你獲取一個(gè)URL你使用一個(gè)opener(一個(gè)urllib2.OpenerDirector的實(shí)例，urllib2.OpenerDirector可能名字可能有點(diǎn)讓人混淆。)正常情況下，我們使用默認(rèn)opener -- 通過urlopen,但你能夠創(chuàng)建個(gè)性的openers，Openers使用處理器handlers，所有的“繁重”工作由handlers處理。每個(gè)handlers知道如何通過特定協(xié)議打開URLs，或者如何處理URL打開時(shí)的各個(gè)方面，例如HTTP重定向或者HTTP cookies。

如果你希望用特定處理器獲取URLs你會(huì)想創(chuàng)建一個(gè)openers，例如獲取一個(gè)能處理cookie的opener，或者獲取一個(gè)不重定向的opener。

要?jiǎng)?chuàng)建一個(gè) opener,實(shí)例化一個(gè)OpenerDirector，然后調(diào)用不斷調(diào)用.add_handler(some_handler_instance).

同樣，可以使用build_opener，這是一個(gè)更加方便的函數(shù)，用來創(chuàng)建opener對(duì)象，他只需要一次函數(shù)調(diào)用。

build_opener默認(rèn)添加幾個(gè)處理器，但提供快捷的方法來添加或更新默認(rèn)處理器。

其他的處理器handlers你或許會(huì)希望處理代理，驗(yàn)證，和其他常用但有點(diǎn)特殊的情況。

install_opener 用來創(chuàng)建（全局）默認(rèn)opener。這個(gè)表示調(diào)用urlopen將使用你安裝的opener。

Opener對(duì)象有一個(gè)open方法，該方法可以像urlopen函數(shù)那樣直接用來獲取urls：通常不必調(diào)用install_opener，除了為了方便。

Basic Authentication 基本驗(yàn)證

為了展示創(chuàng)建和安裝一個(gè)handler，我們將使用HTTPBasicAuthHandler，為了更加細(xì)節(jié)的描述本主題--包含一個(gè)基礎(chǔ)驗(yàn)證的工作原理。

請(qǐng)看Basic Authentication Tutorial（http://www.voidspace.org.uk/python/articles/authentication.shtml）

當(dāng)需要基礎(chǔ)驗(yàn)證時(shí)，服務(wù)器發(fā)送一個(gè)header(401錯(cuò)誤碼) 請(qǐng)求驗(yàn)證。這個(gè)指定了scheme 和一個(gè)‘realm’，看起來像這樣：Www-authenticate: SCHEME realm="REALM".

例如

Www-authenticate: Basic realm="cPanel Users"

客戶端必須使用新的請(qǐng)求，并在請(qǐng)求頭里包含正確的姓名和密碼。這是“基礎(chǔ)驗(yàn)證”，為了簡(jiǎn)化這個(gè)過程，我們可以創(chuàng)建一個(gè)HTTPBasicAuthHandler的實(shí)例，并讓opener使用這個(gè)handler。

HTTPBasicAuthHandler使用一個(gè)密碼管理的對(duì)象來處理URLs和realms來映射用戶名和密碼。如果你知道realm(從服務(wù)器發(fā)送來的頭里)是什么，你就能使用HTTPPasswordMgr。

通常人們不關(guān)心realm是什么。那樣的話，就能用方便的HTTPPasswordMgrWithDefaultRealm。這個(gè)將在你為URL指定一個(gè)默認(rèn)的用戶名和密碼。這將在你為特定realm提供一個(gè)其他組合時(shí)得到提供。我們通過給realm參數(shù)指定None提供給add_password來指示這種情況。

最高層次的URL是第一個(gè)要求驗(yàn)證的URL。你傳給.add_password()更深層次的URLs將同樣合適。

# 創(chuàng)建一個(gè)密碼管理者 
password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm() 
# 添加用戶名和密碼 
# 如果知道 realm, 我們可以使用他代替 ``None``. 
top_level_url = "http://php.cn/foo/" 
password_mgr.add_password(None, top_level_url, username, password) 
handler = urllib2.HTTPBasicAuthHandler(password_mgr) 
# 創(chuàng)建 "opener" (OpenerDirector 實(shí)例) 
opener = urllib2.build_opener(handler) 
# 使用 opener 獲取一個(gè)URL 
opener.open(a_url) 
# 安裝 opener. 
# 現(xiàn)在所有調(diào)用 urllib2.urlopen 將用我們的 opener. 
urllib2.install_opener(opener)

注意：以上的例子我們僅僅提供我們的HHTPBasicAuthHandler給build_opener。默認(rèn)的openers有正常狀況的handlers--ProxyHandler,UnknownHandler,HTTPHandler,HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。

top_level_url 實(shí)際上可以是完整URL(包含"http:",以及主機(jī)名及可選的端口號(hào))例如：http://example.com/，也可以是一個(gè)“authority”(即主機(jī)名和可選的包含端口號(hào))例如：“example.com” or “example.com:8080”(后者包含了端口號(hào))。權(quán)限驗(yàn)證，如果遞交的話不能包含"用戶信息"部分,例如:“joe@password:example.com”是錯(cuò)誤的。

Proxies代理urllib 將自動(dòng)監(jiān)測(cè)你的代理設(shè)置并使用他們。這個(gè)通過ProxyHandler這個(gè)在正常處理器鏈中的對(duì)象來處理。通常，那工作的很好。但有時(shí)不起作用。其中一個(gè)方法便是安裝我們自己的代理處理器ProxyHandler，并不定義代理。這個(gè)跟使用Basic Authentication 處理器很相似。

>>> proxy_support = urllib.request.ProxyHandler({}) 
>>> opener = urllib.request.build_opener(proxy_support) 
>>> urllib.request.install_opener(opener)

注意：

此時(shí)urllib.request不支持通過代理獲取https地址。但，這個(gè)可以通過擴(kuò)展urllib.request達(dá)到目的。

Sockets and Layers

Python支持獲取網(wǎng)絡(luò)資源是分層結(jié)構(gòu)。urllib 使用http.client庫，再調(diào)用socket庫實(shí)現(xiàn)。

在Python2.3你可以指定socket的等待回應(yīng)超時(shí)時(shí)間。這個(gè)在需要獲取網(wǎng)頁的應(yīng)用程序里很有用。默認(rèn)的socket模型沒有超時(shí)和掛起。現(xiàn)在，socket超時(shí)沒有暴露給http.client或者urllib.request層。但你可以給所有的sockets設(shè)置全局的超時(shí)。

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com