使用urllib爬取網頁傳遞數據的方法通過url傳遞數據給服務器傳遞數據的方式主要分為：get()post()傳遞數據的方法通過url傳遞數據給服務器傳遞數據的方式主要分為：get()post()直接使用url訪問，在url中包含了所有參數。傳遞數據的方法通過url傳遞數據給服務器傳遞數據的方式主要分為：get()post()不會在url中顯示所有的參數。Contents素養目標培養良好的信息素養和道德意識技能目標熟悉urllib庫中處理get和post請求的方法知識目標掌握urllib庫中處理get和post請求的原理URL編碼轉換當傳遞的URL中包含中文或者其它特殊字符（如空格等）時，需要使用urllib.parse庫中的urlencode方法將URL進行編碼。“key:value”鍵值對轉換成“key=value”字符串importurllib.parsedata={'a':'數據采集','b':'技術'}result=urllib.parse.urlencode(data)print(result)轉碼a=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86&b=%E6%8A%80%E6%9C%AFURL編碼轉換importurllib.parseresult=urllib.parse.unquote('a=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86')print(result)解碼使用的是url.parse庫的unquote方法a=數據采集處理GET請求GET請求一般用于向服務器獲取數據處理GET請求“？”后面的字符串就包含了要查詢的關鍵字“數據采集”。使用Fiddler查看HTTP請求發現有個GET請求的格式如下：/s?wd=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86處理GET請求importurllib.requestimporturllib.parse#引入urllib的庫url='/s'word={"wd":"數據采集"}word=urllib.parse.urlencode(word)new_url=url+"?"+word#定義參數urlheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1"}#定義參數headersrequest=urllib.request.Request(new_url,headers=headers)#構建requestresponse=urllib.request.urlopen(request)#模擬瀏覽器向服務器發起請求獲取響應html=response.read().decode('utf-8')print(html)示例返回一個HTTPResponse類型的對象處理GET請求返回結果處理POST請求發送http請求時urlopen方法必須設置data參數，data參數以字典的形式存放數據。如果以post方式發送請求處理POST請求當訪問有道詞典翻譯網站進行詞語翻譯時不管輸入什么內容一直都不變URL處理POST請求通過使用Fiddler觀察，發現該網站向服務器發送的是POST請求。處理POST請求當使用有道詞典翻譯“Python”時，返回的結果是一個JSON字符串。處理POST請求importurllib.request#POST請求的目標URL，通過Fiddler獲取url="/jsonapi_s?doctype=json&jsonversion=4"headers={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1"}#打開Fiddler請求窗口，點擊WebForms選項查看數據體formdata={"q":"ilovepython",'le':'en'}data=bytes(urllib.parse.urlencode(formdata).encode('utf-8'))request=urllib.request.Request(url,data=data,headers=headers)response=urllib.request.urlopen(request)print(response.read().decode('utf-8'))示例本講小結1url編碼轉換2urllib庫處理get請求3urllib庫處理post請求本講小結1url編碼轉換2urllib庫處理get請求