數據分析基礎與NumPy數據統計分析與Pandas數據可視化與Matplotlib第15章數據分析與可視化基礎參考書目《Python程序設計》目錄數據分析基礎與NumPy數據統計分析與Pandas數據可視化與Matplotlib這里說明圖片內容用來存儲和處理大型矩陣NumPy提供了大量的庫和標準數據模型，以及高效、便捷地處理大型數據集所需的函數和方法PandasMatplotlib繪圖庫數據分析基礎與NumPy數據統計分析與Pandas數據可視化與Matplotlib目錄這里說明圖片內容數據分析基礎與NumPy1NumPy概述NumPy：開源的Python科學計算庫，包含很多實用的數學函數，涵蓋線性代數運算、傅里葉變換和隨機數生成等功能。部分功能如下：1)ndarray:一個具有矢量算術運算且節省空間的多維數組。2)用于對整組數據進行快速運算的標準數學函數（無須編寫循環）。3)用于讀／寫磁盤數據的工具以及用于操作內存映射文件的工具。4)線性代數、隨機數生成以及傅里葉變換功能。5)用于集成C、C++、Fortran等語言的代碼編寫工具。數據分析基礎與NumPy2NumPy的對象ndarrayNumPy提供了兩種基本對象：ndarray和ufunc。多維數組對象該對象由兩個部分組成，即實際的數據和描述這些數據的元數據。大部分的數組操作僅僅修改元數據部分，而不改變底層的實際數據。ndarray能夠對數組進行處理的函數ufunc數據分析基礎與NumPy2NumPy的對象ndarrayndarray對象是用于存放同類型元素的多維數組。以0下標為開始進行集合中元素的索引，每個元素在內存中都有相同存儲大小的區域。ndarray內部由以下內容組成：指向數據的指針數據類型表示數組形狀的元組一個跨度元組數據分析基礎與NumPy2NumPy的對象ndarrayndarray的內部結構：數據分析基礎與NumPy2NumPy的對象ndarray1．ndarray（數組）的屬性NumPy數組的維數稱為秩（rank），秩就是軸的數量，即數組的維度。axis=0，表示沿著第0軸進行操作。數據分析基礎與NumPy2NumPy的對象ndarray【例】ndarray（數組）的常用屬性應用演示。importnumpyasnpdata=[6,2,3,1,4]arr1=np.array(data)print("數組維度的元組:",arr1.shape)print("數組維數:",arr1.ndim)print("數組元素的類型:",arr1.dtype)運行結果：數組維度的元組:(5,)數組維數:1數組元素的類型:int32數據分析基礎與NumPy3NumPy的基本操作1．NumPy.array創建一個ndarray只需調用NumPy的array函數即可：numpy.array(object,dtype=None,copy=True,order=None,subok=False,ndmin=0)object：數組或嵌套的數列dtype：數組元素的數據類型，可選copy：對象是否需要復制，可選order：創建數組的樣式，C為行方向，F為列方向，A為任意方向（默認）subok：默認返回一個與基類類型一致的數組ndmin：指定生成數組的最小維度數據分析基礎與NumPy3NumPy的基本操作2．NumPy.emptyNumPy.empty用于創建指定形狀和dtype的未初始化數組：NumPy.empty(shape,dtype=float,order='C')shape：空數組的形狀，整數或整數元組dtype：所需的輸出數組類型，可選order：'C'為按行的C風格數組，'F'為按列的Fortran風格數組x=np.empty([3,2],dtype=int)數據分析基礎與NumPy3NumPy的基本操作3.NumPy.zerosNumPy.zeros函數用于返回特定大小，以0填充的新數組。NumPy.zeros(shape,dtype=float,order='C')shape：空數組的形狀，整數或整數元組dtype：所需的輸出數組類型，可選order：'C'為按行的C風格數組，'F'為按列的Fortran風格數組x=np.zeros(5)數據分析基礎與NumPy3NumPy的基本操作4．NumPy.onesNumPy.ones函數用于返回特定大小，以1填充的新數組。NumPy.ones(shape,dtype=None,order='C')shape：空數組的形狀，整數或整數元組dtype：所需的輸出數組類型，可選order：'C'為按行的C風格數組，'F'為按列的Fortran風格數組x=np.ones(5)[1.1.1.1.1.]數據分析基礎與NumPy3NumPy的基本操作5．NumPy.asarray此函數類似于NumPy.array，除了它有較少的參數。對于將Python序列轉換為ndarray非常有用。NumPy.asarray(a,dtype=None,order=None)a：任意形式的輸入參數，比如列表、列表的元組、元組、元組的元組、元組的列表dtype：通常，輸入數據的類型會應用到返回的ndarrayorder：'C'為按行的C風格數組，'F'為按列的Fortran風格數組x=[1,2,3]a=np.asarray(x)[123]數據分析基礎與NumPy3NumPy的基本操作6．NumPy.arange該函數返回ndarray對象，包含給定范圍內的等間隔值。NumPy.arange(start,stop,step,dtype)start：范圍的起始值，默認為0stop：范圍的終止值（不包含）step：兩個值的間隔，默認為1dtype：返回ndarray的數據類型，如果沒有提供，則會使用輸入數據的類型。x=np.arange(5)[01234]數據分析基礎與NumPy3NumPy的基本操作7．ndarray的隨機創建NumPy.random用于生成隨機數據。arr=np.random.rand(3,4)數據分析基礎與NumPy4NumPy統計函數NumPy提供了很多統計函數，用于從數組中查找最小元素，最大元素，百分位標準差和方差等。1.numpy.amin和numpy.amax計算數組中的元素沿指定軸的最小值numpy.amax(a[,axis=None,out=None))a：輸入數據。axis:指定沿著某個軸來計算最大值，axis=0表示按列，axis=l表示按行，默認值None表示對整個數組。out：替代輸出數組，用于放置結果，默認值為None。x=np.arange(5)[01234]計算數組中的元素沿指定軸的最大值numpy.max(a[,axis=None,out=None])數據分析基礎與NumPy4NumPy統計函數2.numpy.ptp函數numpy.ptp函數返回沿某軸(axis)方向上的最大值與最小值的差值即maximum-minimum的值形成的數組。numpy.ptp(a[,axis=None,out=None])a：輸入數據。axis:指定沿著某個軸來計算最大值，axis=0表示按列，axis=l表示按行，默認值None表示對整個數組。out：替代輸出數組，用于放置結果，默認值為None。print('每行元素最大值和最小值之差：',np.ptp(a,axis=1))print('每列元素最大值和最小值之差：',np.ptp(a,axis=0))數據分析基礎與NumPy4NumPy統計函數3.numpy.percentile函數numpy.percentile函數用于計算數組中元素的百分位數。numpy.percentile(a,q,axis)a:輸入數組；q:要計算的百分位數，在0~100之間；axis:沿著它計算百分位數的軸。print("在縱列上求50%的分位數:",np.percentile(a,50,axis=0))print("在橫列上求50%的分位數:",np.percentile(a,50,axis=1))數據分析基礎與NumPy4NumPy統計函數4.numpy.median函數沿某軸(axis)方向計算數組中的中位數。numpy.median(a[,axis=None])a：數組或可以轉化成數組的對象；axis：指定沿著某個軸來計算中位數，axis=0表示按列，axis=l表示按行，默認值None表示對整個數組。print('所有數組元素的中位數：',np.median(a))print('在縱列上元素的中位數：',np.median(a,axis=0))print('在橫列列上元素的中位數：',np.median(a,axis=1))數據分析基礎與NumPy4NumPy統計函數5.numpy.mean函數計算數組或者軸方向的算術平均數。numpy.mean(a[,axis=None])a：數組或可以轉化成數組的對象；axis：指定沿著某個軸來計算中位數，axis=0表示按列，axis=l表示按行，默認值None表示對整個數組。數據分析基礎與NumPy4NumPy統計函數6.numpy.average函數根據在另一個數組中給出的各自的權重計算數組中元素的加權平均值。numpy.average(a[,axis=None,weights=None])a：輸入數組；axis：指定沿著某個軸來計算平均值，axis=0表示按列，axis=l表示按行，默認值None表示對整個數組；weights：表示權重值。當權重值為—維數組時，其長度必須與沿指定軸方向的長度一致。另外，權重值數組也可以與a數組的形狀相同。average()函數除了a參數外，其余參數為可選項。wts=np.array([4,3,2,1])print('指定權重,求平均值：',np.average(a,weights=wts))數據分析基礎與NumPy4NumPy統計函數7.標準差與標準差（1）標準差計算標準差的公式如下：std=sqrt(mean((x-x.mean())**2))a：輸入數組；axis：指定沿著某個軸來計算平均值，axis=0表示按列，axis=l表示按行，默認值None表示對整個數組。numpy.std(a[,axis=None])數據分析基礎與NumPy4NumPy統計函數（2）方差方差是每個樣本值與全體樣本值的平均數之差的平方值的平均數。mean((x-x.mean())**2)a：輸入數組；axis：指定沿著某個軸來計算平均值，axis=0表示按列，axis=l表示按行，默認值None表示對整個數組；dtype:數據類型。numpy.var(a[,axis=None,dtype=None])數據分析基礎與NumPy數據統計分析與Pandas數據可視化與Matplotlib目錄這里說明圖片內容數據統計分析與PandasPandas的核心是Series和DataFrame兩大數據結構Series數據結構用于存儲—個序列的—維數組DataFrame數據結構用于存儲復雜數據的二維數據結構數據統計分析與Pandas1Series對象及常用操作Series由一組數據以及—組與之相關的數據標簽組成的。數據（即值）存放在value主數組標簽（即索引）存儲在index數組中Series的表現形式為：索引在左邊，值在右邊。例如，Series對象[1,3,5,2]的內部結構數據統計分析與Pandas1Series對象及常用操作1.創建Series對象（1）通過Series構造函數創建。pandas.Series(data=None[,index=None,dtype=None,name=None,copy=False])data：傳遞給序列的數據，可以是ndarray、list或字典。index：設置軸的索引，索引值的個數與data參數的長度相同。如果沒有設置index參數，那么默認值是np.arange(n)，或者RangeIndex(0,1,2,…,n)。dtype：設置序列元素的數據類型，如果沒有設置，那么將推斷數據類型。name：序列是一個多行的結構，name是序列的名稱。copy：復制數據，默認值是false。數據統計分析與Pandas1Series對象及常用操作2．查看Series值和標簽通過Series的屬性values和index可查看值和標簽。print("查看Series對象的值：",m1.values)print("查看Series對象的標簽：",m1.index)數據統計分析與Pandas1Series對象及常用操作3.選擇內部元素與賦值Series索引的工作方式類似于NumPy數組的索引，但Series的索引值不只是整數。(1)選擇單個元素看成普通的NumPy數組，指定索引即可。如，m1[1]獲取元素是-3。(2)選擇多個元素切片“[起始值:終止值:步長]”來選擇多個元素時，所指定的元素是不包含終止值位置的元素，如沒有指定終止值，則終止值是包含Series最后索引的元素。(3)給元素賦值數據統計分析與Pandas1Series對象及常用操作4.統計Series對象的組成元素（1）統計元素重復出現的次數unique()函數返回一個由Series去重后的元素所組成的數組value_counts()函數返回各個不同的元素，而且還能計算每個元素在Series中的出現次數。運行結果中左邊是元素，右邊是元素出現的次數。（2）判斷元素是否存在使用isin()函數可以判斷給定的一列元素是否包含在Series數據結構中。在則返回True，否則返回Falseimportnumpyasnpm1=pd.Series([2,-3,4,5,2,4,2])print("對Series各個元素的值去重：",m1.unique())print("返回Series各個元素以及重復出現的次數：\n",m1.value_counts())print("判斷5是否在Series中間：\n",m1.isin([5]))數據統計分析與Pandas2DataFrame對象及常用操作DataFrame是一個類似于二維數組或表格型的數據結構，既有行索引，又有列索引。行索引，表明不同行，橫向索引，叫index，0軸，axis=0列索引，表名不同列，縱向索引，叫columns，1軸，axis=1數據統計分析與Pandas2DataFrame對象及常用操作1.創建DataFrame對象使用DataFrame構造函數：pandas.DataFrame(data=None,index=None,columns=None)data：為ndarray、list或dict類型數據。index：行標簽。如果沒有傳入參數，默認自動創建一個從0-N的整數索引。columns：列名列表列標簽。如果沒有傳入參數，默認自動創建一個從0-N的整數索引。數據統計分析與Pandas2DataFrame對象及常用操作通常情況下，我們使用pd.DataFrame函數來創建DataFrame，當然也可以根據需要使用pd.DataFrame.from_dict函數來創建DataFrame。（1）使用字典來創建DataFrameimportpandasaspddata={'name':['Tom','Jhon','Strong','Sea','Sun'],'birthyear':[2000,2001,2002,2001,2002],'height':[150,170,165,185,175]}row_index=['1','2','3','4','5']col_names=['birthyear','name','height']df=pd.DataFrame(data,columns=col_names,index=row_index)print(df)birthyearnameheight12000Tom15022001Jhon17032002Strong16542001Sea18552002Sun175數據統計分析與Pandas2DataFrame對象及常用操作（2）使用列表（列表項是List）來創建DataFrameimportpandasaspdstudents=[['jack',34,'CAU'],['Tom',30,'Tsinghua'],['Aadi',16,'PKU']]df=pd.DataFrame(students)print(df)importpandasaspdstudents=[('jack',34,'CAU'),('Tom',30,'Tsinghua'),('Aadi',16,'PKU')]df=pd.DataFrame(students)print(df)（3）使用列表（列表項是元組）來創建DataFrame對象數據統計分析與Pandas2DataFrame對象及常用操作（4）使用from_dict創建DataFramepd.DataFrame.from_dict(data)中，data是一個字典結構，字典的Key是列名，Value是一個列表，通過這種格式創建DataFrame。importpandasaspddata={'col_1':[3,2,1,0],'col_2':['a','b','c','d']}df=pd.DataFrame.from_dict(data)print(df)數據統計分析與Pandas2DataFrame對象及常用操作2.DataFrame的屬性DataFrame的屬性主要是索引、數據類型、值和形狀。（1）DataFrame的索引通過index屬性來訪問DataFrame的行標簽，通過columns屬性訪問DataFrame的列標簽。（2）數據類型：df.dtypes（3）DataFrame的值：df.values（4）DataFrame的軸和形狀：df.axes和df.shape數據統計分析與Pandas2DataFrame對象及常用操作2.DataFrame的屬性DataFrame的屬性主要是索引、數據類型、值和形狀。（1）DataFrame的索引通過index屬性來訪問DataFrame的行標簽，通過columns屬性訪問DataFrame的列標簽。（2）數據類型：df.dtypes（3）DataFrame的值：df.values（4）DataFrame的軸和形狀：df.axes和df.shape數據統計分析與Pandas2DataFrame對象及常用操作3.列操作和行操作（1）追加列通過為一個新列賦值來向DataFrame中追加新列，新列始終處于列名序列的末尾：df['new']='a'（2）插入列insert()函數，該函數向DataFrame中插入一列，并制定新列的位置：DataFrame.insert(self,loc,column,value)loc：插入列的位置column：插入列的名稱value：插入列的值數據統計分析與Pandas2DataFrame對象及常用操作（3）刪除列或行使用drop函數來刪除行或列：DataFrame.drop(self,labels=None,axis=0,index=None,columns=None,level=None,inplace=False,errors='raise')labels和axis：labels參數指定要刪除的標簽，如果axis=0或'index'，表示行標簽；如果axis=1或'columns'，表示列標簽。axis的默認值是0；index：設置index等價于設置labels和axis=0；columns：設置columns等價于設置labels和axis=1。數據統計分析與Pandas2DataFrame對象及常用操作（4）追加數據行DataFrame.append(self,other,ignore_index=False,verify_integrity=False,sort=None)就是把一個結構相同的DataFrame追加到另一個DataFrame的后面，把兩個DataFrame合并為一個。數據統計分析與Pandas2DataFrame對象及常用操作4.列數據類型轉換df['col_name'].astype(str)df['col_name'].astype('object')astype(dtype)函數用于把DataFrame的列轉換為特定的類型，dtype可以是pandas支持的類型，也可以是NumPy.dtype，也可以是Python類型：數據分析基礎與NumPy數據統計分析與Pandas數據可視化與Matplotlib目錄這里說明圖片內容數據可視化與Matplotlib數據可視化是以圖形或圖表的形式展示數據。數據可視化后，可以更加直觀地幫助人們快速地理解數據，發現數據的關鍵點。數據可視化與Matplotlib1常用的數據可視化工具在Python中已經有很多數據可視化方面的第三方庫：專門用于開發2D圖表提供多樣化的輸出格式優點：使用起來極其簡單；以漸進、交互式方式實現數據可視化；表達式和文本使用LaTeX排版；對圖像元素控制力更強；可輸出PNG、PDF、SVG和EPS等多種格式。Matplotlib基于Matplotlib產生的一個模塊，專攻于統計可視化，可以和Pandas進行無縫鏈接相對于Matplotlib，Seaborn語法更簡潔SeabornHoloViews開源的Python庫，可用非常少的代碼行完成數據分析和可視化適合于數據的交互式探索數據可視化與Matplotlib1常用的數據可視化工具在Python中已經有很多數據可視化方面的第三方庫：它的API簡單、友好、一致，并建立在強大的vega-lite（交互式圖形語法）之上AltairAPI不包含實際的可視化呈現代碼，而是按照vega-lite規范發出JSON數據結構。由此產生的數據可以在用戶界面中呈現Altair提供了交互式的、公開的，高質量的圖表集，可與R、Python、Matlab等軟件對接。擁有在別的庫中很難找到的幾種圖表類型，如等值線圖，樹形圖和三維圖表等，圖標類型豐富，申請了API密鑰后，可以一鍵將統計圖形同步到云端。Plotly數據統計分析與Pandas2Matplotlib繪圖的基本流程1.創建簡單圖表通過pipinstallmatplotlib命令進行自動安裝Matplotlib庫后，用Matplotlib畫圖一般需要如下5個流程：繪圖流程：導入模塊、創建畫布、制作圖形、美化圖片（添加各類標簽和圖例）、保存并顯示圖表。1）導入matplotlib.pyplot模塊。importmatplotlib.pyplotasplt數據統計分析與Pandas2Matplotlib繪圖的基本流程2）利用figure函數創建畫布。由于Matplotlib的圖像均位于繪圖對象中，在繪圖前，先要創建繪圖對象。deffigure(num=None,figsize=None,dpi=None,facecolor=None,edgecolor=None,frameon=True,FigureClass=Figure,clear=False,**kwargs)數據統計分析與Pandas2Matplotlib繪圖的基本流程3）繪制圖表。通過調用plot函數可實現在當前繪圖對象中繪制圖表plt.plot(x,y,label,color,linewidth,linestyle)或plt.plot(x,y,fmt,label)4）添加各類標簽和圖例在調用plot函數完成繪圖后，還需要為圖表添加各類標簽和圖例。數據統計分析與Pandas2Matplotlib繪圖的基本流程pyplot中添加各類標簽和圖例的函數包括：1)plt.xlabel：指定x軸的名稱，可以指定位置、顏色、字體大小等參數。2)plt.ylabel：指定y軸的名稱，可以指定位置、顏色、字體大小等參數。3)plt.title：指定圖表的標題，可以指定標題名稱、位置、顏色、字體大小等參數。4)plt.xlim：指定圖形x軸的范圍，只能輸入一個數值區間，不能使用字符串。5)plt.ylim：指定圖形y軸的范圍，只能輸入一個數值區間，不能使用字符串。6)plt.xticks：指定x軸刻度的數目與取值。7)plt.yticks：指定y軸刻度的數目與取值。8)plt.legend：指定當前圖形的圖例，可以指定圖例的大小、位置和標簽。數據統計分析與Pandas2Matplotlib繪圖的基本流程5）保存和顯示圖表plt.savefig：保存繪制的圖表為圖片，可以指定圖表的分辨率、邊緣和顏色等參數。plt.show：在本機顯示圖表?！纠坷肕atplotlib繪制折線圖，展現北京一周的天氣，比如從星期一到星期日的天氣溫度：8,7,8,9,11,7,5。#1.導入模塊importmatplotlib.pyplotasplt#2.創建畫布plt.figure(figsize=(10,10),dpi=100)#3.繪制折線圖plt.plot([1,2,3,4,5,6,7],[8,7,8,9,11,7,5])#4.添加標簽plt.xlabel("Week")plt.ylabel("Temperature")#5.顯示圖像plt.show()數據統計分析與Pandas2Matplotlib繪圖的基本流程2.創建子圖在Matplotlib中，可以將—個繪圖對象分為幾個繪圖區域，在每個繪圖區域中可以繪制不同的圖像，這種繪圖形式稱為創建子圖。創建子圖可以使用subplot()函數subplot(numRows,numCols,plotNum)numRows：表示將整個繪圖區域等分為numRows行;numCols：表示將整個繪圖區域等分為numCols列;plotNum：表示當前選中要操作的區域。數據統計分析與Pandas2Matplotlib繪圖的基本流程【例】創建3個子圖，分別繪制正弦函數、余弦函數和線性函數。#1.導入模塊importmatplotlib.pyplotaspltimportnumpyasnpx=np.linspace(0,10,80)y=np.sin(x)z=np.cos(x)k=x#第一行的左圖plt.subplot(221)plt.plot(x,z,"r--",label="$cos(x)$")#第一行的右圖plt.subplot(222)plt.plot(x,y,label="$sin(x)$",color="blue",linewidth=2)#第二整行plt.subplot(212)plt.plot(x,k,"g--",label="$x$")plt.legend()plt.savefig("image.png",dpi=100)plt.show()數據統計分析與Pandas3Matplotlib的基礎繪圖功能1．完善原始折線圖：給圖形添加輔助功能（1）準備數據并畫出初始折線圖y_hangzhou=[random.uniform(15,18)foriinx]（2）添加自定義x,y刻度1）plt.xticks(x,**kwargs)x:要顯示的刻度值2）plt.yticks(y,**kwargs)y:要顯示的刻度值#構造x軸刻度標簽x_ticks_label=["11點{}分".format(i)foriinx]#構造y軸刻度y_ticks=range(40)#修改x,y軸坐標的刻度顯示plt.xticks(x[::5],x_ticks_label[::5])plt.yticks(y_ticks[::5])數據統計分析與Pandas3Matplotlib的基礎繪圖功能（3）解決中文顯示問題在Python腳本中動態設置matplotlibrc，這樣也可以避免由于更改配置文件而造成的麻煩frompylabimportmpl#設置顯示中文字體mpl.rcParams["font.sans-serif"]=["SimHei"]有時候字體更改后，會導致坐標軸中的部分字符無法正常顯示，此時需要更改axes.unicode_minus參數。#設置正常顯示符號mpl.rcParams["axes.unicode_minus"]=False（4）添加網格顯示plt.grid(True,linestyle='--',alpha=0.5)數據統計分析與Pandas3Matplotlib的基礎繪圖功能（5）添加描述信息添加x軸、y軸描述信息及標題，通過fontsize參數修改圖像中字體大小。plt.xlabel("時間")plt.