對爬取的信息進(jìn)行篩選篩選哪些信息對爬取的信息進(jìn)行篩選篩選的信息有：重復(fù)數(shù)據(jù)空數(shù)據(jù)錯(cuò)誤數(shù)據(jù)爬蟲代碼對爬取的信息進(jìn)行篩選#encoding=utf8#設(shè)置默認(rèn)編碼importsys#編碼模塊importpandasaspd#數(shù)據(jù)分析模塊reload(sys)#重載sys.setdefaultencoding('utf8')#設(shè)置編碼為utf8df=pd.read_csv("E:\\data1.csv")#讀取E盤根目錄下的data1.csv文件foridxinrange(2,11):#循環(huán)10次name='E:\\data'+str(idx)+'.csv'#設(shè)置讀取文件的名稱df2=pd.read_csv(name)#循環(huán)讀取data2.csv....data10.csvdf=pd.concat([df,df2],ignore_index=True)#將兩個(gè)d合并成一個(gè)新的d，忽略兩個(gè)df的索引爬蟲代碼對爬取的信息進(jìn)行篩選df=df.drop_duplicates().dropna()#對df去重去空df=df[(df.price/df.area<10)][df.area<200]#去除單價(jià)高過10萬和面積大于200的數(shù)據(jù)df.index=range(len(df))#df的重新設(shè)置索引，索引是df的長度sd1=df.ix[:,[0,1]].groupby(['location']).sum()#選擇df的第一、第二列，按照'location'列分組求和x1=sd1.index#獲取sd1的索引y1=sd1.price.tolist()#獲取sd1的price的值并轉(zhuǎn)成列表類型爬蟲代碼對爬取的信息進(jìn)行篩選sd2=df.ix[:,[0,1,4]].copy()#選擇df的第一、第二、第四列，并復(fù)制一份新數(shù)據(jù)sd2['avgprice']=sd2.price/sd2.area#sd2添加avgprice列，數(shù)據(jù)是sd2的price列的數(shù)據(jù)除以area列的數(shù)據(jù)sd2=sd2.groupby(['location']).mean().avgprice#sd2按照location分組并求平均在選取avgprice列x2=sd2.index#獲取sd2的索引y2=sd2.tolist()#獲取sd1的price的值并轉(zhuǎn)成列表類型sd3=df.ix[:,['community','price','area']]#選擇df的community，price，area列，并復(fù)制一份新數(shù)據(jù)sd3['avgprice']=sd3.price/sd3.area#sd3添加avgprice列，數(shù)據(jù)是sd3的price列的數(shù)據(jù)除以area列的數(shù)據(jù)爬蟲代碼對爬取的信息進(jìn)行篩選sd3=sd3.groupby('community').mean().avgprice.sort_values(ascending=False)[:10]#sd2按照location分組并求平均在選取avgprice列再降序排序選取前10個(gè)x3=sd3.index#獲取sd2的索引y3=sd3.tolist()#獲取sd1的price的值并轉(zhuǎn)成列表類型draw=[(x1,y1,'line'),(x2,y2,'scatter