Hadoop大數據項目開發——單詞統計分析-mapper代碼實現目錄content02Reducer類的編寫01Mapper類的編寫03Driver類的編寫添加依賴：hadoop-commonhadoop-hdfshadoop-client實戰開發：WordCountMapperWordCountReducerWordCountMain/開發環境：mavenIDEA/Eclipse上傳運行：hadoopjarwordcount-1.0-SNAPSHOT.jar

/input/data.txt/output/wc單詞統計功能開發流程引入依賴<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-common</artifactId><version>2.9.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-core</artifactId><version>2.9.2</version></dependency>本案例中的測試數據位于“G:/wordcount/input”的文件夾中。首先在新建項目中的pom.xml文件中引入依賴，如圖所示：Mapper類的編寫新建WordCountMapper類，該類繼承了org.apache.hadoop.mapreduce.Mapper類。WordCountMapper類是map()函數的執行者，用戶需要根據數據處理需求重寫map()方法。創建WordCountMapper類Mapper類的編寫importjava.io.IOException;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper;publicclassWordCountMapperextendsMapper<LongWritable,Text,Text,IntWritable>{ @Override protectedvoidmap(LongWritablekey,Textvalue,Contextcontext) throwsIOException,InterruptedException{ Stringline=value.toString();//將Text類型轉成字符型 String[]words=line.split("");//切割單詞 for(Stringword:words){//遍歷words context.write(newText(word),newIntWritable(1)); } }}WordCountMapper類的代碼如圖所示：Mapper類的編寫上述代碼中可知，WordCountMapper類使用extends關鍵字繼承了Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>類，其中：KEYIN：是MapTask讀取到key的數據類型，是一行的起始偏移量的數據類型，使用長整型，在MapReduce中使用LongWritable。VALUEIN：是MapTask讀取到的數據的value的類型，是一行的內容的數據類型，本案例中一行內容的數據類型為文本型，在MapReduce中使用Text。KEYOUT：是用戶的自定義map方法要返回的結果Key-Value中的key的數據類型，在WordCount邏輯中，需要輸出的單詞是字符型，在MapReduce中使用Text。VALUEOUT：是用戶的自定義map方法要返回的結果Key-Value中value的數據類型，在wordcount邏輯中，需要輸出的單詞數量是整數，在MapReduce中使用IntWritable。在mapreduce中，map產生的數據需要傳輸給reduce，需要進行序列化和反序列化。而jdk中的原生序列化機制產生的數據量比較冗余，就會導致數據在mapreduce運行過程中傳輸效率低下。所以，hadoop專門設計了自己的序列化機制，那么，mapreduce中傳輸的數據類型就必須實現hadoop自己的序列化接口。hadoop為jdk中的常用基本類型Long，String，Integer，Float等數據類型封裝了自己的實現了hadoop序列化接口的類型：LongWritable，Text，IntWritable，FloatWritable。Mapper類的編寫Mapper類的編寫然后需要重寫map方法上述代碼中對map方法的重寫，可以通過快捷鍵實現，使用Alt+Insert組合鍵會出現提示，如圖所示：在生成類的各項基本方法界面中選擇OverrideMethods，出現可以重寫的方法，選擇重寫方法界面如圖所示：Mapper類的編寫選中要重寫的方法之后，會出現如圖代碼，將代碼中的super.map(key,value,context)；刪除，就可以在map()方法中編寫邏輯代碼，map()讀入進來的數據為Text類型，要對單詞按空格進行切分，需要將Text類型轉換為字符型，轉換代碼如下所示：Stringline=value.toString();//將Text類型轉成字符型刪除此行Mapper類的編寫其次，將讀入進來的數據按照空格進行切分，切分代碼如下所示：String[]words=line.split("");//切割單詞最后，需要將單詞轉換成為<單詞,1>的形式，遍歷切割完成后的單詞數組，將每個單詞都轉化成為<單詞,1>形式，代碼如下所示：for(Stringword:words){//遍歷