Hadoop大數(shù)據(jù)項目開發(fā)——單詞統(tǒng)計分析代碼-Driver實現(xiàn)目錄content02Reducer類的編寫01Mapper類的編寫03Driver類的編寫Driver類的編寫編寫完Mapper類和Reducer類之后，需要編寫Driver類，啟動程序。自定義WordCountdDriver類指定了輸入文件位置輸入文件格式類自定義Mapper類自定義Reducer類自定義OutputFormat類及輸出文件的位置；WordCountDriver類的代碼如下：本案例中的測試數(shù)據(jù)位于“G:/wordcount/input”的文件夾中。Driver類的編寫importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;publicclassWordCountDriver{ publicstaticvoidmain(String[]args)throwsException{ //Job Jobjob=Job.getInstance(); //1、封裝參數(shù)，驅(qū)動類對應(yīng)的字節(jié)碼對象 job.setJarByClass(WordCountJob.class); //2、封裝參數(shù)，job調(diào)用Mapper和Reducer實現(xiàn)類 job.setMapperClass(WordCountMapper.class); job.setReducerClass(WordCountReducer.class); //3、封裝參數(shù)，job調(diào)用的Mapper和Reducer實現(xiàn)類中key和value數(shù)據(jù)類型Driver類的編寫 //3、封裝參數(shù)，job調(diào)用的Mapper和Reducer實現(xiàn)類中key和value數(shù)據(jù)類型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); //4、封裝參數(shù)，處理的數(shù)據(jù)和最終結(jié)果數(shù)據(jù)路徑 FileInputFormat.setInputPaths(job,newPath("G:\\wordcount\\input"));//G:\\wordcount\\input為文件所存放的路徑 FileOutputFormat.setOutputPath(job,newPath("G:\\wordcount\\output"));//G:\\wordcount\\output為文件中單詞出現(xiàn)的次數(shù)。 //5、可以設(shè)置啟動的reduce數(shù)量 job.setNumReduceTasks(2); //6、提交job給YARN booleanres=job.waitForCompletion(true); System.exit(res?0:-1); }}Driver類的編寫上述代碼中，setJarByClass(WordCountJob.class)方法指定job調(diào)用的驅(qū)動類；setMapperClass(WordCountMapper.class)方法和setReducerClass(WordCountReducer.class)方法指定job調(diào)用的Mapper和Reducer實現(xiàn)類；setMapOutputKeyClass(Text.class)方法、setMapOutputValueClass(IntWritable.class)方法、setOutputKeyClass(Text.class)方法和setOutputValueClass(IntWritable.class)方法指定job調(diào)用的Mapper和Reducer實現(xiàn)類中key和value數(shù)據(jù)類型；FileInputFormat.setInputPath和FileOutputFormat.setOutputPath指定處理的數(shù)據(jù)和最終結(jié)果數(shù)據(jù)路徑；提交job給YARN。Driver類的編寫處理的數(shù)據(jù)來自于G:/wordcount/input文件夾，最終輸出結(jié)果位于G:/wordcount/output文件夾，運行結(jié)果文件名如圖所示：Driver類的編寫在Windows10下運行MapReduce程序，必須在Windows10操作系統(tǒng)上配置Hadoop的Hadoop_HOME和Path路徑。運行結(jié)果如圖所示：課外拓展在上面代碼中，實現(xiàn)了本地測試功能，處理的數(shù)據(jù)來源本地，但是實際生產(chǎn)環(huán)境中，數(shù)據(jù)位于HDFS上，那么該如何解決？本地直接提交給集群運行生成Jar包提交給YARN運行課外拓展System.setProperty("HADOOP_USER_NAME","hadoop");Configurationconf=newConfiguration();//設(shè)置job運行時要訪問的默認(rèn)文件系統(tǒng)conf.set("fs.defaultFS","hdfs://hdp-01:9000");Jobjob=Job.getInstance(conf);1.本地直接提交給集群，添加代碼如下：課外拓展除了需要增加上述代碼之外，還需要將處理的數(shù)據(jù)和最終結(jié)果數(shù)據(jù)路徑修改為HDFS上的位置，如下所示：FileInputFormat.setInputPaths(job,newPath("/wordcount/input"));FileOutputFormat.setOutputPath(job,newPath("/wordcount/output"));1.本地直接提交給集群，添加代碼如下：課外拓展該方式中，只需