調優map和reduce參數了解mapreduce從哪方面調節參數1、mapred-site.xml文件

2、shuffle性能優化

3、yarn-site.xml文件

4、容錯相關參數

5、本地運行mapreduce作業

6、效率和穩定性相關參數

mapreduce.map.memory.mb:一個MapTask可使用的資源上限（單位:MB），默認為1024。如果MapTask實際使用的資源量超過該值，則會被強制殺死。mapreduce.reduce.memory.mb:一個ReduceTask可使用的資源上限（單位:MB），默認為1024。如果ReduceTask實際使用的資源量超過該值，則會被強制殺死。mapred.child.java.opts配置每個map或者reduce使用的內存的大小，默認是200Mmapreduce.map.cpu.vcores:每個Maptask可使用的最多cpucore數目,默認值:1mapreduce.reduce.cpu.vcores:每個Reducetask可使用的最多cpucore數目,默認值:1mapred-site.xml文件mapreduce.task.io.sort.mb100//shuffle的環形緩沖區大小，默認100mmapreduce.map.sort.spill.percent0.8//環形緩沖區溢出的閾值，默認80%shuffle性能優化yarn.scheduler.minimum-allocation-mb 1024給應用程序container分配的最小內存yarn.scheduler.maximum-allocation-mb 8192 給應用程序container分配的最大內存yarn.scheduler.minimum-allocation-vcores 1yarn.scheduler.maximum-allocation-vcores 32yarn.nodemanager.resource.memory-mb8192yarn-site.xml文件mapreduce.map.maxattempts:每個MapTask最大重試次數，一旦重試參數超過該值，則認為MapTask運行失敗，默認值：4。mapreduce.reduce.maxattempts:每個ReduceTask最大重試次數，一旦重試參數超過該值，則認為MapTask運行失敗，默認值：4。mapreduce.job.maxtaskfailures.per.tracker:當失敗的MapTask失敗比例超過該值為，整個作業則失敗，默認值為0.如果你的應用程序允許丟棄部分輸入數據，則該該值設為一個大于0的值，比如5，表示如果有低于5%的MapTask失敗（如果一個MapTask重試次數超過mapreduce.map.maxattempts，則認為這個MapTask失敗，其對應的輸入數據將不會產生任何結果），整個作業仍認為成功。、容錯相關參數設置以下幾個參數:=localmapreduce.jobtracker.address=localfs.defaultFS=local本地運行mapreduce作業mapreduce.map.speculative:是否為MapTask打開推測執行機制，默認為true，如果為true，如果Map執行時間比較長，那么集群就會推測這個Map已經卡住了，會重新啟動同樣的Map進行并行的執行，哪個先執行完了，就采取哪個的結果來作為最終結果，一般直接關閉推測執行mapreduce.reduce.speculative:是否為ReduceTask打開推測執行機制，默認為true，如果reduce執行時間比較長，那么集群就會推測這個reduce已經卡住了，會重新啟動同樣的reduce進行并行的執行，哪個先執行完了，就采取哪個的結果來作為最終結果，一般直接關閉推測執行mapreduce.input.f