試卷C卷-參考答案單選題(30道)1-5DADAD6-10DDADA11-15ADDBB16-20AAABB21-25CAADA26-30CCADA多選題（20道）1.BCD 2.AC 3.ABD 4.ABCD 5.AD 6.ABCD 7.BCD 8.ACD 9.ABCD 10.ABCD 11.ABCD 12.ABC 13.ABD 14.BCD 15.ABCD 16.ABD 17.BCD 18.ACD 19.BC 20.ABCD填空題（20道）HadoopAnyRefVectorA-rray有序的Unit隱式轉換equalshashCodeTCP/IPJobManager,TaskManager無界流實時性基本處理單元Filter算子鏈合并ReduceMapFunction事件時間,處理時間,攝取時間PurgingTrigger判斷題（20道）1.× 2.√ 3.√ 4.× 5.√ 6.× 7.√ 8.√ 9.√ 10.√ 11.× 12.√ 13.√ 14.√ 15.√ 16.× 17.√ 18.√ 19.× 20.√簡答題（10道）簡述相較于Storm，Flink具有的優勢。答：1）低延遲：Flink基于事件驅動，采用流式計算的方式，支持毫秒級低延遲處理，而Storm采用的是微批處理，延遲較高。2）可以處理有界和無界數據：Flink同時支持批處理和流處理，可以同時處理有界和無界數據，而Storm只支持流處理。3）更強的容錯能力：Flink的容錯機制是基于Checkpoint和Savepoint的，可以保證數據不丟失，且容錯恢復速度快，而Storm的容錯機制較為簡單。4）更靈活的狀態管理：Flink支持多種狀態管理方式，例如內存、RocksDB、HDFS等，可以根據實際需求選擇適合的狀態管理方式，而Storm只支持基于Zookeeper的狀態管理。5）更全面的API支持：Flink的API支持比Storm更全面，包括DataSet和DataStream兩種編程模型，同時也支持SQL、CEP、圖計算等高級計算。簡述Scala的類型體系劃分的層次。答：1）頂級類型：Any和AnyRef，所有Scala類的超類都是Any。AnyRef是所有引用類的超類。在Scala中，一般情況下使用Any和AnyRef就可以滿足大部分需求了。2）值類型和引用類型，值類型和引用類型的區別在于，值類型的變量直接存儲值，而引用類型的變量存儲的是對實際值的引用。簡述一下Logstash。答：Logstash是一個開源的日志收集、處理和轉發的工具，能夠從多種數據源收集數據，包括文件、網絡、數據庫等，并能夠將其處理后輸出到目標數據存儲中，支持多種數據格式和插件，能夠自定義數據處理邏輯，同時具有較高的可擴展性和靈活性。簡述批處理和流處理的差異。答：數據處理方式處理時延處理精度數據處理規模處理結果輸出方式。簡述KeyedState可以幫助實現的功能。答：1）事件聚合：對具有相同key的事件進行聚合操作，例如求和、計數、平均值等。2）狀態分離：將某些狀態數據從全局狀態中分離出來，只與當前key相關，提高計算效率。3）狀態共享：多個算子之間可以共享某個key對應的狀態數據，實現數據共享和狀態復用。4）有狀態的流處理：KeyedState可以與Flink的窗口機制結合使用，實現有狀態的流處理，例如滑動窗口、會話窗口等。簡述Checkpoint。答：Checkpoint又稱為檢查點，它在Flink中起到了關鍵的容錯機制作用。在Flink的運行過程中，系統會定期將應用的狀態信息保存到外部存儲設備，如分布式文件系統，這樣就完成了應用狀態的持久化。如果應用遭遇故障，Flink就會用這些保存在外部的最近的檢查點數據來恢復應用的狀態。這保證了從上一個檢查點之后的數據得到正確處理。簡述ClickHouse。答：ClickHouse是一個高性能的列式數據庫管理系統（ColumnarDatabaseManagementSystem,DBMS），由俄羅斯的Yandex團隊于2016年開源。作為一個列式數據庫，ClickHouse主要用于在線分析處理（OnlineAnalyticalProcessing,OLAP）場景，能夠處理大量實時數據的查詢和分析。簡述FlinkSQL的三種窗口表值函數。答：TumbleWindows（跳躍窗口）是一種固定大小的窗口，不會重疊。例如，如果你指定一個大小為5min的TumbleWindows，則Flink會每5min創建一個新窗口。HopWindows（滑動窗口）是一種可以重疊的窗口，滑動窗口具有固定大小，并沿著時間軸以固定的間隔滑動。窗口之間可能會重疊例如，如果你指定一個大小為5min、滑動間隔為1min的HopWindows，則Flink會創建一個每1min滑動一次的大小為5min的窗口，并在這些窗口之間允許有重疊。CumulateWindows（累積窗口）是一種根據某個時間戳字段創建的窗口，窗口的結束時間為當前行的時間戳加上一個固定大小的時間跨度。例如，如果你指定一個時間跨度為5min的CumulateWindows，則Flink會將所有時間戳小于當前行時間戳5min的行分到同一個窗口中。簡述Flink支持從集合中讀取數據的三種方式。答：fromCollection(Collection)-從JavaJava.util.Collection創建數據流。集合中的所有元素必須屬于同一類型。fromCollection(Iterator,Class)-從迭代器創建數據流。class參數指定迭代器返回元素的數據類型。fromElements(T...)-從給定的對象序列中創建數據流。所有的對象必須屬于同一類型。簡述數據去重的概念。答：數據去重（Deduplication）是指在一組列中刪除重復的行，只保留第一行或最后一行。在某些情況下，上游ETL作業沒有實現端到端的精確一次處理語義，這可能會導致在故障恢復時在sink中出現重復記錄。但是，重復記錄會影響下游分析作業（例如SUM、COUNT）的正確性，因此在進一步分析之前需要進行去重處理。編碼題（5道）MyClass是一個普通的類，它有一個屬性name和一個方法hello，它的伴生對象MyClass中有一個私有的靜態變量count，一個方法getCount和一個方法newMyClass，這個方法返回一個MyClass對象。在Main對象中，我們實例化了兩個My-Class對象，并且通過MyClass伴生對象的方法統計了創建的對象數量。答：classMyClass(valname:String){defhello():Unit=println(s"Hello,$name!")}objectMyClass{privatevarcount=0defgetCount:Int=countdefnewMyClass(name:String):MyClass={count+=1newMyClass(name)}}objectMainextendsApp{valobj1=MyClass.newMyClass("Alice")valobj2=MyClass.newMyClass("Bob")println(obj1.hello())//Hello,Alice!println(obj2.hello())//Hello,Bob!println(MyClass.getCount)//2}編寫一個使用socketTextStream方法的示例程序，它從指定的socket地址讀取字符串數據，并統計每個單詞出現的次數。答：importorg.apache.flink.streaming.api.scala._objectSocketTextStreamWordCount{defmain(args:Array[String]){valenv=StreamExecutionEnvironment.getExecutionEnvironmentvaltext=env.socketTextStream("localhost",9999)valcounts=text.flatMap{_.toLowerCase.split("\\W+")filter{_.nonEmpty}}.map{(_,1)}.keyBy(0).sum(1)counts.print()env.execute("SocketTextStreamWordCount")}}編寫一個函數，接受一個正整數作為參數，并返回該數的階乘。答：objectFactorial{ deffactorial(n:Int):BigInt={ if(n==0)BigInt(1) elsen*factorial(n-1) } defmain(args:Array[String]):Unit={ valnum=5 valresult=factorial(num) println(s"$num的階乘是:$result") }}編寫一個Scala函數，去除一個整數列表中的重復元素。答：objectRemoveDuplicates{defremoveDuplicates(numbers:List[Int]):List[Int]=numbers.distinctdefmain(args:Array[String]):Unit={valnumbers=List(1,2,3,2,4,4,5,1)valresult=removeDuplicates(numbers)println(result)}}編寫一個Scala函數，接受一個字符串作為參數，并返回該字符串的大寫形式。答：objectT