




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
大數據可視分析在海洋領域的應用摘要:隨著海洋觀測技術和數值仿真技術的發展,人們能獲取到規模更大、分辨率更高的海洋數據,這為復雜多元海洋環境要素及結構現象的分析帶來了機遇,同時也給傳統的分析方法帶來了挑戰。因此,將大數據可視分析方法引入了海洋數據分析,并探索了其在多元海洋時空數據分析、海洋重要結構的時空特征和演化分析等方面的應用價值,開發了多個可視分析系統,并通過全球和我國周邊一些海域數據分析的案例研究,提出了海洋數據可視分析的基本框架,展示了可視分析是大數據時代海洋復雜數據分析方面一種很有前途的技術。關鍵詞:可視分析;多元海洋時空數據;海洋結構;可視分析應用1引言隨著海洋觀測技術和數值仿真技術的不斷進步,人們逐漸可以獲取到更高分辨率和更大規模的多元時空變化的數據集,這給針對海洋復雜過程的分析研究提供了更多的機會,也帶來了很大的挑戰。首先,海洋數據本身隱含著復雜的時空過程和多元要素的動態變化,多個時空變量在空間和時間上與多個尺度高度相關,這使得從這些龐雜的數據中獲取有價值的模式或發現海洋結構(現象)及其時空演化規律變得困難;同時大數據使得傳統的依賴人工發現、評估和解釋時空模式或特征的分析方法變得低效;另外對海洋結構及其時空模式的識別目前還是局部粒度的,缺少對其時空模式的整體
概覽和多尺度細致的分析,而且目前的分析系統也缺少符合海洋研究者探索不同海洋時空情形的高效交互方式;此外,海量海洋大數據導致存儲困難、計算時間過長,雖然采用常規的數據約簡技術可以降低數據規模,但同時容易引起數據細節甚至關鍵結構信息的丟失;高緯度的海洋多元要素間的關系分析也變得復雜和困難;傳統的2D/3D可視化方法難以應對海量高維復雜時空數據的挑戰,視覺混淆和過度繪制問題變得尤為突出。可視分析是結合了機器學習、統計等自動化數據分析算法和交互式可視化來促進數據分析和推理的科學,能從大規模和復雜數據中多尺度地提取有用的信息和有意義的知識,并通過交互可視化數據探索生成假設和驗證,以獲得對物理現象的科學洞察,因而可視分析是現有的基于經驗、理論和基于數值模式方法進行復雜海洋數據分析研究的有力補充。為此,筆者將先進的可視分析技術引入復雜海洋數據分析中,開發了多個可視分析系統,用于輔助領域專家探索多元海洋環境要素的時空特征或相關性,分析渦旋及海洋鋒等重要海洋結構(現象)的時空特征及其演化規律,呈現可視分析技術在海洋數據分析領域的應用前景,并總結了海洋數據可視分析的基本框架。2相關工作2.1多元海洋時空數據可視分析常見的多元海洋時空數據可視分析是圍繞研究一個或多個海洋標量(溫度、鹽度等)和矢量(流場)的變化特征展開的,例如,SteinRJ等人提出了一個用于水質研究的交互式可視分析系統,該系統利用剖面、等值面、輪廓面、矢量箭頭等方法,對水源鹽度和流場數據的時空特征進行多視圖協同交互分析。SuTY等人開發了海洋數據可視分析系統,它支持對等高線、等值面、體繪制和流場的動態模擬,該集成系統采
用基于圖形處理器(graphicsprocessingunitGPU)的渲染方法加速標量或矢量場的繪制,直觀地分析海量海洋水文環境要素的空間特征,提升了數據分析時交互的速度。由于海洋數據是由多個相互關聯的變量組成的多場數據集,出現了一些基于平行坐標分析多變量關系的可視分析系統。例如,GuoHQ等人提出了一種針對多變量體數據的可視分析系統,利用平行坐標圖和基于多維比例尺圖對多變量體數據進行可視化和交互分析,實驗證明,該系統對不同大小和不同屬性的數據集的可視分析具有較高的可擴展性。YanoM等人提出了一個三維可視化系統,利用平行坐標圖對全球多個模態水域的多元屬性(溫度、密度和鹽度)進行對比分析,以發現模態相似的水域。用基于圖形處理器(graphicsprocessingunitGPU)的渲染方法加速標量或矢量場RochaA等人提出了一個用于分析仿真模型中多個海洋標量、矢量間相關性的可視分析系統,以不同的可視化形式同時疊加多個變量的可視化顯示,支持靈活的用戶交互和多變量切換顯示,以滿足用戶多層次的分析需求。但基于平行坐標的可視分析系統存在線條重疊和視覺混亂的問題,因此又出現了一些帶有聚合功能的平行坐標圖的新設計。總之,相比傳統的可視化分析方法,多元時空數據可視分析系統提供了更多的交互探索和可視化新設計,可在不同程度上提升數據分析的質量和效率。2.2海洋結構(現象)的可視分析大規模海洋數據中隱含著與復雜海洋過程相關的多種結構或現象,這里筆者主要以海洋鋒和渦旋等重要海洋結構識別與檢測、時空特征分析和演化兩個方面介紹相關可視分析系統。2.2.1海洋結構(現象)的識別與檢測在海洋中,各種現象/結構時時刻刻都會發生變化,并且每種現象都有其自身的物理特征,因此產生了多種特有結構的檢測和分析方法。海洋鋒的檢測方法主要有梯度法、直方圖法、熵方法、Canny邊緣算子方法等。常用的渦旋檢測方法有3種:第一種是基于幾何的方法,該方法利用流
場中流線的幾何形狀確定渦旋;第二種是基于閾值的方法,代表性的閾值法是基于Okubo-Weiss參數檢測渦旋;第三種是結合幾何法與閾值法的混合檢測方法,該方法可以提高渦流檢測的準確性和從海平面高度異常識別渦旋多核結構的能力。此外,通過Okubo-Weiss參數閾值法識別渦旋,并將其作為訓練集,然后通過卷積神經網絡(convolutionalneuralnetwork,CNN)進行特征學習,可實現基于深度學習的渦旋檢測。2.2.2海洋結構(現象)的時空特征和演化由于海洋數據規模變大,海洋結構(現象)通常涉及多個變量在空間、時間和多個尺度上的變化,這加大了海洋結構(現象)時空特征及演化分析的難度。MatsuokaD等人提出了一種渦旋檢測、跟蹤、事件檢測和可視化的新方法,分析渦旋演化過程中的合并和分叉,以及渦旋和洋流之間的相互作用等事件。WoodringJ等人開發了一個全球海洋渦旋系統,利用折線圖、直方圖等常見的圖表對渦旋的大小、深度進行可視化,還利用大量的高分辨率時空建模數據對渦旋進行多尺度的空間探索分析。可視分析技術確實在時空模式發現和演化分析的效率和質量方面有顯著的促進作用,但是在海洋領域應用可視分析技術的研究目前還處于起步階段,如何應用可視分析技術更好地提升復雜海洋數據分析的能力,值得進一步探索和研究。3海洋領域的可視分析技術3.1海洋數據及預處理通常,海洋數據來自觀測設備(如衛星、船舶或傳感器等),或來自計算機仿真(如海洋大氣模型)。海洋和大氣在循環系統中相互耦合,因此這里的海洋數據主要指各種海洋環境要素,包括海洋水文數據和海洋氣象數據。海洋水文數據包含水深、水溫、鹽度、水流、波浪、水色、透明度、海冰和海洋光等。海洋氣象數據包含氣溫、壓力、
濕度、風速、降水、云、霧等。單個時間步長的觀測數據和模擬數據全部由空間場數據組成,該空間場數據的每個網格點處都由多個變量組成。因此,各種時間序列的空間場數據構成了海洋數據集(觀測數據集或仿真集)。隨著觀測技術和計算機模擬技術的不斷發展,海洋數據的獲取量正在以不可預測的速度迅速增長。同時,海洋數據包含強大的時空過程,涉及多尺度結構之間的復雜相互作用。海洋數據具有異構性高、維度高、體積大、時空變化大以及多種海洋數據屬性之間耦合相關的特點。因此,在收集到海洋數據后,首先要進行數據清洗,以消除重復性數據、缺失數據等;其次要進行數據精簡,例如過濾/采樣(如簡單隨機采樣、等距抽樣、分層抽樣等)、降維、分組聚合和模型擬合等。3.2海洋領域的可視分析技術3.2.1海洋領域常用的可視化方法海洋領域的可視分析系統通常采用科學可視化技術,信息可視化技術用得較少,但信息可視化技術在以挖掘信息和獲取知識為目標的大數據分析中尤為重要。早期,多維海洋環境要素(如水溫、鹽度等標量和流場矢量)可視化的常用方法是使用二維點、線、面、粒子、標記符和3D體進行繪制。對于空間數據可視化,2D地圖或基于地球上的投影展示通常是地理分布的首選,同時還需要考慮投影、比例尺和視覺編碼設置;對于時間序列數據可視化,通常用時間序列圖展示海洋變量或現象的變化趨勢。當對象的時空信息維度較高時,三維展示也存在局限性,因此通常還需要結合高維數據可視化方法,如散點圖、熱圖/相關矩陣、投影、平行坐標圖以及集成的平行坐標散點圖等常用的可視化方式。但是在大數據環境下,平行坐標圖會遇到線條密集、重疊覆蓋的問題,根據線條的聚合特征可以對平行坐標圖進行簡化,減少視覺混淆。3.2.2海洋領域常用的交互方法在大數據可視分析的
界面中,還需要提供相應的交互組件以及合適的交互方式來幫助用戶使用和管理分析過程。目前,信息可視化中的人機交互技術主要可以分為5類:動態過濾技術、整體+詳細技術、平移+縮放技術、焦點+上下文技術、多視圖關聯協同技術。但對于一個具體的海洋領域可視分析系統而言,往往需要依據其特定的分析任務和用戶習慣來設計更恰當的交互方式。常用的交互方式有選擇、探索、抽象/具象、過濾、重配置、編碼、連接等。選擇是海洋數據可視分析系統中最常見的交互技術,允許用戶在很多顯示項目中標記感興趣的特定項目,選擇這些項目并跟蹤它們;探索允許用戶通過更改視圖來查看無法在視口或顯示屏上可視化的項目;抽象/具象可以幫助用戶查看不同級別的詳細信息,例如執行各種聚合和匯總,實現對海洋數據的多尺度、多分辨率分析;過濾允許用戶查看指定范圍或條件的數據子集;重配置允許用戶更改可視化的空間排列,如排序、重對齊、重布局等常見交互類型,可查看多變量數據集在不同視角下的呈現,以獲得更全面的認識;編碼允許用戶選擇不同的視覺通道(如顏色、大小、形狀等)來編碼多變量數據集的不同數據屬性,通過多種可視化的呈現獲得對數據的洞察;連接允許用戶查看海洋數據項之間的關聯和關系,或顯示與特定顯示項目相關的隱藏項,例如多視圖中的刷取和高亮顯示,以及與單視圖中的高亮選中項關聯的其他條目。但就目前海洋研究者日常使用的海洋數據分析工具來看,上述許多交互方式的實際使用率有待提升。3.2.3海洋領域常用的分析方法可視分析技術很好地融合了高效的計算分析方法和專家的經驗知識,因而能更好地提高分析的效率和質量。筆者基于海洋研究者日常不同的分析任務,闡述海洋領域的常用計算分析方法。對于多種海洋環境要素特征分析以及多變量之間相關性分析,一方面,采用各種聚類、降維等數據約減的方法來降低數據的維度,如在海洋數據可視分析中經常使用k均值聚類、自組織映射、主成分分析和多維尺度變換等降維方法;另一方面,回歸分析在探
索數據變量的多元關系方面已經顯示出良好的潛力,回歸和相關分析已經與平行坐標圖集成一種新技術一一多維數據瀏覽器。此外,可以基于改進的Pearson相關系數和互信息相關性分析(mutualinformationcorrelationanalysis)方法分別檢測多變量間的線性和非線性相關性。對于海洋結構(現象)識別與跟蹤的任務,通常需要根據海洋結構自身的物理特征進行不同的檢測和使用不同的跟蹤算法。第一類方法使用聚類來實現對海洋結構邊緣位置的識別,但聚類的簇數設置會直接影響檢測結果的準確性;第二類方法基于正交經驗模式分解、主成分分析、小波分析等常用的時空模式檢測方法;第三類方法使用機器學習的決策樹和類比較等自動數據挖掘技術進行數據驅動的復雜時空模式檢測和分析。此外,FranzK等人提出了一種深度學習的渦旋檢測和跟蹤框架,該框架結合卷積神經網絡的特征學習和特定的圖像處理工具,可以更客觀、更可靠地檢測和跟蹤渦旋。可見,結合機器學習和深度學習進行時空模式檢測正在成為大數據時代復雜數據分析的一個重要方向。4可視分析技術在海洋領域的應用筆者嘗試在海洋領域使用可視分析技術分析復雜的海洋時空數據,主要包括多元海洋時空數據可視分析、海洋結構(現象)可視分析,并在此基礎上總結了海洋數據可視分析的基本框架。4.1多元海洋時空數據可視分析多元海洋時空數據可視分析通常研究多個不同的屬性值在時間和空間上的變化規律以及多變量間的相關性。4.1.1海洋水文數據可視分析為了探索海表溫度、鹽度、流速場以及海面高度等多元海洋要素的時空特征以及相關性,筆者設計了一個多元海洋數據時空特征及相關性分析系統,系統包括用于數據導入、篩選和參數閾值設置的
交互面板,海洋標量顏色映射和二維箭頭矢量地圖,成對的標量屬性統計散點圖,某網格點的垂向深度和時間上的屬性變化趨勢折線圖,展示多元海洋要素相關性的平行坐標圖。除此之外,該系統還包括選擇、導航、編碼、視圖切換、抽象/具象、過濾和關聯等交互方式。選取特定海域數據集進行分析,利用該系統多個視圖交互聯動的探索,分析海面高度與海平面速度矢量、海表溫度與海平面速度矢量、不同水深下鹽度場與海平面速度矢量的時空分布特征,以及海面高度與海溫、鹽度的相關性。分析發現:海表溫度與速度矢量的關系比海面高度與速度矢量的關系弱,并且隨著水深的增加,速度矢量的分布并沒有太劇烈的變化;而鹽度場分布變化卻出現明顯的跳變(躍層),此處也是海水流動相對劇烈的地方。此外,海表溫度和海面高度大體呈正相關的線性關系,而海面高度和鹽度的相關性不明顯。通過大量的案例研究,進一步證明了該系統在探索多個海洋要素的相關性及其時空變化特征方面都有不錯的性能。4.1.2海洋氣象數據可視分析地球系統模式可以對全球的大氣、海洋以及陸面等圈層的多種環境要素進行數值模擬,模式輸出的變量維度超過100維,對這些數據的可視分析一般選擇感興趣的十幾個變量進行研究。圖1以海表溫度、云量兩種變量為例,展示常用的二維、三維可視化效果。圖1(a)和圖1(b)所示分別是模式計算出的某時間的云層分布情況(白色越亮,表示云層越厚)和海表溫度分布情況(冷暖色調表示溫度的低和高)。圖1(c)是將云層分布和海表溫度疊加并擴展到三維空間的展示,這種方法不僅改變了視覺效果,還為展示更多的變量特征提供了條件。此外,筆者將大氣變量和海洋變量在空間上的分布都繪制在球面上(如圖1(d)所示),使視覺效果更加接近真實情況,方便用戶理解。這種三維多層的可視化展示可以通過交互設置相機的視角查看各個角度的球面可視化效果,這為更多種類的圖形要素在三維空間的布局和動態展示帶來了更多的可能性。
圖1可視化效果4.2海洋結構(現象)可視分析可視分析技術不僅可以在多元海洋時空數據分析中發揮積極的作用,也可以用于渦旋、海洋鋒等重要海洋結構的時空特征模式探索以及演變規律分析。筆者在這些方面的工作已經取得了初步的成效。4.2.1渦旋可視分析海洋上的渦旋破壞了海水的穩定性,給海洋生物、漁業以及航運造成巨大影響。因此研究渦旋及其演變時空特征具有重要的實際價值。筆者設計了一個渦旋多特征及其演化的可視分析系統,下面分別從系統功能、可視化視圖和交互方式、計算分析方法和系統使用方式及案例分析等方面進行闡述。渦旋多特征可視分析及演化分析系統實現了渦旋特征參數的可視化、時變屬性以及動態演變過程的交互可視化。如圖2所示,A模塊主要進行渦旋空間特征與水文數據分布的球面展示。A-1中設計了3個下拉選擇按鈕,分別為日期選擇、投影切換、海洋水文環境切換(水溫、鹽度、海表溫度);A-2為球面投影視圖;A-3為顏色映射條;A-4實現了動畫的開關與渦旋比較的操作。框選區B匯總了單日渦旋整體的特征參數數據,包括:數量(num)、經度(lon)、緯度(lat)、面積(area)、半徑(radius)、渦旋能量密度(EI)、渦動能(EKE)、渦度(vorticity)、速度(velocity)。框選區C呈現了渦旋數量、平均面積、渦動能、渦旋能量密度隨時間演變的趨勢,其
中框選區C-1為時間軸;框選區C-2為渦旋平均面積隨時間的變化趨勢;框選區C-3為變量選擇框。除此之外,該系統還包括選擇、導航、編碼、視圖切換、抽象/具象、過濾和關聯等交互方式,可以更好地幫助用戶深入地了解渦旋的特征信息以及生消演變規律。圖2渦旋多特征可視分析及演化分析系統主界面該系統的渦旋檢測首先采用OW(Okubo-Weiss)參數法檢測渦核及冷(藍色)暖(紅色)渦類型,然后通過水平劃分,將海表高度異常數據場劃分為多層的等高輪廓線集合,再分析每一層中的閉合輪廓是否能擬合到符合渦旋輪廓特征的橢圓上,與橢圓高度擬合的閉合輪廓被判定為渦旋的輪廓線,然后基于“每一渦旋不同層中的輪廓具有相同的極值點位置和振幅”這一特點,可以分別識別出暖渦和冷渦最外圈的閉合輪廓,將其作為渦旋的邊界。接下來基于“相鄰時間點內各個渦旋之間特征差異最小的兩個渦旋是前后延續的”來判別和跟蹤渦旋,這里為了更好地跟蹤同一渦旋,筆者考慮了更多的渦旋特征(包括渦核距離、半徑、剪切變形率、拉伸變形率和振幅等)的差異值。在此基礎上,結合球面上渦旋的選擇、縮放、過濾等交互(如圖3(a)~圖3(c)所示),用戶借助統計圖表和平行坐標圖(如圖3(d)所示)的協同聯動,可
分析不同渦旋間各個特征(如渦動能、渦旋能量密度、渦度等)之間的差異性。從圖3可以發現:兩個面積較大的渦旋都位于流線密集區域,面積較小渦旋的渦動能、渦旋能量密度、渦度和速度卻更大;進一步利用圖2中A-4動畫的交互控制和其他圖表(圖2中C區域和B區域)的協同探索,可比較不同渦旋的生消演變過程和規律。⑶平行坐村:困圖3渦旋的聚焦可視化和多屬性的平行坐標圖4.2.2海洋鋒可視分析研究海洋鋒面的結構特征和時空變化對于動力熱力過程、生態環境、物質輸運和海洋養殖等方面都有重要的意義。為此,筆者設計了海洋鋒多特征和時空聚類可視分析系統。本系統采用分海區梯度閾值法來檢測海洋鋒,首先引入Sobel算子,計算研究區域內每個網格點的溫度梯度,并根據海洋專家的經驗選取溫度梯度閾值,溫度梯度大于閾值的點,被認為存在海洋鋒。然后分析海洋鋒這個對象:
方面,該系統提供協同交互的統計圖(日歷圖+雷達圖+梯度分布箱線圖)和鋒面分布地圖來輔助用戶更好地對海洋鋒時空規律進行總結,進行海洋鋒統計指標以及海區的比較,幫助用戶對不同海區間海洋鋒的特征和相似性進行分析,并基于對海洋鋒面積的快速定量分析,總結出海洋鋒的生消演化規律,這比傳統的只通過海洋鋒的空間分布地圖連同時間切換的分析方式更高效;另一方面,該系統能計算海洋鋒強度的度量屬性(如強度分布的眾數、四分位差、偏度和超值峰度等)和度量海洋鋒空間分布聚集程度的莫蘭指數,可基于自組織映射網絡模型實現海洋鋒時空特征的聚類分析與可視化(如圖4所示),支持用戶依據領域知識對聚類結果進行評價和動態調整,交互式地探索聚類簇內的時空特征規律,完成簇間差異的比較。如圖4所示,系統設計了統一的距離矩陣圖(U-Matrix用來表征相鄰海洋鋒聚類簇之間的距離)、成分占比圖(ComponentPlane用來顯示海洋鋒度量屬性的占比情況,幫助發現某些節點的聚類劃分是否合理)、平行坐標圖(展示多個鋒的屬性特征)、層次樹圖(展示聚類后各節點的從屬關系)和分布地圖等多圖表聯動的方式對聚類結果進行分析。此外,系統從用戶角度出發,采用選擇、抽象/具象、編碼、探索、連接等有效的交互方式進行海洋鋒多特征探索和時空聚類可視分析。距腐魚祚圖圖4基于自組織映射網絡的海洋時空聚類模式探索
如圖4中A步驟所示,基于統一的距離矩陣圖和成分占比圖,用戶判斷聚類劃分成類結果不合理,可以直接在展開的聚類層次樹圖中手動增刪聚簇和調節節點所屬的類別,將69、79、89號這3個超值峰度占比較大的節點重新拖到一個新建的紅色標識的聚類簇,并將其命名為“Cluster7”如圖4中B步驟所示),以優化聚類結果。進一步,可以在聚類層次樹中選中特定的聚類簇,并對其進行時空模式分析(如圖4中C步驟所示),同時圖4中的平行坐標圖協同地展示該聚類簇中的海洋鋒樣本,時序散點圖中的這些樣本也同時高亮突出顯示,圖4最右側的分布地圖也同時呈現出
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2023-2024學年一年級下學期英語教學設計(牛津上海版(試用本))
- 12 干點家務活 (教學設計)2023-2024學年統編版道德與法治一年級下冊
- 核心價值觀友善教育
- 樹干兒童畫課件
- 三年級英語上冊 Unit 2 Friends and Colours Lesson 8 Letters教學設計 冀教版(三起)
- 七年級英語上冊 Unit 4 Food and Restaurants Lesson 22 In the Restaurant教學設計 (新版)冀教版
- Unit 7 Happy Birthday Section A(2a-2e)教學設計 2024-2025學年人教版(2024)七年級英語上冊
- 23《月跡》教學設計-2024-2025學年語文五年級上冊統編版
- 藝術培訓年終工作總結
- 七年級生物下冊 第四單元 生物圈中的人 第八章 人是生殖和發育 第二節 人的生長發育和青春期教學設計(1)(新版)蘇教版
- 仿生原理與創新設計課件
- 小學英語《I could eat a horse》優質教學課件
- 22、小便斗-工程建筑類
- 《滅火器維修》GA95-2015(全文)
- 學校學生特異體質調查表
- vmvare虛擬化平臺巡檢細則和方法
- 市政工程監理規劃范本(完整版)
- 剪刀式升降機
- 法院辦公室廉政風險防控責任清單
- 并聯高抗中性點小電抗補償原理分析及參數選擇方法
- 水蛭深加工提取天然水蛭素項目資金申請報告寫作模板
評論
0/150
提交評論