多源信息融合軟件的設計與實現_第1頁
多源信息融合軟件的設計與實現_第2頁
多源信息融合軟件的設計與實現_第3頁
多源信息融合軟件的設計與實現_第4頁
多源信息融合軟件的設計與實現_第5頁
已閱讀5頁,還剩2頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、多源信息融合軟件的設計與實現 摘 要:針對多源信息類型不一致影響信息利用效率的問題,文章在分析傳統多源數據融合模型的基礎上,研究了多源信息融合軟件的架構及相關技術,設計并開發的軟件具有較高的實用價值。 關鍵詞:多源信息;信息融合;軟件開發 多源信息融合是通過將多種信源在空間上和時間上的互補與冗余信息依據某種優化準則組合起來,產生對特點對象的一致性解釋與描述。數據融合技術是指利用計算機對獲得的信息,在一定準則下加以自動分析、綜合,以完成所需決策和評估任務而進行的信息處理技術。主要包括對各類信息源給出有用信息的采集、傳輸、綜合、過濾、相關及合成,以便輔助人們進行態勢/環境判定、規劃、探測、驗證。

2、數據格式統一是進行數據處理的前提。由于信息的來源多,數據格式類別差異較大,對于數據處理帶來不便。多源信息融合軟件能夠實現多源異構數據信息整合,對于充分利用信息資源、提高數據處理系統性能具有實用價值。 1 多源數據融合模型 根據對輸入信息的抽象或融合輸出結果的不同,可以將信息融合分為不同的3級,包括數據級融合、特征級融合及決策級融合。 作為數據級的多源數據融合模型的結構如圖1所示。多源數據經過數據清理、數據集成、數據變換,形成有效數據,通過數據處理形成數據挖掘分析等處理工作的有效數據。 數據清理是指去除源數據集中的噪聲數據和無關數據,處理遺留數據和清洗臟數據,去除數據域的知識背景上的白噪聲,考慮

3、時間順序和數據變化等。主要包括處理噪聲數據,處理空值,糾正不一致數據等。 數據集成就是將多文件或多數據庫運行環境中的異構數據進行合并處理,將多個數據源中的數據結合起來存放在一個一致的數據存儲中。 數據變換就是將數據變換成統一的適合處理的形式。數據變換主要包括平滑、聚集、屬性構造、數據泛化和規范化等內容。 2 多源信息融合軟件設計 2.1 軟件架構 多源信息融合軟件的技術要求是實現多源異構數據向指定關系數據庫進行可靠轉換。就是按照指定關系數據庫的表結構要求,實現多源異構數據的數據導入及格式轉換問題。軟件的組成框圖如圖2所示。軟件主要包括2個主要模塊,多源數據預處理模塊和數據導入模塊。數據預處理模

4、塊主要進行數據清理及格式轉換,實現常用的數據(txt、xls、關系數據庫等數據)轉換為目標數據庫支持的數據格式。數據導入實現指定類型數據轉換為指定結構數據。 2.2 關鍵技術 為了保證多源信息軟件的可靠運行,需解決數據類型的適應性和擴展性問題,以及數據轉換的可靠性、可預制性、數據轉換過程的可監督性問題。 2.2.1 基于模塊化設計的類型轉換 模塊化設計是指在對一定范圍內的不同功能或相同功能不同性能、不同規格的產品進行功能分析的基礎上,劃分并設計出一系列功能模塊,通過模塊的選擇和組合可以構成不同的產品,以滿足市場的不同需求的設計方法。 雖然目前主流數據庫管理系統都支持數據轉換功能,但數據庫管理系

5、統支持的數據類型有限,對于新增類型數據,只能通過升級或更換數據庫解決。即使對于支持類型的數據,有些情況不能實現正確轉換,例如文本文件只能識別典型分隔符(制表符、空格等),不具有按指定分隔符實現轉換功能。存在數據庫版本問題,高版本數據不能直接轉換低版本數據庫數據。使用數據庫系統的數據轉換功能需有管理員權限,但為了保證數據庫管理系統安全,不便于開放管理員權限,影響數據轉換。 模塊化設計思想在類型轉換中的運用就是通過建立統一的類型轉換輸入接口,對于新增類型數據的轉換問題,只要將新增類型轉換模塊按照標準格式定義接口,就能實現新增模塊的可靠增加,減少系統二次開發成本,有效提高系統的適應性及擴展性。 2.

6、2.2 多線程編程技術 多線程機制是指在單個程序中同時運行多個線程完成不同的工作,每個線程與其他線程并發執行。多線程適合執行占用大量時間的操作,執行區分不同優先級的任務,能夠滿足用戶界面在將時間分配給后臺任務時仍能快速做出響應的需求。 由于需轉換的數據量較大,使得數據轉換時間較長,如數據不一致或不完整等問題將出現轉換中斷或數據遺漏等情況,所以及時了解轉換進度以及實現異常快速響應對于保證有效轉換具有重要意義。 軟件采用多線程技術解決數據處理進度、過程可見性以及及時進行異常處理等問題。軟件通過實時顯示轉換進度及轉換狀態,有利于實現轉換進度和狀態的有效監督。對于數據轉換異常,能夠及時終止轉換進程或者

7、調整轉換策略,保證數據轉換的有效性。 2.2.3 基于任務的數據導入 數據預處理獲得的數據還需轉換為數據處理所需格式的數據,即將轉換的源數據可靠導入到指定格式的目的數據表。數據的可靠導入不只是在系統正常運行時保證大量數據的導入,更主要是保證在人為終止、系統故障等情況引起異常的情況下,有效實現斷點續導。 基于任務管理的數據導入的思想是將數據導入分成導入任務創建、導入任務管理、導入進度監督、導入異常處理4個部分。其中導入任務創建就是確定源數據表導入字段與目的數據表相關字段的對應關系;導入任務管理就是實現任務名稱,對應關系等任務相關數據源信息管理;導入進度監督就是展示導入任務的完成情況,即通過已導入

8、的數據量與源數據總記錄數量的比較,確定任務完成情況,有利于指導后期導入工作;導入異常處理就是根據導入任務異常結束情況,進行無效信息處理,保證有效進行可靠導入。基于任務管理的數據導入,保證了數據導入的完整性和可靠性。 3 軟件性能及主要界面 多源信息融合軟件能夠實現如下功能:(1)實現多源異構數據向指定數據庫的數據導入,有效地實現數據集成。(2)實現數據清理及有效信息提取。(3)實現斷點續導,提高數據導入的可靠性。(4)方便新增類型數據轉換模塊添加,提高系統擴展性。 系統的主要工作界面如圖3-5所示。 通過設置文本文件的分隔符,實現文本信息的有效分割,方便文本數據向數據庫格式轉換(見圖3)。 利

9、用多線程技術,實時觀察及控制數據導入和轉換進度,保證可靠運行(見圖4)。 任務管理由于確定導入關系,保證導入進程可靠有序實施(見圖5)。 4 結語 未經處理的多源異構信息,嚴重影響數據利用效率。多源信息融合軟件運用數據融合思想并結合實際需求,有效解決處理信息途徑龐雜、資源分散、數據處理效率不高的問題,對于提升數據處理能力具有一定的應用價值。 參考文獻 1韓崇昭,朱洪艷,段戰勝.多源信息融合M.北京:清華大學出版社,2006. 2何友,薛培信,王國宏.一種新的信息融合功能模型J.海軍航空工程學院學報,2008(3):241-244. 3紀希禹.數據挖掘技術應用實例M.北京:機械工業出版社,200

10、9. Design and Implementation of Multi-source Information Integration Software Zhang Yunfeng, Lu Canju, Li Chao (Electronic Engineering Institute, Hefei 230037, China) Abstract: Multi-source information is almost incoherence. This problem affects information utilization. Based on the analysis of multisource information fusion model, information integration

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論