1、數據中心建設功能要求一、數據服務中心建設規劃數據服務中心是整個智慧旅游大數據項目核心組成部分，在規劃建設過程中，堅持以數據資源為核心，面向數據應用與服務、信息數據資源標準化與管理，實現數據資源橫向集成、縱向貫通、全局共享的運轉模式。數據服務中心數據流轉圖和邏輯架構如下圖。數服務中心邏輯架構圖整個數據服務中心邏輯組成部分有：數據存儲、數據組織、數據處理、資源管理、數據服務支撐。數據存儲：基于大規模并行處理（Massively Parallel Processing，簡稱MPP）、Hadoop等分布式計算平臺進行搭建，以滿足旅游行業結構化、圖像視音頻等非結構化多種類型格式的海量數據資源存儲需求。數

2、據組織：對各類數據資源進行邏輯組織，形成基礎數據資源庫、專題應用資源庫以及資源管理庫，滿足旅游行業數據資源應用、管理與服務的需求。數據處理：主要包括數據整合匯集、數據標準化處理、通用數據處理、專題數據處理。從多個層面對數據資源進行分析挖掘，為不同業務需求提供數據處理服務支撐。資源管理：資源管理從應用資源、數據資源、服務資源以及標準資源多個層面實現數據服務中心信息資源的管理與標準建設。數據服務支撐：數據服務中心實現了智慧旅游云數據資源的存儲和組織。主要包括基礎數據資源庫、專題應用資源庫和資源管理庫。數據分析處理：面向具體業務需求，建立對應的數據分析處理模型，實現對數據資源的深度挖掘和綜合利用。1

3、.1 大數據平臺建設數據集中統一管理后，由于一體化業務為在線運行的系統，為避免大數據應用對現有生產系統造成影響，本期單獨建設一套大數據平臺，通過ETL將生產數據抽取到大數據平臺中，進行分析處理，建立數據倉庫，為上層應用提供支撐。基于大數據等新先進理念，融合MPP、Hadoop、OLTP以及HDFS分布式文件系統等數據處理技術，構建具有海量數據處理能力的旅游大數據平臺技術支撐體系。有效匯總整合內外部數據資源，實現對數據資源的統一管理、高度共享和高效利用，解決數據資源海量化、異構化，應用需求多樣化、復雜化等現實問題，進一步提升信息資源開發利用水平，提升信息資源服務的能力和服務品質，深層次滿足上層業

4、務應用、管理決策支持和信息再生應用的需要，達到強化情報信息數據支撐，服務實戰應用的目的。完整的大數據集群應當包含4大部分：ETL集群、MPP集群、Hadoop集群和數據倉庫，提供從數據抽取、清洗、轉換、加載到數據存儲計算及數據倉庫建設的一整套完整的大數據解決方案。各節點通過萬兆網口連接，滿足集群網絡IO密集型的要求。 ETL集群建議不少于1個節點，完成從各種數據源抽取、清洗、轉化和加載數據到大數據集群的工作。 MPP集群建議不少于2個節點。MPP集群負責結構化數據的存儲與計算。 Hadoop集群至少應包含6個節點，以滿足數據多個備份的高可靠性要求。Hadoop集群負責非結構化和半結構化數據的存

5、儲與計算。 數據倉庫節點，將ETL集群、MPP集群和Hadoop集群導入的高度提煉匯總后的數據進行存儲和分析，滿足專業應用需要。流程如下圖所示：1.2 數據標準化建設數據標準化是數據服務中心建設的基礎。在項目建設時根據旅游信息資源標準，并根據實際情況進行完善。數據服務中心數據標準化工作主要以下幾個層面出發進行建設：l 數據內容標準化通過依據現有相關標準內容，對整合的各類數據資源進行標準化處理，形成標準化數據資源，從而對各個旅游業務部門提供標準化的數據資源服務。l 資源管理標準化通過對旅游信息資源注冊、梳理、對標等一系列的工作，建立標準化的資源管理機制，實現對智慧旅游全部信息化資源的標準化管理。

6、以管理推動旅游信息標準化應用工作，逐步實現旅游信息化建設的規范化、標準化。l 標準化建設數據標準化工作是一項長期的過程，隨著信息化的升級和深入，智慧旅游數據標準體系也在逐漸完善，所以通過制定相應的信息管理規范，必要時制定相關信息管理制度，來規范和長期完善數據標準管理平臺，保證數據資源標準化工作開展和標準化工作成果的形成。標準體系建設是智慧旅游信息化的重要組成部分，也是旅游信息化建設的基礎，并貫穿旅游信息化工作始終。數據標準管理的主要作用有以下內容：一是對外應用系統提供標準化服務支撐，例如標準代碼字典服務、旅游主數據服務等，逐步實現旅游信息建設的標準化。二是規范智數據服務中心內容，為數據服務中心

7、標準數據資源庫建設提供建設依據，同時基于數據服務中心對外應用系統提供標準化的數據資源服務。三是對數據資源管理提供標準化服務支撐，通過旅游數據元標注實現數據資源的標準化關聯。數據資源標準（數據元標準、元數據標準、數據服務接口、數據傳輸和存儲規范等）是旅游信息化標準體系中的核心和關鍵內容，須優先編制和修訂。1.3 主題庫目錄建設本期將智慧旅游一體化業務系統數據庫數據通過ETL工具抽取到大數據平臺上進行存儲和分析，并按照業務應用具體需要，通過二次抽取整合的方式，建立相應主題庫，為上層應用提供支撐。二、詳細參數名稱 設備參數單位數量數據中心平臺云中心虛擬化計算資源服務器1. 配置2顆處理器。要求Int

8、el Xeon E5-2600v4系列，性能2690v4；2. 配置256G DDR4內存。支持最大可擴展內存1.5TB，內存插槽24個；3.配置6塊1.2T SAS 10K轉硬盤，2塊Intel 3610 800G ssd ，2.5寸熱插拔硬盤槽位8個，可擴展至29個2.5寸熱插拔硬盤槽位+2個3.5寸熱插拔硬盤槽位；4. 配置1塊12GB 2端口SAS HBA卡；5. 配置4個萬兆以太網接口，要求額外提供1個網卡專用插槽、配置1塊8Gb 2-port PCIe光纖通道HBA卡帶2個FC SFP+ 模塊；6. 配置8個PCIE3.0插槽；7. 配置1Gb的遠程管理控制端口，配置虛擬KVM功能

9、, 可實現與操作系統無關的遠程對服務器的完全控制；8. 配置2個熱插拔冗余電源，支持1+1備份、一套安全面板及導軌；9. 為確保系統的穩定性和兼容性，本次采購服務器須與大數據平臺為統一品牌。臺6云中心大數據非結構化數據存儲服務器1. 機架式服務器，可以安裝在長為110CM的標準機柜中；2. 二路服務器，配置2顆E5-2650v4處理器；3. 配置128GB內存，可擴展到1TB內存，配置16個內存插槽; 4. 當前配置內置硬盤2塊480GB 2.5寸SSD硬盤和內置42塊4TB 7.2K 3.5寸企業級SATA硬盤，為后期硬盤擴容需支持68塊磁盤槽位；5. RAID卡 12Gb/s SAS磁盤陣

10、列控制器, 配置4GB緩存；6. 配置2塊2*10GE（光口）網卡滿配光模塊，2*GE（電口）網卡;7. 配置4個熱插拔冗余電源；8. 為確保系統的穩定性和兼容性，本次采購存儲服務器須與、大數據平臺為統一品牌臺3云中心核心存儲網絡FC交換機1.配置要求：光纖交換機，48端口(48端口激活，含10*8Gb多模SFP)；2.端口速度：支持自適應2、4、8 Gbit/sec；3.電源：交流雙電源；4.軟件特性：可視化用戶界面（基于Web的管理界面），5.功能：支持級聯、鏈路聚合等功能；臺2云中心大數據結構化數據存儲1. 存儲控制器數量2，具備Active-Active雙控制器架構；配置統一存儲緩存容

11、量64GB（不含任何性能加速模塊，如FlashCache、PAM卡、SSD Cache、或NAS緩存等）；緩存采用鏡像保護，斷電后緩存數據可寫入磁盤，實現無限時斷電保護Cache數據的目的。控制器采用存儲設備專用的ASIC芯片。2.配置4個16G FC前端主機接口，最大支持12個FC接口；最大前端主機接口數200個。3. 所有磁盤可同時配置為RAID0/1/5/6，且可共存。支持多對多高速RAID重建，支持無中斷地RAID改變，并支持多類型磁盤多方向、無中斷在線數據遷移，遷移過程不影響業務性能。本次配置1.8TB 10000轉高性能磁盤8塊，4TB 7200轉大容量磁盤12塊，400GB SS

12、D硬盤8塊4.配置冗余電源、冗余風扇、冗余控制器，磁盤、電源、IO模塊都可以不停機熱插拔。5. 配置連接PC服務器的許可數量1024臺，配置連接Unix服務器許可數量1024臺。實現虛擬資源調配功能，可為應用程序分配更多的虛擬容量。簡化并加速調配過程，提供“適時”的容量分配，提高容量利用率。6配置全容量精簡配置軟件，支持精簡卷的空間回收。7. 配置功能全面的圖形化管理軟件和監控軟件，通過圖形化方式進行遠程系統監控和管理。8. 支持數據克隆和快照,配置所有磁盤所需容量克隆許可。同一卷支持快照數量2000個。配置數據復制軟件。9. 允許主機同一個LUN可使用不同類型磁盤，自動感知應用的需求，將同一

13、個LUN的熱點數據移動到高性能磁盤上，以提高應用的性能。10. 支持新加入磁盤后，系統自動會將數據重新分配以使卷均勻的分布在更多的磁盤上，隨著磁盤的不斷加入，無需手工干預即可提升存儲整體性能。11. 支持通過存儲本身的遷移功能在不同級別、型號的產品之間進行在線數據遷移。12. 支持三數據中心存儲級容災技術，配置FCIP災備復制接口模塊2，必須可實現與同廠商最高端型號存儲實現存儲底層復制；13. 配置通道管理軟件，可在服務器與盤陣間實現路徑的負載均衡/故障切換，支持基于數據塊/IO數量等高級負載均衡功能。14.為確保系統的穩定性和兼容性，本次采購存儲須與大數據平臺為統一品牌15.存儲產品技術成熟

14、度：Gartner最新企業級存儲魔力象限領導者象限的設備供應商，提供證書復印件并加蓋設備廠商項目授權章； IDC報告全球磁盤存儲系統季度跟蹤報告（2015年最新版本）廠商排名前三名，提供證書復印件并加蓋設備廠商項目授權章；臺1虛擬化軟件1.VMWARE vsphere 6.0 標準版Cpu數122.Vcenter 6.0 標準版套13、集成部署服務6臺，5年虛擬化平臺軟件專人運維支持服務。套1大數據平臺企業服務總線軟件特性：1、服務感知：能夠自動感知和發現在云端的REST服務和SOAP服務，并提供靈活的服務編排功能來組合各種原子服務。2、存儲過程服務化：支持將數據庫存儲過程生成服務。3、消息處

15、理: 支持Rule-Based和Content-Based的消息路由，提供對消息進行分割、聚合和格式轉換等功能。4、事件感知: 支持事件的發布與訂閱功能，支持基于ED-SOA架構的應用整合，支持對實時性要求較高的應用。能夠感知符合WS-Eventing規范的事件，并通知事件訂閱者完成服務調度。支持對事件消息進行格式轉換、分割。5、任務調度: 支持對內部/外部Command應用統一的調度框架。套6、服務治理: 包含服務注冊管理、服務粒度監控、服務及服務方法的流量控制、服務請求監控等功能，并提供服務質量保證。7、服務安全: 支持數字證書、安全會話、簽名、加密、簽名及加密、 STS服務、引導策略、用

16、戶令牌認證等安全功能。（提供功能界面截圖，原廠蓋章）8、集群服務: 支持多臺設備組建負載均衡集群。硬件要求：9、標準19英寸2U機架式設備；多核高性能處理器；高峰值能承載1000服務響應/秒；可熱插拔雙冗余電源系統，支持故障自動切換；內置故障聲音報警,提供報警消聲針孔鍵；1000BasdeTX網絡端口：4個， RJ45控制端口：1個， USB接口：2個；提供電源狀態燈（顯示每個電源模塊狀態），系統狀態燈，存儲容器狀態燈；10、為保障系統穩定性和兼容性，要求軟硬件由同一廠家一體化交付；套1資源服務目錄軟件特性：1、資源類化編目：動態感知符合規范的web服務。根據不同的資源的主題、來源、保密等級和

17、資源服務的訪問地址等進行資源的類化編目。（提供功能界面截圖，原廠蓋章）2、性能：1000用戶并發/秒，目錄檢索響應時間3秒；服務消費認證響應時間2秒。3、目錄版本管理：針對目錄變更提供目錄版本管理，對經過審核后的目錄變更內容以多版本的形式存儲。目錄的變更嚴格使用權限控制。4、目錄檢索: 提供目錄資源搜索引擎根據目錄的分類和目錄信息關鍵字進行目錄的搜索和查詢。（提供功能界面截圖，原廠蓋章）5、目錄訂閱功能: 提供ATOM訂閱服務將目錄發布給授權的目錄消費者。（提供功能界面截圖，原廠蓋章）6、效果評論功能: 提供資源目錄使用效果評論功能。目錄訂閱者可以將服務運行的效果和問題上報到云資源目錄平臺。提

18、升智慧旅游的自我評價能力。7、服務消費認證: 對云資源和云服務的消費者和消費行為進行安全有效的權限認證和權限控制。8、支持共享資源之間的依賴關系管理。9、支持共享資源的生命周期管理。（提供功能界面截圖，原廠蓋章）硬件要求：10、標準19英寸2U機架式設備；多核高性能處理器；可熱插拔雙冗余電源系統，故障自動切換；內置故障聲音報警,提供報警消聲針孔鍵；1000BasdeTX網絡端口：4個， RJ45控制端口：1個， USB接口：2個；狀態監控：兩個電源狀態燈，一個系統狀態燈，一個存儲容器狀態燈。11、為保障系統穩定性和兼容性，要求軟硬件由同一廠家一體化交付；套1消息中間件軟件特性：1、提供多種消息

19、適配器組件，包括輸入、輸出、條件、轉換、工具、腳本、大數據、查詢、映射等。2、內嵌JS腳本引擎、轉換引擎、流程引擎、調度引擎。3、配置界面：提供圖形化配置界面。可以通過拖拽的方式完成數據橋接、采集規則的配置。（提供功能界面截圖，原廠蓋章）4、數據源支持：支持各種類型的數據源，包括各種類型的數據庫（Oracle、MySQL、DB2、H2等等）、Cube數據集市數據源、XML數據源、EXCEL數據源、CSV數據源、LDAP數據源、EMAIL數據源等。（提供功能界面截圖，原廠蓋章）5、數據提取模式：支持數據庫日志分析、觸發器、標示位、全表比對、時間戳。6、數據轉換：提供上百種數據轉換的組件供用戶選擇

20、，用戶根據自己的數據轉換規則選擇相應組件，通過各種不同的數據轉換組件的組合可以完成復雜的數據轉換需求。主要的數據庫數據轉換組件有：字段折分組件、字段合并組件、數據過濾組件、多字段計算組件、空處理組件、字段映射組件、數據類型轉換組件、腳本轉換組件。（提供功能界面截圖，原廠蓋章）7、任務調度：支持多種任務調度模式：實時調度、定時調度、時間間隔循環調度。8、實時監控：提供運行監控、流程監控、過程監控、事件預警等功能，監控系統接入情況、流程的運行狀態、軟件運行過程中問題。套9、日志管理：提供對數據交換過程的日志管理，可以展現數據交換的日志情況，便于管理員查詢在系統運行過程中的各種信息。10、接口開發：

21、接口開發無編碼過程。通過配置能夠實現多種數據橋接功能。11、運行環境：運行容器和配置工具分離。運行環境可以內置到數據交換網關和數據交換總控。12、數據庫抽取速度：帶寬100Mps 下3000條數據/秒。數據庫寫入速度：帶寬100Mps 下2000條數據/秒。數據庫插入更新速度：帶寬100Mps 下500條數據/秒。文件傳輸速度：帶寬100Mps 下 2M/秒。套2一、總體要求1、 產品需具備國家版權局認證的“大數據軟件”相關著作權登記證書，提供證書復印件（原廠商蓋章）2、 投標廠商需連續5年獲得國家規劃布局內重點軟件企業資質證書。3、 提供工信部指導的第三方權威機構2016年出具的大數據平臺功

22、能測試、性能測試報告掃描件（原廠商蓋章）4、 大數據平臺采用業界領先的混合架構：采用Hadoop+MPP混合架構，實現結構化數據和非結構化數據差異化處理； 整體平臺需實現統一的運維管理入口。（要求提供Hadoop和MPP統一運維管理的界面截圖，原廠蓋章）。5、 提供Web圖形化操作界面，實現集群快速安裝部署。支持一鍵圖形化安裝，提供可配置安裝功能，支持分鐘級交付集群。6、 機架和主機管理：支持圖形化地展示主機在機架上的對應物理位置，并對主機和服務進行可視化的監控，方便大型集群的管理。支持對主機和服務的健康狀態進行主動的、預防性的檢查，保證集群監控可用。（提供功能界面截圖，原廠蓋章）7、 大數據

23、平臺軟件、硬件服務器需由廠家一體化交付，確保軟硬件的兼容性，提供原廠一年7X24小時技術支持服務。二、Hadoop軟件平臺8、 硬件部分：共配置2套4U機架式服務器；每套配置冗余電源，機架導軌，配置3節點服務器；單節點配置2*E5-2630v3 CPU，128G內存，2*600G 10K轉速硬盤，10塊2T 7.2K轉速硬盤，2個萬兆光口（含2個萬兆多模光模塊）；配置6個節點大數據Hadoop軟件授權許可；9、 運維管理：圖形化管理界面支持同時管理多個Hadoop/HBase集群，適應用戶創建研發、測試、生產等多個集群并統一管理。（提供功能界面截圖，原廠蓋章）10、 SQL兼容性：100%兼容

24、SQL92標準。支持存儲過程等數據庫對象。11、 支持異構數據庫間的關聯查詢語句，支持HBase/Hive等Hadoop數據庫和MPP/Oracle/SQL Server等關系型數據庫之間統一SQL查詢。12、 支持在HBASE上建立全局索引、局部索引，通過多個字段進行組合數據檢索。13、 多租戶管理：可以根據不同的業務部門，以及各自部門的業務需求，向多個部門提供資源隔離的多租戶服務。14、 安全性：(1)三員分立：對管理員的權限進行控制，采用最小授權原則對系統管理員、安全保密員、安全審計員進行系統權限的賦予。(2) 支持分布式存儲數據加密，支持密鑰統一管理。(3) 組件細粒度訪問權限控制：支

25、持用戶權限認證。(4) 統一日志審計：記錄平臺的操作記錄，并提供檢索功能;管理組件、所有主機、所有服務的日志、審計、告警信息。可針對特定服務和操作提供監控儀表盤功能;提供日志檢索、全文搜索、統計功能。二、MPPDB軟件平臺15、硬件要求：共配置1套2U機架式服務器；每套配置冗余電源，機架導軌，配置2節點服務器，單節點配置2*E5-2630v3 CPU，128G內存，2*600G 10K轉速硬盤，4塊1.2T 10K轉速硬盤，2個萬兆光口（含2個萬兆多模光模塊）；配置2個節點大數據MPP DB軟件授權許可；16、 列存儲MPP架構，先進性架構設計簡潔清晰，擴展性強，變更靈活，可以根據實際業務需要

26、靈活部署和配置。MPP+Shared Nothing架構，完全扁平無Master節點，不存在單點性能瓶頸和SPOF單點故障。17、 安裝部署均采用web化向導式配置部署，支持分鐘級部署交付。18、 支持粗粒度智能索引，數據入庫自動建立索引，無須人工維護，且具備自動優化的能力。19、 自適應壓縮算法，根據不同分布方式和數據類型自動選擇最優算法。支持三級壓縮選項，且基于數據結構相同的列存儲技術，最高壓縮比可達1:20。且支持數據壓縮態下的DML操作。20、 兼容性：(1)符合SQL 92 ANSI/ISO 標準，支持C API、ODBC、JDBC、ADO.NET等國際接口規范，支持DDL，DML，DCL語法，支持基本數據類型、基本完整性約束、基本表管理、搜索條件、表連接、子查詢、分組查詢、插入、修改、刪除、事務控制。21、 提供數據庫、表空間、表、索引