Sybase/BusinessIntelligenceSYBASE數據倉庫/商務智能解決方案魏健商務智能咨詢顧問SYBASE軟件(中國)有限公司Sybase/BusinessIntelligenceSY議程數據倉庫解決方案概述數據倉庫設計工具數據倉庫引擎SybaseAdaptiveServerIQMultiplex議程數據倉庫解決方案概述“數據倉庫是在企業管理和決策中面向主題的,集成的,與時間相關的和不可修改的數據集合”BillInmon數據倉庫定義“數據倉庫是在企業管理和決策中BillInmon數據倉庫定OLTP系統5-10年過去詳細數據當前詳細數據輕度匯總數據高度匯總數據數據集市用戶分析網絡資源分析數據倉庫數據倉庫/決策分析系統數據倉庫是完全不同的數據庫系統RDBMSSybaseSAP/ERPVSAMEXCELOLTP系統5-10年過去當前輕度高度數據集市用戶分析網絡操作(業務)系統特性事務處理性能是第一位的支持日常的業務事務驅動面向應用數據是當前的并在不斷變化存儲詳細數據(每一個事件或事務)針對快速預定義的事務優化設計可預見的使用模式支持辦事人員或行政人員操作(業務)系統特性事務處理性能是第一位的數據倉庫應用系統特點支持長遠的業務戰略決策分析驅動面向主題數據是歷史的數據反映某個時間點或一段時間數據是靜態的，除數據刷新外數據是匯總的優化是針對查詢而不是更新支持管理人員和執行主管人員數據倉庫應用系統特點支持長遠的業務戰略決策數據倉庫解決方案解決從數據庫中獲取信息的問題。INFORMATION信息信息INFORMATION什么是數據倉庫解決方案？數據倉庫解決方案解決從數據庫中獲取信息的問題。INFORMA應用價值時間1.日常報表2.即席查詢3.分析4.數據挖掘專題應用1234數據倉庫應用類型數據倉庫應用應用價值時間1.日常報表專題應用12數據倉庫系統體系架構RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMS

DimensionModelingConformeddimension&factIncludingatomic&aggregateArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadata數據倉庫系統體系架構RelationalPackageLeg數據倉庫/商務智能應用成功的關鍵?做什么，怎么做？?數據倉庫性能數據倉庫/商務智能應用成功的關鍵Sybase&Partner專業服務數據倉庫顧問咨詢IndustryWarehouseStudioSybaseIWS方法學ERDesignToolImpactAnalysisMetadataManagementSybaseIndustryWarehouseStudio

打包的數據倉庫基礎平臺概述業務模型物理模式元數據ETL工具例子報表算法ETLToolMetadataExchangeSmartETLMaps(Future)SQLTemplatesCognosBusinessObjectsMicroStrategyBusinessModelsfocusedonKeyIndustryEventsEnterprise-wide,StarSchema-baseddesignIndustryWarehouseStudioSybasIWS產品介紹

TABLETABLETABLETABLETABLEIndustry-specificDataModelsDataWarehouse“OpenRDBMS*”ORACLE,IBM,MICROSOFT,NCR,SYBASE,etc.

BIPartnersSampleApplications

AnalyticalCRMSalesAnalysisCustomerProfilingCampaignAnalysisCustomerCareAnalysisLoyaltyAnalysisBusinessPerformanceAnalysisIndustrySpecificSampleDataGeneral-RepresentativeSystemsIntegratorsGuideProjectPlansImplementationProtocole.g.InformaticaETLToolWarehouseArchitectMulti-DimensionalDesignToolSQLSampleReportsWarehouseControlCenterMetaDataManagementIWS產品介紹

TABLETABLETABLETABLETA客戶構成分析營銷活動分析客戶興趣分析忠誠度分析銷售分析行業相關的經營業績分析收益率分析EVT_TYP_ID=EVT_TYP_IDPRD_ID=PRD_IDENTY_ID=ENTY_IDENTY_ID=EMP_IDGEO_ID=GEO_IDLANGUAGE_ID=LANGUAGE_IDPRODUCT_ID=PRODUCT_IDDEMO_ID=DEMO_IDENTY_ID=V_E_ENTY_IDENTY_ID=ENTY_IDENTY_ID=F_C_ENTY_IDCOR_EVT_TYP_ID=COR_EVT_TYP_IDCOR_RPT_STRC_ID=COR_RPT_STRC_IDENTY_ID=CNTC_RSOL_EMP_IDGEO_ID=GEO_IDFNCL_SCOR_ID=FNCL_SCOR_IDMEASURE_UNIT_ID=MEASURE_UNIT_IDCOR_EVT_TXN_ID=COR_EVT_TXN_IDLANGUAGE_ID=LANGUAGE_IDCOR_EVT_TXN_SEQ_NB=COR_EVT_TXN_SEQ_NBPN_BHVR_SCOR_ID=PN_BHVR_SCOR_IDPRODUCT_ID=PRODUCT_IDDEMO_ID=DEMO_IDENTY_ID=ENTY_IDFNCL_SCOR_ID=FNCL_SCOR_IDMEASURE_UNIT_ID=MEASURE_UNIT_IDDEMO_ID=DEMO_IDPRODUCT_ID=PRODUCT_IDPN_BHVR_SCOR_ID=PN_BHVR_SCOR_IDLANGUAGE_ID=LANGUAGE_IDFNCL_SCORES_ID=FNCL_SCOR_IDMEASURE_UNIT_ID=D_M_MEASURE_UNIT_IDMEASURE_UNIT_ID=MEASURE_UNIT_IDGEO_ID=GEO_IDCOR_RPT_STRC_ID=COR_RPT_STRC_IDEVT_TYP_ID=COR_EVT_TYP_IDENTY_ID=F_C_ENTY_IDGEO_ID=GEO_IDLANGUAGE_ID=LANGUAGE_IDEVT_TYP_ID=EVT_TYP_IDDV_HR_EVT_TYPEEVT_TXN_ID<pk,fk>INTEGEREVT_TYP_ID<fk>INTEGEREVT_TYP_SHRT_NMCHAREVT_TYP_FULL_NMcharEVT_TYP_CAT_SHRT_NCHAREVT_TYP_CAT_FULL_NcharF_HR_EVTV_E_ENTY_ID<fk>INTEGERV_E2_ENTY_ID<fk>INTEGEREVT_DT_PRD_IDINTEGERADMIN<pk,fk>INTEGEREVT_EMP_ID<pk,fk>INTEGEREVT_EMP_DEMO<pk,fk>INTEGEREVT_ADMIN_DEMO<pk,fk>INTEGERCORE_EXT_ID<pk,fk>INTEGERCORE_RPTG_STRUC<pk,fk>INTEGERGEO_ID<pk,fk>INTEGERMU_ID<pk>INTEGERFIN_SCORE_ID<pk,fk>INTEGERLANGUAGE_ID<pk,fk>INTEGERPB_SCORE_ID<pk>INTEGERF_C_ENTY_ID<fk>INTEGERPRODUCT_ID<pk>INTEGERDEMO_ID<pk,fk>INTEGEREMP_ID<pk,fk>INTEGERCDEX_SEQ_NO<pk>INTEGERQTYintegerF_CORE_EVTCOR_EVT_TXN_ID<pk>INTEGERCOR_EVT_TYP_ID<pk,fk>INTEGERD_M_MEASURE_UNIT_ID<fk>INTEGERCOR_RPT_STRC_ID<pk,fk>INTEGERGEO_ID<pk,fk>INTEGERMEASURE_UNIT_ID<pk,fk>INTEGERFNCL_SCOR_ID<pk,fk>INTEGERLANGUAGE_ID<pk,fk>INTEGERPN_BHVR_SCOR_ID<pk,fk>INTEGERPRODUCT_ID<pk,fk>INTEGERDEMO_ID<pk,fk>INTEGERENTY_ID<pk,fk>INTEGERV_E_ENTY_ID<fk>INTEGERCOR_EVT_TXN_SEQ_NB<pk>NUMBERPRD_ID<fk>INTEGERAMOUNTNUMBERD_CORE_EVT_TYPEVT_TYP_ID<pk>INTEGEREVT_TYP_SHRT_NAMVARCHAR(15)EVT_TYP_LONG_NAMVARCHAR(35)EVT_TYP_SUBTYP_NAMVARCHAR(15)D_CORE_RPT_STRCCOR_RPT_STRC_ID<pk>INTEGERHOLDING_COMPANYVARCHAR(35)ORG_TYPEVARCHAR(20)ORG_NAMEVARCHAR(35)REGIONVARCHAR(20)SALES_TEAM_TYPEVARCHAR(15)SALES_TEAMVARCHAR(15)SALES_PERSON_NAMEcharSALES_PERSON_GRADECHARSALES_PERSON_TYPECHARCHNL_CATEGORY1char(18)CHNL_TYPECHARCHNL_SUBCATCHARCHNL_NAMEcharCHNL_CEASED_TRD_DTDATECHNL_ENTY_IDINTEGERCHNL_CITYVARCHAR(20)CHNL_POSTCODEVARCHAR(20)BEGIN_DATE_PRD_IDINTEGEREND_DATE_PRD_IDINTEGERD_GEOGRAPHYGEO_ID<pk>INTEGERALL_ENTRIESCHARPOSTAL_CODECHARVARYING(15)CITYcharPOSTAL_CD_PFXchar(3)HZRD_WTHR_AREACHARHZD_WTHR_TYPECHARDMA_CODECHARSMSA_CODECHARST_PROV_AREACHARTV_REGIONCHARNTL_RADIO_AREACHARLCL_RADIO_AREACHARREGIONCHARCOUNTRYchar(3)CONTINENTY_ABBRchar(3)GEO_SUB_CNTNT_ABBRchar(3)SMRY_EFF_DTINTEGERSMRY_END_DTINTEGERPRISN_ADRS_INDCHARD_MSR_UNITMEASURE_UNIT_ID<pk>INTEGERSHRT_DESCchar(6)LONG_DESCchar(20)D_DEMOGRAPHICSDEMO_ID<pk>INTEGERALL_ENTRIESCHARINCOME_BANDVARCHAR(50)AGE_BANDVARCHAR(50)GNDRCHARMRTL_STATCHARHIGH_VALUE_INDICATCHARACMDTN_CTGRYCHARNBR_IN_HH_BANDVARCHAR(50)CHLD_AT_HOME_BANDVARCHAR(50)SIZE_CLSCHARLEGAL_ORG_TYPECHARNBR_EMP_BANDVARCHAR(50)SECTOR_CLSCHARMAIL_PRMSN_INDCHARTELMKT_PRMSN_INDCHARD_FNCL_SCORFNCL_SCORES_ID<pk>INTEGERINTERNAL_FNCL_SCORVARCHAR(50)EXPERIAN_SCOR_BANDVARCHAR(50)SCOR_N_BANDVARCHAR(50)PRFT_IND_BANDVARCHAR(50)DEBT_INCOME_RATIONUMBERD_LANGUAGELANGUAGE_ID<pk>INTEGERISO_LANG_CODECHARISO_LANG_NAMEcharLANG_GROUPVARCHAR(20)D_PN_BHVR_SCORPN_BHVR_SCOR_ID<pk>INTEGERSCORE1_BANDVARCHAR(20)SCORE_N_BANDVARCHAR(20)D_PRODUCTPRODUCT_ID<pk,fk>INTEGERENTY_ID<fk>INTEGERPRODUCT_LINECHARPRODUCT_GROUPCHARPRODUCT_CODECHARPRODUCT_NAMECHARPD_VARIANT_CODECHARPRODUCT_VARIANTVARCHAR(35)GRP_INDV_INDCHARPD_START_PRD_IDINTEGERPD_END_PRD_IDINTEGERF_SALES_EVENTEVT_TXN_ID<fk>INTEGEREVT_TYP_ID<fk>INTEGERRPT_STRC_ID<fk>INTEGERMEASURE_UNIT_ID<fk>INTEGERFNCL_SCOR_ID<fk>INTEGERPN_BHVR_SCOR_ID<fk>INTEGERENTY_ID<fk>INTEGEREMP_ID<fk>INTEGEREVT_TXN_SEQ_NBR<fk>INTEGERF_CUS_CNTC_EVTV_E_ENTY_ID<fk>INTEGERCUS_CNTC_ID<pk>INTEGERD_C_CTCT_RSOL_ID<fk>INTEGERLGCY_SYS_CUS_CNTCINTEGERCUS_CNTC_REFcharCUS_CNTC_EVT_IDINTEGERF_C_ENTY_ID<fk>INTEGERCUS_STSF_RT_ID<fk>INTEGERCNTC_INIT_DT_IDINTEGERHOUR_ID<fk>INTEGERMINUTE_ID<fk>INTEGERINIT_CNTC_EMP<fk>charCOR_EVT_TXN_ID<fk>INTEGERCOR_EVT_TYP_ID<fk>INTEGERCOR_RPT_STRC_ID<fk>INTEGERGEO_ID<fk>INTEGERMEASURE_UNIT_ID<fk>INTEGERFNCL_SCOR_ID<fk>INTEGERLANGUAGE_ID<fk>INTEGERPN_BHVR_SCOR_ID<fk>INTEGERPRODUCT_ID<fk>INTEGERDEMO_ID<fk>INTEGERCNTC_RSOL_EMP_ID<fk>INTEGERCUS_ID<fk>INTEGERSRSNS_CUS_CO_ID<fk>INTEGERDV_EMPENTY_ID<pk,fk>INTEGERRPT_STRC_IDINTEGERGEO_IDINTEGERADR_IDINTEGEREMP_DEMO_IDINTEGEREMP_NAME_PFXCHAREMP_SNAMEVARCHAR(15)EMP_FNAMEVARCHAR(15)EMP_MNAMEVARCHAR(15)EMP_NAME_SFXCHAREMP_NTL_INS_NBRCHAREMP_HOME_TEL_NBRCHAREMP_PRIM_FAX_NBRCHAREMP_EMAIL_IDINTEGEREMP_DOBDATEEMP_GNDRCHAREMP_MRTL_STATCHAREMP_LIFE_STATCHAREMP_PREF_LANGVARCHAR(20)F_CPGN_CNTC_EVTCCE_ID<pk>INTEGERPROMO_EPSD_ID<pk>INTEGERENTY_ID<pk,fk>INTEGERCNTC_PRD_ID<pk>integerCCH_COUNT<pk>INTEGERCORE__EVT_TYPE_ID<fk>INTEGERCOR_RPTG_STRUCT_ID<fk>INTEGERGEO_ID<fk>INTEGERMU_ID<fk>INTEGERFINANCIAL_SCORE_ID<fk>INTEGERLANGUAGE_ID<fk>INTEGERPB_SCORE_ID<fk>INTEGERPRODUCT_ID<fk>INTEGERDEMO_ID<fk>INTEGEREMP_ID<fk>INTEGERCOR_EVT_TX_SEQ_NO<fk>SMALLINTTRGT_GRPchar(3)CORE_EVENTY_TYPE_IDINTEGERCNTCT_CNTRL_GRP_INCHARCCE_RESULTCHARP_PSYCH_IDINTEGERAFFILIATION_IDintPA_IDINTEGERCC_COMM_EVT_AMTdecimal(10,2)D_TIME_PERIODPRD_ID<pk>INTEGERDT_NAchar(4)DATEDATEDAY_NAMEchar(8)DAY_ABRchar(3)DAY_IN_WEEKSMALLINTDAY_IN_MONTHSMALLINTDAY_IN_YEARSMALLINTWEEK_IN_MONTHSMALLINTWEEK_IN_YEARSMALLINTCLNT_SVC_WK_IN_YRchar(18)MONTH_NAMEchar(10)MONTH_ABRchar(3)MONTH_IN_YEARSMALLINTCALENDAR_QTRchar(6)MONTH_IN_QTRSMALLINTWEEK_IN_QTRSMALLINTDAY_IN_QTRSMALLINTFINANCIAL_QTRchar(6)COMPETITOR_FSCL_YRchar(6)MONTH_IN_FNCL_QTRSMALLINTWEEK_IN_FNCL_QTRSMALLINTDAY_IN_FNCL_QTRSMALLINTSEMI_YEARLYSMALLINTYEAR_NAMEchar(18)YEAR_ABRchar(4)SEASON_NAMEchar(18)SEASON_ABRchar(6)NBR_DAYS_SINCE_90integerHOLIDAY_INDCHARXMAS_HLDY_INDCHAREASTER_HLDY_INDCHARD_CPGN_COM_EVT_TYPEVT_TYP_ID<pk,fk>INTEGERCPGN_COMM_DESCCHAR分析型CRM經營業績管理SybaseIndustryWarehouseStudio

分析型應用框架客戶構成營銷活動客戶興趣忠誠度銷售行業相關的EVT_TYP_Time資源搜集需求理解業務線設計模式ETL模板構造分析需求實施測試用戶反饋精練測試第二代倉庫典型的數據倉庫項目從這里開始SybaseIWS提供的時間上的價值

快速啟動數據倉庫項目搜集需求理解業務線設計模式ETL模板構造分析查詢實施測試第一代倉庫SybaseIWS從這里開始IWS節省3到6個月更多的價值=更快地訪問信息Time資源搜集需求用戶反饋第二代倉庫典型的數據倉庫SybaSybaseIndustryWarehouseStudio

ValueProposition回顧

預先建立的業務和物理模型優化了項目進度的安排和加快了對數據的訪問基于經過驗證的實施經驗和行業經驗設計和方法論是可擴展/可定制的安全企業范圍數據庫獨立面向行業集成的模型和基礎平臺

靈巧節省資源…一半的投入節省時間…更快的實施節省資金…降低成本節省SybaseIndustryWarehouseStud數據倉庫系統體系架構RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMS

DimensionModelingConformeddimension&factIncludingatomic&aggregateArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadata數據倉庫系統體系架構RelationalPackageLegAdaptiveServer?IQMultiplex?是專門為滿足數據倉庫和商務智能設計的高性能的關系數據庫系統。IQMultiplex的主要特點是：?高可擴展性–支持數以千計的并發用戶存取TB級的數據。?突破性的速度–閃電般的查詢速度，比傳統RDBMS快10~100倍以上。?無限的靈活性–支持任意類型的即席查詢。?最低的擁有總成本–高效的數據壓縮存儲，達到30%~60%；簡單的維護和管理。AdaptiveServer?IQMultiplex?集成的主要產品DesignWarehouseArchitectManageSybaseASIQMIntegrateInformaticaEnterpriseConnectReplicationServerPowerMartVisualizeBo、BrioCognosSPSSAdministerWarehouseControlCenterWarehouseControlCentre集成的主要產品DesignManageIntegratePoSybase數據倉庫相關產品集的構成RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMSRDBMS,StarSchemaArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadataPowerCenterPowerMartSybaseIQMSybaseIQMBrio/BOPowerMartWarehouseArchitectWCCCognosSybase數據倉庫相關產品集的構成RelationalPa設計:成功的關鍵數據庫的設計對數據倉庫系統的整體性能、裝載和建立索引的時間以及數據量的增長等的影響超過任何其它方面。設計:成功的關鍵數據庫的設計對數據倉庫系統的整體性能、裝載數據倉庫設計在支持分析和決策的查詢環境中，使業務用戶可以訪問，理解和利用數據以業務用戶理解和運用信息的方式組織數據可預見的查詢方式基于時間的匯總的數據向下/上的鉆取（Drill-down/drill-up）數據倉庫設計在支持分析和決策的查詢環境中，使業務用戶可以多維模型設計傳統的數據建模方法(如ER模型)可能非常復雜且不易理解按照最終用戶的想法定義信息(以查詢為中心建模)Star(星型),Snowflake(雪花型)，Constellation(星座型)，Snowstorm(雪暴型)Facts(事實)：可度量數據，如數量、價格Dimensions(維)：用于分類Fact的詳細數據多維模型設計傳統的數據建模方法(如ER模型)可能非常復雜且不GroceryTransactionStoreNumberTransactionDateCustomerProductQuantityAmountCustomerCustomerFromDateToDateFirstNameLastNameAddress1Address2Address3CityStateCountryPostalCodeTimeTransactionDateStoreStoreNumberStoreNameCityStateCountryTelephoneProductProductDescriptionCategoryFactTableDimensionTablesDimensionTables多維模型:星型模式GroceryTransactionStoreNumbeGroceryTransactionStoreNumberTransactionDateCustomerProductQuantityAmountCustomerCustomerFirstNameLastNameAddress1Address2Address3CityStateCountryPostalCodeCustomerCategoryTimeTransactionDateStoreStoreNumberStoreNameCityStateCountryTelephoneRegionProductProductDescriptionCategoryProductCategoryProductCategoryDescriptionRegionRegionDescriptionSalesPeriodPeriodIdentifierSalesPeriodFromDateToDateCustomerCategoryCategoryCustomerCategory為了避免數據冗余,用多張表來描述一個復雜維在星型模式的基礎上,構造維表的多層結構多維模型:雪花模式GroceryTransactionStoreNumbeGroceryTransactionStoreNumberTransactionDateCustomerProductPurchaseQuantityAmountCustomerCustomerFirstNameLastNameAddress1Address2Address3CityStateCountryPostalCodeCustomerCategoryTimeTransactionDateStoreStoreNumberStoreNameCityStateCountryTelephoneRegionProductProductDescriptionCategoryProductLineSalesPeriodPeriodIdentifierSalesPeriodFromDateToDateCustomerCategoryCategoryCustomerCategoryProductPurchasesProductPurchaseDateSupplyingVendorPurchaseOrderUnitQuantityPurchaseCostVendorVendorVendorNameAddress1Address2Address3CityStateCountryPostalCodeProductInventoryProductWarehouseLocationQuantityOnHandQuantityBackOrderedWarehouseWarehouseAddress1Address2Address3CityStateCountryPostalCode具有多個事實表多維模型:星座模式GroceryTransactionStoreNumbeGroceryTransactionStoreNumberTransactionDateCustomerProductPurchaseQuantityAmountCustomerCustomerFirstNameLastNameAddress1Address2Address3CityStateCountryPostalCodeCustomerCategoryTimeTransactionDateStoreStoreNumberStoreNameCityStateCountryTelephoneRegionProductProductDescriptionCategoryProductLineProductCategoryProductCategoryDescriptionRegionRegionDescriptionSalesPeriodPeriodIdentifierSalesPeriodFromDateToDateCustomerCategoryCategoryCustomerCategoryPromotionPeriodPromotionIdPromotionFromDateToDateProductLineProductLineIDDescriptionProductPurchasesProductPurchaseDateSupplyingVendorPurchaseOrderUnitQuantityPurchaseCostVendorVendorVendorNameAddress1Address2Address3CityStateCountryPostalCodeProductInventoryProductWarehouseLocationQuantityOnHandQuantityBackOrderedWarehouseWarehouseAddress1Address2Address3CityStateCountryPostalCode具有多個事實表與多層維表多維模型:雪暴模式GroceryTransactionStoreNumbe數據模型中的事實和維度事實和維的概念對應于:數據倉庫數據庫中的數據模型對象星型模式（Starschema）DSS/OLAP系統中的數據模型對象多維模型（Multidimensionalmodel）數據模型中的事實和維度事實和維的概念對應于:SalesfactSalesmeasuresTimedimensionAttributesofthe

timedimension星型模式-StarSchemaSalesfactSalesmeasuresTimedSalesCubeSalesmeasures(Metrics)TimedimensionAttributesofthe

timedimension多維模型-MultidimensionalModelSalesCubeSalesmeasuresTimed數據倉庫設計工具WarehouseArchitect為數據倉庫的設計提供三大功能：多維建模度量、維、屬性事實表，維表維層次表，事實層次表設計向導聚合（AggregationWizard）分片（PartitioningWizard）逆向工程數據源優化代碼生成目標數據倉庫引擎（IQM，RDBMS)OLAP分析環境數據倉庫設計工具WarehouseArchitect為數據倉Timeidentifier=TimeidentifierProductidentifier=ProductidentifierCustomeridentifier=CustomeridentifierStoreidentifier=StoreidentifierCustomerCustomeridentifier<pk>doubleCustomernamechar(30)SalesFactProductidentifier<pk,fk>doubleTimeidentifier<pk,fk>doubleCustomeridentifier<pk,fk>doubleStoreidentifier<pk,fk>doubleSalestotalrealProfitsrealStoreStoreidentifier<pk>doubleStorenamechar(50)TimeTimeidentifier<pk>doubleDatetimestampMonthchar(50)QuarterdoubleYeardoubleProductProductidentifier<pk>doubleProductdescriptionchar(80)WarehouseArchitectTimeidentifier=TimeidentifWarehouseArchitectDataWarehouseorDataMartDatabaseOperationalSourceOLAPEngineInterfaceExternalObjectsDecisionSupport/OLAPModel

(WAMultidimensionalHierarchy)DimensionalAnalysisTransformationRelationaland/orDimensionalAnalysisDataWarehouseModel(WAM)WarehouseArchitect的支持范圍WarehouseArchitectDataWarehou數據倉庫設計-小結WarehouseArchitect對數據倉庫設計過程的每一步都提供支持：數據源中的元數據導入。設計和優化數據倉庫的數據模型（星型模式/多維模型）。與抽取、轉換工具對接，實施數據移動。基于數據倉庫模型，為前端DSS/OLAP工具生成所需的數據立方體。為設計過程的每一步生成文檔和報告。數據倉庫設計-小結WarehouseArchitect對數據數據存儲、管理挑戰數據規模查詢性能裝載速度易于管理存取訪問成功的關鍵快速，高效數據存儲技術出色的查詢性能-特殊的索引技術，并行查詢可伸縮性-GB到TB級易于管理-方便，靈活，GUI存取訪問-數據隨時可用數據存儲、管理挑戰成功的關鍵數據管理解決的方案通用的關系數據庫系統專門的數據倉庫服務器SybaseIQM專門為數據倉庫/數據集市設計的關系型數據庫專門針對OLAP/DSS而優化的索引和查詢處理技術數據管理解決的方案AdaptiveServerIQM數據存儲：AdaptiveServerIQM垂直存儲技術(VerticalPartitioning)無處不索引(IndexEVERYWHERE)專利的BitWise索引技術跨越Bitmap的限制多種索引類型：FP,LF,HNG,HG,CMP,WD低級數的限制從100擴充到1000數據壓縮(通常達到原始數據的70-75%)預連接的索引提供額外的顯著提高性能手段(JoinIndex)支持任意設計模式星型、雪花、雪暴、星座模式普通關系模式支持任意加載方式文件、內部數據、外部數據庫直接加載開放的接口AdaptiveServerIQM數據存儲：AdaptIndex傳統RDBMSRelationalTableTypicalRDBMS數據按行存儲數據與索引分開存放很少的索引類型-B-樹普通關系數據庫為OLTP系統進行優化B-treeIndexbestforretrievingonerowatatimeIndex傳統RDBMSRelationalTableTy計算“NY”州A類商店的平均銷售額當表的記錄數從幾萬條變為千萬和上億條時，傳統RDBMS技術面對的問題:表掃描的性能極端低下冗余設計代價高昂、查詢讀取的無效字段過多低級數類型數據上索引的失效普通索引加載和空間代價，造成不能任意建造即席查詢的SQL順序對性能有顯著影響數值型比較和運算，無恰當手段加速處理傳統RDBMS不適合數據倉庫計算“NY”州當表的記錄數從幾萬條變為千萬和上億條時，傳統RIQM的特殊存儲方式-垂直存儲（按列存儲）SybaseIQM:數據是按列存儲的，而不是按行存儲好處:

只存取查詢所需的數據數據類型是一致的，因而可以很容易被壓縮數據庫易于修改和管理IQM的特殊存儲方式-垂直存儲（按列存儲）SybaseIQSybaseIQM:

只讀完成查詢所涉及到的列計算在紐約的“A”類商店的平均銷售額好處:

無須使用其他的技術，SybaseIQM就可以減少I/O超過90%IQM的特殊存儲方式-垂直存儲（按列存儲）SybaseIQM:只讀完成查詢所涉及到的列計算在紐約“HowmanyMALESareNOTINSUREDinCALIFORNIA?GenderMMFMM-800Bytes/Row10MROWSStateNY

CA

CT

MACA-RDBMSInsuredY

Y

NYNM Y CAM N CAF Y NYM N CA1243GenderInsuredState++11011101010110MBits10MBitsx3col/816KPage=235I/Os800Bytesx10M16KPage=

500,000I/Os基本上只能使用表掃描查詢過程讀取了太多的無效數據IQMExample:I/O的明顯減少“HowmanyMALESareNOTINSUREIQM的索引特點索引即是數據沒有索引和數據的分別任何一列可以建立多個索引系統保證至少會存在一個索引（FP）索引的選擇和設計主要基于：數據的級數（離散值的個數）在查詢中的使用方式和SQL語句的順序無關IQM的索引特點索引即是數據索引的種類FastProjection(FP)數據壓縮存儲根據數據的特點會自動使用三種方式中的一種LowFast(LF)Bitmap索引HighNonGroup(HNG)Bit-wise索引HighGroup(HG)G-Array(包括一個改進的B-tree)Compare(CMP)列比較Word(WD)字符串查找索引的種類FastProjection(FP)FP索引有三種內部形態根據數據級數特征，IQ自動選擇FP中最合適的一種表現形式If級數>65536FPindexIf級數<256FFPIndex(Fast-FastProjection)If級數Between256and65536FFFPIndex(Fast-Fast-FastProjection)FP索引有三種內部形態根據數據級數特征，IQ自動選擇FP中FP形式1：FPIndex該列的級數超過65536原始數據在磁盤上壓縮存儲alphaalphabetagammabetabetaFP形式1：FPIndex該列的級數超過65536alpFP形式2：FFPIndex列級數<256內部生成一個單字節的lookup表不僅擁有較好查詢效率，同時得到高效壓縮DataValuesRedBlueGreenRedColorRedBlueGreen12311123332LookupTableDataFP形式2：FFPIndex列級數<256DataValFP形式3：FFFPIndex列的級數界于256和65536之間系統內建一個雙字節的lookup表DataValuesRedBlueGreenRedColorRedBlueGreen12311123332LookupTableData11123332123FP形式3：FFFPIndex列的級數界于256和6553LF索引的形態每個省份的取值有固定的bitmap行和取值的個數都可以自由增加只需處理相應的位，對查詢的性能提高:selectcount(*)fromcustomerswherestate=‘AL’示意：省份的LF存儲row-id北京上海天津河北山東安徽江蘇浙江100010000200000001301000000410000000501000000...LF索引的形態每個省份的取值有固定的bitmap示意：省份的高基數Bit-Wise索引：HNGBit-WiseIndex數據按照二進制存儲垂直分布和處理Sybase的專利技術使用最佳范圍高基數數據的范圍查找（>,<,between,…..)數學或函數運算(sumandaveragefunctions)高基數Bit-Wise索引：HNGBit-WiseInde級數任意，數據以二進制形式存在數據垂直分割-任何一位都可以獨立進行內部操作由于大量的0和1同時出現，因此數據的壓縮比較容易實現QueryExample:Select*whereSales>7高級數Bit-Wise索引：HNGSalesinbinaryform8bit4bit2bit1bit01101001010110111001001101111100SalesinHNGform8bit4bit2bit1bit01101001010110111001001101111100級數任意，數據以二進制形式存在高級數Bit-Wise索引：H高基數分類索引：HG在Bit-Wise的基礎上增加一個B-Tree，并保證樹在加載時不會重建最佳使用場合：多表的連結查詢JoinsSelectDistinct,CountDistinctGroupBy，Orderby高基數分類索引：HG在Bit-Wise的基礎上增加一個B-T高級數分類索引：HG在任何一塊充滿后，指針被轉化成一個bitmap塊B-TreeIndexabc1,24101101010100110100010010010010100101010ptr加載速度更快；在數據平衡失去后，更好的位圖優化方法；高級數分類索引：HG在任何一塊充滿后，指針被轉化B-Tree商務智能解決方案商務智能解決方案每減少1TB數據可以節省50至100萬美元的硬件投資ASIQM的數據壓縮與傳統數據庫的數據膨脹5to10TimestheCostofIQ-M1TB數據加載到不同數據倉庫引擎后占用的空間（索引+數據）每減少1TB數據可以節省50至100萬美元的硬件投資ASIQMultiplex并發支持的‘無限性’IQ（Multiplex）functions

IQCompaqServerIQVLMUnix/NTVLMAlphaServerIQVLMUnixCompaqServerIQVLMUnix/NTCompaqServerIQVLMUnix/NTIQ沒有數據的重新分布沒有模式改變的維護工作系統同步所需的I/O最小(為其他并行系統的1/10)CompaqServerIQVLMUnix/NTCompaqServerIQVLMUnix/NTCompaqServerIQVLMUnix/NTIQ…IQMultiplex并發支持的‘無限性’IQ（Mult156CPUs,160GBofRAM

48.2TBofdatastoredin22TB

ofstorage:disk/data=0.46TraditionalDBMS(I.eDB2,Teradata)need300TB(disk/data=10)Loadingspeed:5-20BillionrecordsperdaySun-IQMReferenceArchitecture:

TheFactsLatestSuniForceLabResults156CPUs,160GBofRAMSun-IQ突破性的速度

閃電般的快速查詢快速裝載無限的靈活性任何查詢任何模式非常經濟

壓縮的數據存儲支持多用戶查詢SybaseIQMAdaptiveServerIQM12:

專門設計的數據倉庫服務器突破性的速度SybaseIQMAdaptiveServeQ&A謝謝!Q&A謝謝!Sybase/BusinessIntelligenceSYBASE數據倉庫/商務智能解決方案魏健商務智能咨詢顧問SYBASE軟件(中國)有限公司Sybase/BusinessIntelligenceSY議程數據倉庫解決方案概述數據倉庫設計工具數據倉庫引擎SybaseAdaptiveServerIQMultiplex議程數據倉庫解決方案概述“數據倉庫是在企業管理和決策中面向主題的,集成的,與時間相關的和不可修改的數據集合”BillInmon數據倉庫定義“數據倉庫是在企業管理和決策中BillInmon數據倉庫定OLTP系統5-10年過去詳細數據當前詳細數據輕度匯總數據高度匯總數據數據集市用戶分析網絡資源分析數據倉庫數據倉庫/決策分析系統數據倉庫是完全不同的數據庫系統RDBMSSybaseSAP/ERPVSAMEXCELOLTP系統5-10年過去當前輕度高度數據集市用戶分析網絡操作(業務)系統特性事務處理性能是第一位的支持日常的業務事務驅動面向應用數據是當前的并在不斷變化存儲詳細數據(每一個事件或事務)針對快速預定義的事務優化設計可預見的使用模式支持辦事人員或行政人員操作(業務)系統特性事務處理性能是第一位的數據倉庫應用系統特點支持長遠的業務戰略決策分析驅動面向主題數據是歷史的數據反映某個時間點或一段時間數據是靜態的，除數據刷新外數據是匯總的優化是針對查詢而不是更新支持管理人員和執行主管人員數據倉庫應用系統特點支持長遠的業務戰略決策數據倉庫解決方案解決從數據庫中獲取信息的問題。INFORMATION信息信息INFORMATION什么是數據倉庫解決方案？數據倉庫解決方案解決從數據庫中獲取信息的問題。INFORMA應用價值時間1.日常報表2.即席查詢3.分析4.數據挖掘專題應用1234數據倉庫應用類型數據倉庫應用應用價值時間1.日常報表專題應用12數據倉庫系統體系架構RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMS

DimensionModelingConformeddimension&factIncludingatomic&aggregateArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadata數據倉庫系統體系架構RelationalPackageLeg數據倉庫/商務智能應用成功的關鍵?做什么，怎么做？?數據倉庫性能數據倉庫/商務智能應用成功的關鍵Sybase&Partner專業服務數據倉庫顧問咨詢IndustryWarehouseStudioSybaseIWS方法學ERDesignToolImpactAnalysisMetadataManagementSybaseIndustryWarehouseStudio

打包的數據倉庫基礎平臺概述業務模型物理模式元數據ETL工具例子報表算法ETLToolMetadataExchangeSmartETLMaps(Future)SQLTemplatesCognosBusinessObjectsMicroStrategyBusinessModelsfocusedonKeyIndustryEventsEnterprise-wide,StarSchema-baseddesignIndustryWarehouseStudioSybasIWS產品介紹

TABLETABLETABLETABLETABLEIndustry-specificDataModelsDataWarehouse“OpenRDBMS*”ORACLE,IBM,MICROSOFT,NCR,SYBASE,etc.

BIPartnersSampleApplications

AnalyticalCRMSalesAnalysisCustomerProfilingCampaignAnalysisCustomerCareAnalysisLoyaltyAnalysisBusinessPerformanceAnalysisIndustrySpecificSampleDataGeneral-RepresentativeSystemsIntegratorsGuideProjectPlansImplementationProtocole.g.InformaticaETLToolWarehouseArchitectMulti-DimensionalDesignToolSQLSampleReportsWarehouseControlCenterMetaDataManagementIWS產品介紹

TABLETABLETABLETABLETA客戶構成分析營銷活動分析客戶興趣分析忠誠度分析銷售分析行業相關的經營業績分析收益率分析EVT_TYP_ID=EVT_TYP_IDPRD_ID=PRD_IDENTY_ID=ENTY_IDENTY_ID=EMP_IDGEO_ID=GEO_IDLANGUAGE_ID=LANGUAGE_IDPRODUCT_ID=PRODUCT_IDDEMO_ID=DEMO_IDENTY_ID=V_E_ENTY_IDENTY_ID=ENTY_IDENTY_ID=F_C_ENTY_IDCOR_EVT_TYP_ID=COR_EVT_TYP_IDCOR_RPT_STRC_ID=COR_RPT_STRC_IDENTY_ID=CNTC_RSOL_EMP_IDGEO_ID=GEO_IDFNCL_SCOR_ID=FNCL_SCOR_IDMEASURE_UNIT_ID=MEASURE_UNIT_IDCOR_EVT_TXN_ID=COR_EVT_TXN_IDLANGUAGE_ID=LANGUAGE_IDCOR_EVT_TXN_SEQ_NB=COR_EVT_TXN_SEQ_NBPN_BHVR_SCOR_ID=PN_BHVR_SCOR_IDPRODUCT_ID=PRODUCT_IDDEMO_ID=DEMO_IDENTY_ID=ENTY_IDFNCL_SCOR_ID=FNCL_SCOR_IDMEASURE_UNIT_ID=MEASURE_UNIT_IDDEMO_ID=DEMO_IDPRODUCT_ID=PRODUCT_IDPN_BHVR_SCOR_ID=PN_BHVR_SCOR_IDLANGUAGE_ID=LANGUAGE_IDFNCL_SCORES_ID=FNCL_SCOR_IDMEASURE_UNIT_ID=D_M_MEASURE_UNIT_IDMEASURE_UNIT_ID=MEASURE_UNIT_IDGEO_ID=GEO_IDCOR_RPT_STRC_ID=COR_RPT_STRC_IDEVT_TYP_ID=COR_EVT_TYP_IDENTY_ID=F_C_ENTY_IDGEO_ID=GEO_IDLANGUAGE_ID=LANGUAGE_IDEVT_TYP_ID=EVT_TYP_IDDV_HR_EVT_TYPEEVT_TXN_ID<pk,fk>INTEGEREVT_TYP_ID<fk>INTEGEREVT_TYP_SHRT_NMCHAREVT_TYP_FULL_NMcharEVT_TYP_CAT_SHRT_NCHAREVT_TYP_CAT_FULL_NcharF_HR_EVTV_E_ENTY_ID<fk>INTEGERV_E2_ENTY_ID<fk>INTEGEREVT_DT_PRD_IDINTEGERADMIN<pk,fk>INTEGEREVT_EMP_ID<pk,fk>INTEGEREVT_EMP_DEMO<pk,fk>INTEGEREVT_ADMIN_DEMO<pk,fk>INTEGERCORE_EXT_ID<pk,fk>INTEGERCORE_RPTG_STRUC<pk,fk>INTEGERGEO_ID<pk,fk>INTEGERMU_ID<pk>INTEGERFIN_SCORE_ID<pk,fk>INTEGERLANGUAGE_ID<pk,fk>INTEGERPB_SCORE_ID<pk>INTEGERF_C_ENTY_ID<fk>INTEGERPRODUCT_ID<pk>INTEGERDEMO_ID<pk,fk>INTEGEREMP_ID<pk,fk>INTEGERCDEX_SEQ_NO<pk>INTEGERQTYintegerF_CORE_EVTCOR_EVT_TXN_ID<pk>INTEGERCOR_EVT_TYP_ID<pk,fk>INTEGERD_M_MEASURE_UNIT_ID<fk>INTEGERCOR_RPT_STRC_ID<pk,fk>INTEGERGEO_ID<pk,fk>INTEGERMEASURE_UNIT_ID<pk,fk>INTEGERFNCL_SCOR_ID<pk,fk>INTEGERLANGUAGE_ID<pk,fk>INTEGERPN_BHVR_SCOR_ID<pk,fk>INTEGERPRODUCT_ID<pk,fk>INTEGERDEMO_ID<pk,fk>INTEGERENTY_ID<pk,fk>INTEGERV_E_ENTY_ID<fk>INTEGERCOR_EVT_TXN_SEQ_NB<pk>NUMBERPRD_ID<fk>INTEGERAMOUNTNUMBERD_CORE_EVT_TYPEVT_TYP_ID<pk>INTEGEREVT_TYP_SHRT_NAMVARCHAR(15)EVT_TYP_LONG_NAMVARCHAR(35)EVT_TYP_SUBTYP_NAMVARCHAR(15)D_CORE_RPT_STRCCOR_RPT_STRC_ID<pk>INTEGERHOLDING_COMPANYVARCHAR(35)ORG_TYPEVARCHAR(20)ORG_NAMEVARCHAR(35)REGIONVARCHAR(20)SALES_TEAM_TYPEVARCHAR(15)SALES_TEAMVARCHAR(15)SALES_PERSON_NAMEcharSALES_PERSON_GRADECHARSALES_PERSON_TYPECHARCHNL_CATEGORY1char(18)CHNL_TYPECHARCHNL_SUBCATCHARCHNL_NAMEcharCHNL_CEASED_TRD_DTDATECHNL_ENTY_IDINTEGERCHNL_CITYVARCHAR(20)CHNL_POSTCODEVARCHAR(20)BEGIN_DATE_PRD_IDINTEGEREND_DATE_PRD_IDINTEGERD_GEOGRAPHYGEO_ID<pk>INTEGERALL_ENTRIESCHARPOSTAL_CODECHARVARYING(15)CITYcharPOSTAL_CD_PFXchar(3)HZRD_WTHR_AREACHARHZD_WTHR_TYPECHARDMA_CODECHARSMSA_CODECHARST_PROV_AREACHARTV_REGIONCHARNTL_RADIO_AREACHARLCL_RADIO_AREA