商務(wù)大數(shù)據(jù)分析

導(dǎo)論目錄項(xiàng)目一

數(shù)據(jù)分析基礎(chǔ)項(xiàng)目二

大數(shù)據(jù)分析算法項(xiàng)目三

創(chuàng)業(yè)實(shí)踐：數(shù)據(jù)采集與整理

項(xiàng)目四

創(chuàng)業(yè)實(shí)踐：構(gòu)建數(shù)據(jù)模型項(xiàng)目五

創(chuàng)業(yè)實(shí)踐：認(rèn)識(shí)客戶價(jià)值項(xiàng)目六

創(chuàng)業(yè)實(shí)踐：數(shù)據(jù)可視化項(xiàng)目七

數(shù)字化創(chuàng)新創(chuàng)業(yè)實(shí)踐項(xiàng)目一數(shù)據(jù)分析基礎(chǔ)項(xiàng)目一數(shù)據(jù)分析基礎(chǔ)任務(wù)一大數(shù)據(jù)分析基礎(chǔ)知識(shí)

1.大數(shù)據(jù)分析的幾對(duì)概念

1.1機(jī)器學(xué)習(xí)與深度學(xué)習(xí)

1.2監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)

1.3訓(xùn)練集、驗(yàn)證集和測(cè)試集

2.大數(shù)據(jù)分析流程

2.1.數(shù)據(jù)分析標(biāo)準(zhǔn)流程

2.2.數(shù)據(jù)分析標(biāo)準(zhǔn)流程的案例解析3.大數(shù)據(jù)分析方法概覽

4.本書主要使用的大數(shù)據(jù)分析工具

4.1.PowerBI簡(jiǎn)介

4.2.Python簡(jiǎn)介

4.3.Orange3.0主要功能1.大數(shù)據(jù)分析的幾對(duì)概念1.1機(jī)器學(xué)習(xí)與深度學(xué)習(xí)1.機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)是人工智能在近期最重要的發(fā)展之一。機(jī)器學(xué)習(xí)的理念是，不將智能看作是給機(jī)器傳授東西，而是機(jī)器會(huì)自己學(xué)習(xí)東西。2.深度學(xué)習(xí)深度學(xué)習(xí)是目前關(guān)注度很高的一類算法，深度學(xué)習(xí)（DeepLearning，DL）屬于機(jī)器學(xué)習(xí)的子類。它的靈感來源于人類大腦的工作方式，是利用深度神經(jīng)網(wǎng)絡(luò)來解決特征表達(dá)的一種學(xué)習(xí)過程。人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)關(guān)系如圖所示。1.大數(shù)據(jù)分析的幾對(duì)概念1.2監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)通過建立模型進(jìn)行自我學(xué)習(xí)，那么學(xué)習(xí)方法有哪些呢？（1）監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)就是訓(xùn)練機(jī)器學(xué)習(xí)的模型的訓(xùn)練樣本數(shù)據(jù)有對(duì)應(yīng)的目標(biāo)值，監(jiān)督學(xué)習(xí)就是通過對(duì)數(shù)據(jù)樣本因子和已知的結(jié)果建立聯(lián)系，提取特征值和映射關(guān)系，通過已知的結(jié)果，已知數(shù)據(jù)樣本不斷的學(xué)習(xí)和訓(xùn)練，對(duì)新的數(shù)據(jù)進(jìn)行結(jié)果的預(yù)測(cè)。（2）無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)跟監(jiān)督學(xué)習(xí)的區(qū)別就是選取的樣本數(shù)據(jù)無需有目標(biāo)值，我們無需分析這些數(shù)據(jù)對(duì)某些結(jié)果的影響，只是分析這些數(shù)據(jù)內(nèi)在的規(guī)律。（3）半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)是監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)相互結(jié)合的一種學(xué)習(xí)方法，通過半監(jiān)督學(xué)習(xí)的方法可以實(shí)現(xiàn)分類、回歸、聚類的結(jié)合使用。（4）強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)是一種比較復(fù)雜的機(jī)器學(xué)習(xí)方法，強(qiáng)調(diào)系統(tǒng)與外界不斷的交互反饋，它主要是針對(duì)流程中不斷需要推理的場(chǎng)景，比如無人汽車駕駛，它更多關(guān)注性能。它是機(jī)器學(xué)習(xí)中的熱點(diǎn)學(xué)習(xí)方法。1.大數(shù)據(jù)分析的幾對(duì)概念1.3訓(xùn)練集、驗(yàn)證集和測(cè)試集1.訓(xùn)練集(trainset)用于訓(xùn)練有監(jiān)督模型，擬合模型，調(diào)整參數(shù)，選擇入模變量，以及對(duì)算法做出其他抉擇；2.測(cè)試集(testset)用于評(píng)估訓(xùn)練出的模型效果，但不會(huì)改變模型的參數(shù)及效果，一般驗(yàn)證模型是否過擬合或者欠擬合，決定是否重新訓(xùn)練模型或者選擇其他的算法；3.驗(yàn)證集(validationset)因?yàn)橛?xùn)練集和測(cè)試集均源自同一分布中，隨著時(shí)間的流逝，近期樣本的分布與訓(xùn)練模型的樣本分布會(huì)有變化，需要校驗(yàn)訓(xùn)練好的模型在近期樣本(驗(yàn)證集)是否有同樣的效果，即模型的穩(wěn)定性、魯棒性、泛化誤差。2.大數(shù)據(jù)分析流程大數(shù)據(jù)特點(diǎn)5個(gè)V：數(shù)據(jù)量大（Volume）、速度快（Velocity）、類型多（Variety）、價(jià)值（Value）、真實(shí)性（Veracity）。數(shù)據(jù)分析工具各種廠商開發(fā)了數(shù)據(jù)分析的工具、模塊，將分析模型封裝，使不了解技術(shù)的人也能夠快捷地實(shí)現(xiàn)數(shù)學(xué)建模，快速響應(yīng)分析需求。傳統(tǒng)分析在數(shù)據(jù)量較少時(shí)，傳統(tǒng)的數(shù)據(jù)分析已能夠發(fā)現(xiàn)數(shù)據(jù)中包含的知識(shí)，包括結(jié)構(gòu)分析、杜邦分析等模型，方法成熟，應(yīng)用廣泛。常規(guī)分析揭示數(shù)據(jù)之間的靜態(tài)關(guān)系；分析過程滯后；對(duì)數(shù)據(jù)質(zhì)量要求高。隨著計(jì)算機(jī)科學(xué)的進(jìn)步，數(shù)據(jù)挖掘、商務(wù)智能、大數(shù)據(jù)等概念的出現(xiàn)，數(shù)據(jù)分析的手段和方法更加豐富。數(shù)據(jù)挖掘就是充分利用了統(tǒng)計(jì)學(xué)和人工智能技術(shù)的應(yīng)用程序，并把這些高深復(fù)雜的技術(shù)封裝起來，使人們不用自己掌握這些技術(shù)也能完成同樣的功能，并且更專注于自己所要解決的問題。同時(shí)將統(tǒng)計(jì)學(xué)和計(jì)算機(jī)技術(shù)等多學(xué)科進(jìn)行結(jié)合，揭示數(shù)據(jù)之間隱藏的關(guān)系將數(shù)據(jù)分析的范圍從“已知”擴(kuò)展到“未知”，從“過去”推向“將來”。商務(wù)智能一系列以事實(shí)為支持，輔助商業(yè)決策的技術(shù)和方法，曾用名包括專家系統(tǒng)、智能決策等，一般由數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成對(duì)數(shù)據(jù)分析的體系化管理，數(shù)據(jù)分析的主體依然是數(shù)據(jù)挖掘。大數(shù)據(jù)技術(shù)從多種類型的數(shù)據(jù)中，快速獲取知識(shí)的能力及數(shù)據(jù)挖掘技術(shù)的衍生。數(shù)據(jù)可視化大數(shù)據(jù)時(shí)代，展示數(shù)據(jù)可以更好輔助理解數(shù)據(jù)、演繹數(shù)據(jù)。2.1數(shù)據(jù)分析標(biāo)準(zhǔn)流程（圖）2.大數(shù)據(jù)分析流程（1）業(yè)務(wù)理解（2）數(shù)據(jù)理解（3）數(shù)據(jù)準(zhǔn)備（4）建立模型（5）評(píng)估模型（6）部署2.1數(shù)據(jù)分析標(biāo)準(zhǔn)流程（圖）2.大數(shù)據(jù)分析流程（1）業(yè)務(wù)理解（2）數(shù)據(jù)理解（3）數(shù)據(jù)準(zhǔn)備（4）建立模型（5）評(píng)估模型（6）部署2.2數(shù)據(jù)分析標(biāo)準(zhǔn)流程的案例解析案例：農(nóng)夫山泉用大數(shù)據(jù)賣礦泉水2.大數(shù)據(jù)分析流程在大數(shù)據(jù)時(shí)代，數(shù)據(jù)挖掘算法是最關(guān)鍵的工作。大數(shù)據(jù)的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機(jī)的大型數(shù)據(jù)庫(kù)中發(fā)現(xiàn)隱含在其中有價(jià)值的、潛在有用的信息和知識(shí)的過程，也是一種決策支持過程。其主要基于人工智能，機(jī)器學(xué)習(xí)，模式學(xué)習(xí)，統(tǒng)計(jì)學(xué)等。一般來說，大數(shù)據(jù)的挖掘常用的方法有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、人工神經(jīng)網(wǎng)絡(luò)等，如圖所示。這些方法從不同的角度對(duì)數(shù)據(jù)進(jìn)行挖掘，從而生產(chǎn)數(shù)據(jù)產(chǎn)品，產(chǎn)生數(shù)據(jù)價(jià)值。3.大數(shù)據(jù)分析方法概覽（2）回歸分析。（3）聚類。3.大數(shù)據(jù)分析方法概覽分類算法示意圖

回歸算法示意圖

聚類算法示意圖回歸分析反映了數(shù)據(jù)庫(kù)數(shù)據(jù)的屬性值的特性，通過函數(shù)表達(dá)數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的依賴關(guān)系。回歸分析聚類類似于分類，但與分類的目的不同，是針對(duì)數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個(gè)類別。聚類分類是找出數(shù)據(jù)庫(kù)中的一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到摸個(gè)給定的類別中。分類3.大數(shù)據(jù)分析方法概覽關(guān)聯(lián)規(guī)則算法示意圖

神經(jīng)網(wǎng)絡(luò)算法示意圖關(guān)聯(lián)規(guī)則是隱藏在數(shù)據(jù)項(xiàng)之間的關(guān)聯(lián)或相互關(guān)系，即可以根據(jù)一個(gè)數(shù)據(jù)項(xiàng)的出現(xiàn)推導(dǎo)出其他數(shù)據(jù)項(xiàng)的出現(xiàn)。關(guān)聯(lián)規(guī)則神經(jīng)網(wǎng)絡(luò)作為一種先進(jìn)的人工智能技術(shù)，因其自身自行處理、分布存儲(chǔ)和高度容錯(cuò)等特性，非常適合處理非線性的以及那些以模糊、不完整、不嚴(yán)密的知識(shí)或數(shù)據(jù)為特征的處理問題，它的這一特點(diǎn)十分適合解決數(shù)據(jù)挖掘的問題。神經(jīng)網(wǎng)絡(luò)方法（1）Python概要Python是一個(gè)高層次的結(jié)合了解釋性、編譯性、互動(dòng)性和面向?qū)ο蟮哪_本語言。Python的設(shè)計(jì)具有很強(qiáng)的可讀性。1）Python是一種解釋型語言：這意味著開發(fā)過程中沒有了編譯這個(gè)環(huán)節(jié)。類似于PHP和Perl語言。2）Python是交互式語言：這意味著，您可以在一個(gè)Python提示符，直接互動(dòng)執(zhí)行寫你的程序。3）Python是面向?qū)ο笳Z言:這意味著Python支持面向?qū)ο蟮娘L(fēng)格或代碼封裝在對(duì)象的編程技術(shù)。4）Python是初學(xué)者的語言：Python對(duì)初級(jí)程序員而言，是一種偉大的語言，它支持廣泛的應(yīng)用程序開發(fā)，從簡(jiǎn)單的文字處理到WWW瀏覽器再到游戲。（2）Python發(fā)展歷史（3）Python特點(diǎn)1）易于學(xué)習(xí)。Python有相對(duì)較少的關(guān)鍵字，結(jié)構(gòu)簡(jiǎn)單，和一個(gè)明確定義的語法，學(xué)習(xí)起來更加簡(jiǎn)單。2）易于閱讀。Python代碼定義的更清晰。3）易于維護(hù)。Python的成功在于它的源代碼是相當(dāng)容易維護(hù)的。4）一個(gè)廣泛的標(biāo)準(zhǔn)庫(kù)。Python的最大的優(yōu)勢(shì)之一是豐富的庫(kù)，跨平臺(tái)的，在UNIX，Windows和Macintosh兼容很好。5）互動(dòng)模式。互動(dòng)模式的支持，您可以從終端輸入執(zhí)行代碼并獲得結(jié)果的語言，互動(dòng)的測(cè)試和調(diào)試代碼片斷。6）可移植?；谄溟_放源代碼的特性，Python已經(jīng)被移植（也就是使其工作）到許多平臺(tái)。7）可擴(kuò)展。如果你需要一段運(yùn)行很快的關(guān)鍵代碼，或者是想要編寫一些不愿開放的算法，你可以使用C或C++完成那部分程序，然后從你的Python程序中調(diào)用。8）數(shù)據(jù)庫(kù)。Python提供所有主要的商業(yè)數(shù)據(jù)庫(kù)的接口。9）GUI編程。Python支持GUI可以創(chuàng)建和移植到許多系統(tǒng)調(diào)用。10）可嵌入。你可以將Python嵌入到C/C++程序，讓你的程序的用戶獲得“腳本化”的能力。4.本書主要使用的大數(shù)據(jù)分析工具PowerBI是一種商業(yè)分析解決方案，可幫助對(duì)數(shù)據(jù)進(jìn)行可視化、在組織中共享見解、或?qū)⒁娊馇度霊?yīng)用或網(wǎng)站中。連接到數(shù)百個(gè)數(shù)據(jù)源，并使用實(shí)時(shí)儀表板和報(bào)表對(duì)讓數(shù)據(jù)變得生動(dòng)。PowerBI簡(jiǎn)介01Python是一種解釋型、面向?qū)ο?、?dòng)態(tài)數(shù)據(jù)類型的高級(jí)程序設(shè)計(jì)語言。由荷蘭人GuidovanRossum于1989年底發(fā)明，第一個(gè)公開發(fā)行版發(fā)行于1991年。像Perl語言一樣,Python源代碼同樣遵循GPL(GNUGeneralPublicLicense)協(xié)議。Python核心團(tuán)隊(duì)計(jì)劃在2020年停止支持Python2；從2019年1月1日開始，任何新的功能版本都只支持Python3。Python簡(jiǎn)介02Orange的組件包括：數(shù)據(jù)（Data）：包含數(shù)據(jù)輸入、數(shù)據(jù)保存、數(shù)據(jù)過濾、抽樣、插補(bǔ)、特征操作以及特征選擇等組件，同時(shí)還支持嵌入Python腳本?？梢暬╒isualize）：包含通用可視化（箱形圖、直方圖、散點(diǎn)圖）和多變量可視化（馬賽克圖、篩分曲線圖）組件。模型（Model）：包含一組用于分類和回歸的有監(jiān)督機(jī)器學(xué)習(xí)算法組件。評(píng)估（Evaluate）：交叉驗(yàn)證、抽樣程序、可靠性評(píng)估以及預(yù)測(cè)方法評(píng)估。無監(jiān)督算法（Unsupervised）：用于聚類（k-means、層次聚類）和數(shù)據(jù)降維（多維尺度變換、主成分分析、相關(guān)分析）的無監(jiān)督學(xué)習(xí)算法。另外，還可以通過插件（add-ons）的方式為Orange增加其他的功能（生物信息學(xué)、數(shù)據(jù)融合與文本挖掘。添加的方法是點(diǎn)擊“Options”菜單下的“Add-ons”按鈕，打開插件管理器。4.本書主要使用的大數(shù)據(jù)分析工具Orange是一個(gè)開源的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)軟件。Orange基于Python和C/C++開發(fā)，提供了一系列的數(shù)據(jù)探索、可視化、預(yù)處理以及建模組件。Orange3.0主要功能03項(xiàng)目一數(shù)據(jù)分析基礎(chǔ)任務(wù)二準(zhǔn)備你的數(shù)據(jù)分析能力

1.基本概念辨析

2.常見的離散型隨機(jī)變量的分布

2.1 等概率分布

2.2 伯努利分布

2.3 二項(xiàng)分布

2.4 幾何分布

2.5 超幾何分布

2.6 泊松分布

3.常見的連續(xù)型隨機(jī)變量的分布

3.1 正態(tài)分布

3.2 指數(shù)分布

1.1離散型隨機(jī)變量可以逐個(gè)列舉出來的變量。如能夠用我們?nèi)粘Ｊ褂玫牧吭~可以度量的取值，比如次數(shù)，個(gè)數(shù)，塊數(shù)等都是離散型隨機(jī)變量。比如拋硬幣、擲骰子、買彩票等。1.2連續(xù)型隨機(jī)變量無法逐個(gè)列舉的變量。無法用量詞度量，且取值可以取到小數(shù)2位，3位甚至無限多位的時(shí)候，那么這個(gè)變量就是連續(xù)型隨機(jī)變量。比如正態(tài)分布（也稱為高斯分布）、指數(shù)分布等。1.3概率函數(shù)其實(shí)，無論是離散型還是連續(xù)型隨機(jī)變量，基礎(chǔ)性的概率函數(shù)概念只有兩個(gè)，根據(jù)國(guó)內(nèi)教材的普遍性稱謂，在此我們可以統(tǒng)一稱為概率分布函數(shù)和概率密度函數(shù)。1.基本概念辨析2.1等概率分布顧名思義，等概率分布是指每一個(gè)可能出現(xiàn)情況的概率取值都是相等的。比如拋硬幣、拋骰子等，一般將等概率分布稱為“古典概型”。2.常見的離散型隨機(jī)變量的分布2.2伯努利分布伯努利分布，也叫0-1分布或兩點(diǎn)分布。凡是隨機(jī)試驗(yàn)只有兩個(gè)可能的結(jié)果，常用伯努利分布描述，如產(chǎn)品是否格、人口性別統(tǒng)計(jì)、系統(tǒng)是否正常、電力消耗是否超負(fù)荷等等。2.3二項(xiàng)分布二項(xiàng)分布，也叫n重伯努利分布，是指反復(fù)多次重復(fù)伯努利實(shí)驗(yàn)，比如重復(fù)拋骰子計(jì)算某個(gè)點(diǎn)出現(xiàn)幾次的概率問題，射擊的命中次數(shù)和命中率問題，一批種子的發(fā)芽率問題，藥物治療病人是否有效的問題，產(chǎn)品的不合格率問題等都要用到二項(xiàng)分布。2.常見的離散型隨機(jī)變量的分布四個(gè)二項(xiàng)分布圖2.常見的離散型隨機(jī)變量的分布2.4幾何分布幾何分布也是以伯努利分布為基礎(chǔ)