大數據架構商業之路：從業務需求到技術方案讀書筆記模板01思維導圖讀書筆記目錄分析內容摘要精彩摘錄作者介紹目錄0305020406思維導圖需求商業大數據技術業務效果讀者系統第章數據心得參考資料技術簡介系統選型需求模型業務關鍵字分析思維導圖內容摘要內容摘要為了達到深入淺出、通俗易懂的效果，本書的第一大部分概述了大數據的主要技術，包括大數據的獲取、存儲、處理，還有架構設計的基本理念，以及常用的消息和緩存機制。這一部分你會發現關于Nutch、Flume、Hadoop、HBase、Redis、Hive、Kafka、Spark、Storm等的簡介。對于數據處理的高級技術，本書著墨不少，但不乏對于信息檢索和數據挖掘課題的探討。例如站內搜索引擎、推薦系統、廣告系統、聚類、分類和線性回歸等。由于商業需求尤其看重實際產出，因此第一部分的最后還會分析常見的效果和性能評估。相信這部分對于構建讀者的大數據知識體系會很有幫助。在每一章的最后，我們還會給出重要的參考圖書，以便于讀者繼續深入學習。讀書筆記讀書筆記實際、實用、實體。商業之路為第二篇的頭一本，建議先從本書開始再讀第二本，受益匪淺。涉及到的新技術很多，對于我來說，感覺特別有意思和挑戰，或許可以再整幾個項目，18年目標就從中小型企業基于大數據的分析，運營，決策入手了。以故事的形式對電子商務所需要用到的大數據等技術娓娓道來，看上去比較輕松有趣，雖然在專業性上不如工具類書籍，但值得稱道的每一章都有總結和推薦參考書，作者還是蠻有心的??。作者從宏觀視角帶領讀者建立大數據的全景輪廓圖。入門級別，從大數據的各組件到搜索，再到用戶行為分析，偏好分析等方面舉例子闡述。屬于大數據技術入門指南一類的書，不過寫得很棒，很多方面都有介紹，對于小白來說這就足夠了，值得新手仔細研讀。這本書從全鏈路講解了大數據概念到學習與應用。很不錯的一本書，已經買了實體書。精彩摘錄精彩摘錄相似度或相關性的衡量就是依據一定的模型，預測兩個數據對象之間的相似程度，這里主要是注重文本的相似性。常見的模型有布爾模型、基于偏序的布爾模型、向量空間模型、概率模型和語言模型，等等。網頁獲取的策略分為幾個大類：深度優先、寬度優先和最佳優先三種HBase不同于一般的關系數據庫，它是一個適合于非結構化數據的數據庫，最大的特點是基于列而不是基于行的模式進行存儲。HDFS為海量的數據提供了存儲，而MapReduce為海量的數據提供了計算。下面即將介紹兩個比較著名的開源系統——ApacheNutch和Heritrix，它們能幫助人們快速設計和實現自己的網絡爬蟲。主要組成部分為爬蟲（Crawler）、索引器（Indexer）和查詢器（Searcher）分布式文件系統HDFS（HadoopDistributedFileSystem）和對應的分布式非關系型（非結構化）數據庫系統HBase，以及另一個非關系型的數據庫MongoDB。Flume（flume.apache.目錄分析2.1互聯網數據收集2.2內部數據收集2.3本章心得2.4參考資料第2章數據收集2.1互聯網數據收集2.1.1網絡爬蟲2.1.2ApacheNutch簡介2.1.3Heritrix簡介2.2內部數據收集2.2.1ApacheFlume簡介2.2.2FacebookScribe和Logstash3.1持久化存儲3.2非持久化存儲3.3本章心得3.4參考資料第3章數據存儲3.1持久化存儲3.1.1Hadoop和HDFS3.1.2HBase簡介3.1.3MongoDB3.2非持久化存儲3.2.1緩存和散列3.2.2Memcached和BerkeleyDB簡介3.2.3Redis簡介4.1離線批量處理4.2提升及時性：消息機制4.3在線實時處理4.4本章心得4.5參考資料12345第4章數據處理4.1離線批量處理4.1.1Hadoop的MapReduce4.1.2Spark簡介4.1.3Hive簡介4.1.4Pig、Impala和SparkSQL4.2提升及時性：消息機制4.2.1ActiveMQ簡介4.2.2Kafka簡介4.3在線實時處理4.3.1Storm簡介4.3.2SparkStreaming簡介5.1基本理念5.2相關性5.3及時性5.4與數據庫查詢的對比5.5搜索引擎12345第5章信息檢索5.6推薦系統5.7在線廣告5.8本章心得5.9參考資料第5章信息檢索5.2相關性5.2.1布爾模型5.2.2基于排序的布爾模型5.2.3向量空間模型5.2.4語言模型5.5搜索引擎5.5.1Web搜索中的鏈接分析5.5.2電子商務中的商品排序5.5.3多因素和基于學習的排序5.5.4系統框架5.5.5Lucene簡介5.5.6Solr簡介5.5.7Elasticsearch簡介5.6推薦系統5.6.1推薦的核心要素5.6.2推薦系統的分類5.6.3混合模型5.6.4系統架構5.6.5Mahout5.7在線廣告5.7.1在線廣告的類型5.7.2廣告投放機制5.7.3廣告的拍賣機制5.7.4廣告系統架構6.1基本理念6.2數據的表示和預處理6.3機器學習算法6.4挖掘工具第6章數據挖掘6.6參考資料6.5本章心得第6章數據挖掘6.2數據的表示和預處理6.2.1數據的表示6.2.2數據的預處理6.3機器學習算法6.3.1監督學習——分類6.3.2監督學習——回歸6.3.3非監督學習——聚類6.4挖掘工具6.4.1Mahout簡介6.4.2R簡介7.1效果評估7.2性能評估7.3本章心得7.4參考資料第7章效能評估7.1效果評估7.1.1離線評估7.1.2非離線的評估7.2性能評估7.2.1計算復雜度7.2.2應用系統性能7.2.3JMeter工具9.1業務需求9.3實現方案9.2產品設計和技術選型第9章商品太多啦！需要搜索引擎9.3實現方案9.3.1數據定義和配置9.3.2集群搭建9.3.3DIH配置10.1業務需求10.3實現方案10.2產品設計和技術選型第10章能否更主動？還需要推薦引擎10.3實現方案10.3.1基于內容特征的衡量10.3.2基于行為特征的衡量10.3.3提供在線服務11.1業務需求11.3實現方案11.2產品設計和技術選型第11章這樣做的效果如何11.3實現方案11.3.1行為數據的定義和記錄11.3.2Flume和HDFS的集成11.3.3通過Hive進行分析11.3.4Kafka和Storm的集成12.1業務需求：還要搜得更多12.3“還要搜得更多”的方案實現12.2“還要搜得更多”：產品設計和技術選型第12章這個搜索有點遜12.4業務需求：還要搜得更準12.5“還要搜得更準”：產品設計和技術選型12.6“還要搜得更準”的方案實現12.7業務需求：還要更快12.8還要“變”得更快：產品設計和技術選型12345第12章這個搜索有點遜12.9還要“搜”得更快：產品設計和技術選型12.11給點提示吧：產品設計和技術選型12.10業務需求：給點提示吧第12章這個搜索有點遜12.3“還要搜得更多”的方案實現12.3.1HBase的部署12.3.2HBase和Solr的集成12.5“還要搜得更準”：產品設計和技術選型12.5.1提升搜索排序的相關性12.5.2提升搜索排序的整體效果13.1業務需求：互聯網時代的CRM13.2互聯網時代的CRM：產品設計和技術選型13.3業務需求：抓住搗蛋鬼13.4抓住搗蛋鬼：產品設計和技術選型第13章支持更高效的運營13.6銷售之戰：產品設計和技術選型1