大數(shù)據(jù)工具概覽昭遠(yuǎn)@calio我是誰？微博：@calio郵箱：vipcalio@gmailgithub:calio處置搜集計(jì)算展現(xiàn)發(fā)掘大數(shù)據(jù)處置的普經(jīng)過程抽取抓取索引查詢數(shù)據(jù)分析搜索我們的產(chǎn)品我們的做法搜集：網(wǎng)頁(yè)埋點(diǎn)+webserver日志搜集處置：自定義的ETL腳本計(jì)算：hadoop+實(shí)時(shí)處置引擎+mysql發(fā)掘：自定義的hadoop義務(wù)展現(xiàn)：amcharts搜集工具搜集工具Needlebaseneedlebase/ScraperWikihttpsscraperwiki/Needlebase?從多種數(shù)據(jù)源獲取數(shù)據(jù)〔網(wǎng)頁(yè)，xml，csv文件〕合并，復(fù)制和清洗數(shù)據(jù)生成自定義視圖編寫代碼來自動(dòng)化抓取公共網(wǎng)站支持ruby，python，php社區(qū)特性：有很多他人寫好的開放程序處置工具Hadoop/GoogleMapReduce架構(gòu)的克隆，最初由DougCutting開發(fā)，Yahoo!是最大的奉獻(xiàn)者運(yùn)轉(zhuǎn)在跨機(jī)器的集群上宏大的相關(guān)工具生態(tài)圈計(jì)算工具計(jì)算工具M(jìn)ysqlmysql/Hadoop/HBase/Hive/開源的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)成熟的系統(tǒng)，相關(guān)資料較多在大數(shù)據(jù)環(huán)境下需求做shardingHadoop/GoogleMapReduce架構(gòu)的克隆，最初由DougCutting開發(fā)，Yahoo!是最大的奉獻(xiàn)者運(yùn)轉(zhuǎn)在跨機(jī)器的集群上宏大的相關(guān)工具生態(tài)圈開源版本的GoogleBigTable底層運(yùn)用HDFS存儲(chǔ)與hadoop完美結(jié)合多客戶端分布式訪問hadoop數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)運(yùn)用SQL來編寫Hadoop義務(wù)延遲較高，不能替代實(shí)時(shí)數(shù)據(jù)庫(kù)展現(xiàn)工具展現(xiàn)工具Processing/D3.js/FusionTablesgoogle/fusiontables/Home/圖形編程言語積累了大量的庫(kù)，例如和文檔processing.js:processing的js實(shí)現(xiàn)d3.jsjavascript框架，前身為Protovis包含了全量的易用可視化組件提供高層次接口FusionTables提供類似電子表格的在線數(shù)據(jù)存儲(chǔ)根據(jù)地理信息可視化數(shù)據(jù)newspapermap數(shù)據(jù)發(fā)掘工具數(shù)據(jù)發(fā)掘工具M(jìn)ahout/scikits.learn/stable/通用機(jī)器學(xué)習(xí)算法在海量數(shù)據(jù)之上運(yùn)轉(zhuǎn)絕大部分代碼是基于Hadoop編寫的分布式作業(yè)內(nèi)嵌了很多算法來實(shí)現(xiàn)通常的義務(wù)，比如聚類、分類、基于用戶行為的物品引薦，識(shí)別頻繁共現(xiàn)的屬性python機(jī)器學(xué)習(xí)工具規(guī)范機(jī)器學(xué)習(xí)技術(shù)的高層接口實(shí)驗(yàn)和快速原型實(shí)現(xiàn)處置搜集計(jì)算展現(xiàn)發(fā)掘大數(shù)據(jù)處置的普經(jīng)過程抽取抓取索引查詢數(shù)據(jù)分