1、精選優質文檔-傾情為你奉上大數據在交通方面的應用周琦高德交通信息事業部數據架構師課程前言大家好，非常榮幸能來這個大會跟各位同仁分享高德軟件在大數據交通方面應用的成果和經驗。我下面就幾個問題，就是說高德軟件目前擁有哪些數據，以及高德交通現在怎么實時處理大數據、分析大數據和交通報告、數據挖掘的一些經驗。一、高德交通擁有哪些數據先說高德，高德本身是一家地圖軟件起家的，一家是純粹的傳統測繪企業，我們是中國最早一批獲得測繪資質的公司。開始我們做全國地圖數據的采集，然后我們開始是面向行業用戶，后來慢慢面向公眾服務，包括現在的高德地圖幾乎是我們在手機終端上最常用的幾種導航軟件之一。因為我們為公眾提供導航服務

2、的話就離不開對交通信息數據的使用。高德開始從事交通信息比較早，在2007年的時候就開始投入資源，來做全國交通信息的采集和發布。當時城市還沒有現在這么堵，但是我們發現交通日益成為對公眾出行體驗影響很大的方面，所以我們就和全國很多大廠商進行合作。我們采用置換、給買的方式，獲取他們包括出租車、物流車GPS的數據。所以到現在的話，我們基本上已經能夠對全國110多個城市，以及全國高速路網發布交通信息。大家可以看到，我們拿的高德地圖打開，基本上全國范圍都可以覆蓋一些路況，包括高速公路上的擁堵也可以很快的反映出來，全國高速覆蓋能力超過90%，我們最近也發布了高德的一些交通報告。我這里面所說到的大數據，目前所

3、說的大數據主要是針對采集的浮動車回傳數據，但是整個高德集體并不止這些數據。高德包括其他的業務，我們有包括用戶的定位，用戶的訪問以及很多的地圖數據，這些都沒囊括在內。但是就我們采用的浮動車數據已經很大了，我們每天會采集數十億次的GPS的回傳，折算成公里程大概是100億公里的里程。我們現在的數據來源主要分成兩種，一種是手機終端導航的回傳，還有一種是我們以前采購的一些行業出租車，包括物流車輛的一些數據。他們這些回傳數據對于我們發布交通信息非常有用，上午的時候發改委陳主任就提到了，我們采購這些數據可能面臨著成本的問題。確實，我們在采購，一家一家的談合作，我們就是為了打造更好的交通信息。二、如何實時處理

4、數據所以說我們現在通過這些海量的數據，數十億次的數據已經能做一些東西了。我們拿到了這些數據，對我們管理的數據來說，其實提出了一個很大的挑戰。剛才說到大數據所謂傳統的5V，我們有非常強大的數據，但是如何管理和使用這些數據，提取出它們的價值，是我們現在正在做的事情。這里面當然覆蓋的比較廣了地包括如何采集、管理、應用、挖掘，這個進來我們都會覆蓋到。這是我們現在大塊的存儲架構，高德2014年被阿里巴巴集團全資收購了，所以說進入了阿里集團之后，我們對大數據的處理和基礎架構的能力也得到了提升，現在高德所有用戶的回傳數據都已經進入了阿里的云系統，包括ODPS和實時計算平臺，已經應用到了我們的業務之中。然后我

5、們能夠對這些用戶回傳的數據，我們可以提取什么樣的價值呢？目前我們一看到導航，第一想到的是打開地圖軟件，看到路上有紅、黃、綠，包括之前很多同仁都介紹了一些路況的探測和實時采集的信息，這些目前是高德最典型的應用。但是用戶打開地圖不是為了看紅黃綠，而是要指導出行，所以我們重要的是要結合交通路況，給用戶定制，節約他的出行成本的方案。我們的交通路況是怎么得到的呢？我們交通路況是實時回傳，通過每秒鐘回傳數萬的GPS，再實時的進行快速的流轉，進行實時計算，我們還要迅速的把交通信息發布到用戶的終端，由終端感知到，并且能夠在導航中進行應用，然后才能創造出價值。大家可以看這兩個示例，這是三環路比較擁堵的時候，現高

6、德有個導航方案，我們會建議他走另外的方案，可以為他節省更多的時間。而且我們也有實時的一些路況事件的結合，有多元的數據，除了回傳GPS數據，還有交通實踐，用戶上傳的和大數據采購的一些事件，如果突然間前方發生了道路的封閉，或者說有車輛碰撞，我們也會在導航中盡量為用戶規避這種不便。這是我們通過從大數據的采集到處理、計算，到最后的應用，可以說我們已經初步為解決中國城市地面道路擁堵問題做出了我們企業的貢獻。可以說我們通過這種動態的導航，其實我們不光解決實時交通信息，在導航的時候我們還會做一定的預測，結合實時加預測的方案，我們更加智能的引導著用戶的出行，讓他盡量規避擁堵的路段，以免加劇城市的擁堵。三、如何

7、運營分析大數據剛才提到了我們還有一個問題，就是數據如何去運營，去管理，如何保證數據的準確性其實是很大的難題。我們有這么海量的數據，對我們的管理能力提出了新的挑戰，我們不僅要發布交通信息，還要有實時驗證數據的質量，和已經發布出來的路況準確性。以前我們去進行驗證，實際上是很痛苦的事情，最傳統的方式是我們開一輛車出去，我們看是不是擁堵，這種傳統的方式耗費的成本極大。我們現在基本上已經是自動化的測試了，偶爾有人工的路測，我們可以提取最有效的樣本，自動化的根據現時發布的路況進行自我的驗證，然后監控，一旦發現質量極大的下降，或者說數據表極大的下降，可以實時提供對運營人員進行報警。而且對于地面交通其實我們要

8、解決好幾個問題，離不開人、車、路。我們未來解決我們的運營，每天數十億的數據，每天下載有數百GP的數據，還要建立非常龐大的索引系統。這是我們調查這些問題分析原因的系統，我們的運營人員也會接到投訴，某某路用戶擁堵了，但是我們發布的是暢通。這時候就要調查什么原因，是不是程序員寫的程序有漏洞，還是有什么特殊的原因就要去分析。所以我們就把每一條道路，可以計算出在每一條道路在當時發布的一個情況，還有每一條道路上經過哪些車，每一條車經過這條道路的速度，我們都可以實時回調出來，供分析人員分析，到底是什么原因導致了這樣的結果。我們基本上是把人、車、路三者結合起來，而且還不是一個時間點，我們還要考慮在整個時間上，

9、我們發布路況是每兩分鐘就要更新，更新全國路網的交通信息狀態。大家知道全國路網，地圖行業一般是以路段進行發布的，我們每2分鐘發布的路段是數十萬個，索伊美兩三分鐘就會產生數十萬個記錄，我們要解決人、車、路的索引問題，還要解決時空上的索引的一個關心，便于我們回溯調查歷史上任何一個實時的狀況。四、如何進行數據挖掘除了實時的一些應用，我們還有一些要基于歷史數據的挖掘產生什么樣的價值。第一我們有數百GB每天的GPS記錄，針對這些我們有一些什么樣的應用呢？這只列舉了我們一個方面的數據，一個是根據GPS回傳點看到用戶的運行軌跡，就可以知道每天用戶大概走過了什么樣的路，反饋出來。而且通過這些路之后可以打造交通軌

10、跡，可以與路網和大數據計算，跟我們的數十萬的路網進行匹配。最后我們會得出每一輛車經過每一條路的速度、停車或者是轉向這些信息，這樣的話為我們后面的分析都會提供一些決策。這里面的多位分析包括很多種，我們每一條路大概是在什么時候容易出現擁堵，每個月，每天擁堵的概率和次數，以及每條路路左轉概率大還是右轉概率大，這在我們的數據場所中都會記錄下來，這是極大的財富，對我們城市的決策和后續的專業的分析會提供非常大的幫助。其他的一些應用，像數據倉庫之外還有別的應用，高德是測繪行業起家的。我們不光是要解決實時交通的問題，我們還要連到我們的道路路網。對于地圖里說，尤其是路網的采集，對我們的地圖測繪行業提出了很大的挑

11、戰。我得知道在哪些地方發生了什么情況，有一些新建的路，或者說一個道路屬性發生了變化，我們還用大數據結合在路網進行一個新路的發現，左邊是我們用手機數據發現出來的，應用這些舊的路網產生的新的路，可以提供一些情報。傳統的我們是派輛車出去漫無目的的跑，也有可能采集重復的道路，現在我們做了更精準的道路數據的采集。如果有一些邊遠山區的道路，我們直接可以測算出來，這是新路的識別。還有對傳統的導航，用戶端通信能力的判斷，我們知道北京有很多小胡同，不光北京，上海也有。有些小胡同，如果我們把用戶導在里面，用戶就會非常傷心，極大的傷害了用戶。所以我們通過交通流量數據探測，那些是路況通行能力比較難以行駛的道路，我們會把這部分找出來，加入到導航算法里，即使主路發生擁堵，也不建議用戶到小巷子里去，否則會給用戶很壞的體驗。比如說紅色這條道路，相比上面來說有數萬輛通行車，為什么這條路只有二十多輛通行車次呢？那我們就覺得他是非常小的路，我們實際檢查之后發現確實是如此。一開始一些道路情況還不錯，但是因為時間的救援，路旁可能停了各種的小車，導致通行能力急劇下降，這是以前傳統手段很難發現的，現在可以通過大數據解決。五、交通報告如何出爐此外，2014年高德也發布了中國全國交通的交通報告，我們對全國各地的城市擁堵情況進行了分析，有點像上午介紹的交通指數。我們就是想從時間點上，對每個城市和中心城區的行車延遲