干部學習講稿：大數(shù)據(jù)在交通方面的應用

干部學習講稿：大數(shù)據(jù)在交通方面的應用
周琦
高德交通信息事業(yè)部數(shù)據(jù)架構(gòu)師

課程前言
大家好，非常榮幸能來這個大會跟各位同仁分享高德軟件在大數(shù)據(jù)交通方面應用的成果和經(jīng)驗。我下面就幾個問題，就是說高德軟件目前擁有哪些數(shù)據(jù)，以及高德交通現(xiàn)在怎么實時處理大數(shù)據(jù)、分析大數(shù)據(jù)和交通報告、數(shù)據(jù)挖掘的一些經(jīng)驗。
一、高德交通擁有哪些數(shù)據(jù)
先說高德，高德本身是一家地圖軟件起家的，一家是純粹的傳統(tǒng)測繪企業(yè)，我們是中國最早一批獲得測繪資質(zhì)的公司。開始我們做全國地圖數(shù)據(jù)的采集，然后我們開始是面向行業(yè)用戶，后來慢慢面向公眾服務，包括現(xiàn)在的高德地圖幾乎是我們在手機終端上最常用的幾種導航軟件之一。因為我們?yōu)楣娞峁⿲Ш椒⻊盏脑捑碗x不開對交通信息數(shù)據(jù)的使用。高德開始從事交通信息比較早，在2007年的時候就開始投入資源，來做全國交通信息的采集和發(fā)布。當時城市還沒有現(xiàn)在這么堵，但是我們發(fā)現(xiàn)交通日益成為對公眾出行體驗影響很大的方面，所以我們就和全國很多大廠商進行合作。我們采用置
……（新文秘網(wǎng)http://m.jey722.cn省略686字，正式會員可完整閱讀）……　
了，所以說進入了阿里集團之后，我們對大數(shù)據(jù)的處理和基礎(chǔ)架構(gòu)的能力也得到了提升，現(xiàn)在高德所有用戶的回傳數(shù)據(jù)都已經(jīng)進入了阿里的云系統(tǒng)，包括ODPS和實時計算平臺，已經(jīng)應用到了我們的業(yè)務之中。
然后我們能夠?qū)@些用戶回傳的數(shù)據(jù)，我們可以提取什么樣的價值呢？目前我們一看到導航，第一想到的是打開地圖軟件，看到路上有紅、黃、綠，包括之前很多同仁都介紹了一些路況的探測和實時采集的信息，這些目前是高德最典型的應用。但是用戶打開地圖不是為了看紅黃綠，而是要指導出行，所以我們重要的是要結(jié)合交通路況，給用戶定制，節(jié)約他的出行成本的方案。我們的交通路況是怎么得到的呢？我們交通路況是實時回傳，通過每秒鐘回傳數(shù)萬的GPS，再實時的進行快速的流轉(zhuǎn)，進行實時計算，我們還要迅速的把交通信息發(fā)布到用戶的終端，由終端感知到，并且能夠在導航中進行應用，然后才能創(chuàng)造出價值。大家可以看這兩個示例，這是三環(huán)路比較擁堵的時候，現(xiàn)高德有個導航方案，我們會建議他走另外的方案，可以為他節(jié)省更多的時間。
而且我們也有實時的一些路況事件的結(jié)合，有多元的數(shù)據(jù)，除了回傳GPS數(shù)據(jù)，還有交通實踐，用戶上傳的和大數(shù)據(jù)采購的一些事件，如果突然間前方發(fā)生了道路的封閉，或者說有車輛碰撞，我們也會在導航中盡量為用戶規(guī)避這種不便。
這是我們通過從大數(shù)據(jù)的采集到處理、計算，到最后的應用，可以說我們已經(jīng)初步為解決中國城市地面道路擁堵問題做出了我們企業(yè)的貢獻�？梢哉f我們通過這種動態(tài)的導航，其實我們不光解決實時交通信息，在導航的時候我們還會做一定的預測，結(jié)合實時加預測的方案，我們更加智能的引導著用戶的出行，讓他盡量規(guī)避擁堵的路段，以免加劇城市的擁堵。
三、如何運營分析大數(shù)據(jù)
剛才提到了我們還有一個問題，就是數(shù)據(jù)如何去運營，去管理，如何保證數(shù)據(jù)的準確性其實是很大的難題。我們有這么海量的數(shù)據(jù)，對我們的管理能力提出了新的挑戰(zhàn)，我們不僅要發(fā)布交通信息，還要有實時驗證數(shù)據(jù)的質(zhì)量，和已經(jīng)發(fā)布出來的路況準確性。以前我們?nèi)ミM行驗證，實際上是很痛苦的事情，最傳統(tǒng)的方式是我們開一輛車出去，我們看是不是擁堵，這種傳統(tǒng)的方式耗費的成本極大。我們現(xiàn)在基本上已經(jīng)是自動化的測試了，偶爾有人工的路測，我們可以提取最有效的樣本，自動化的根據(jù)現(xiàn)時發(fā)布的路況進行自我的驗證，然后監(jiān)控，一旦發(fā)現(xiàn)質(zhì)量極大的下降，或者說數(shù)據(jù)表極大的下降，可以實時提供對運營人員進行報警。
而且對于地面交通其實我們要解決好幾個問題，離不開人、車、路。我們未來解決我們的運營，每天數(shù)十億的數(shù)據(jù)，每天下載有數(shù)百GP的數(shù)據(jù)，還要建立非常龐大的索引系統(tǒng)。這是我們調(diào)查這些問題分析原因的系統(tǒng)，我們的運營人員也會接到投訴，某某路用戶擁堵了，但是我們發(fā)布的是暢通。這時候就要調(diào)查什么原因，是不是程序員寫的程序有漏洞，還是有什么特殊的原因就要去分析。所以我們就把每一條道路，可以計算出在每一條道路在當時發(fā)布的一個情況，還有每一條道路上經(jīng)過哪些車，每一條車經(jīng)過這條道路的速度，我們都可以實時回調(diào)出來，供分析人員分析，到底是什么原因?qū)е铝诉@樣的結(jié)果。我們基本上是把人、車、路三者結(jié)合起來，而且還不是一個時間點，我們還要考慮在整個時間上，我們發(fā)布路況是每兩分鐘就要更新，更新全國路網(wǎng)的交通信息狀態(tài)。大家知道全國路網(wǎng)，地圖行業(yè)一般是以路段進行發(fā)布的，我們每2分鐘發(fā)布的路段是數(shù)十萬個，索伊美兩三分鐘就會產(chǎn)生數(shù)十萬個記錄，我們要解決人、車、路的索引問題，還要解決時空上的索引的一個關(guān)心，便于我們回溯調(diào)查歷史上任何一個實時的狀況。
四、如何進行數(shù)據(jù)挖掘
除了實時的一些應用，我們還有一些要基于歷史數(shù)據(jù)的挖掘產(chǎn) ……（未完，全文共3815字，當前僅顯示1927字，請閱讀下面提示信息。收藏《干部學習講稿：大數(shù)據(jù)在交通方面的應用》）