姜浩端：大數據時代數據驅動決策的挑戰(zhàn)
中國經濟新聞網 發(fā)表于：13年07月01日 13:51 [轉載] DOIT.com.cn
決策可以由三種方式分別或混合驅動：直覺、經驗和邏輯。雖然有時直覺和經驗在決策過程中是無可替代的，例如喬布斯對蘋果產品需求的直覺把握，或者招聘者對應聘者從業(yè)經驗的要求，但通過邏輯方式做出決策通常被認為具有高確定性的特點，更易于被接受。數據是填充邏輯過程的基石。
自計算機和網絡進入商業(yè)應用以來，以信息化技術對數據進行分析來驅動決策的努力就已開始。企業(yè)信息化管理系統(tǒng)不斷發(fā)展，按照時間順序,先后出現了庫存控制(IC)、物料需求計劃(MRP)、制造資源計劃 (MRPII)、企業(yè)資源計劃(ERP)、供應鏈管理(SCM)、客戶關系管理(CRM)、決策輔助(DSS)、商業(yè)智能(BI)等主流體系。其發(fā)展歷程大致可分為三個階段，分別是數據處理階段、知識處理階段和智能處理階段。早期的信息化系統(tǒng)以管理內部數據、維護企業(yè)相關信息資源為主。從企業(yè)資源計劃(ERP)開始，信息化系統(tǒng)開始加強、改進和再造業(yè)務流程，并逐漸將業(yè)務上、下游企業(yè)數據和關聯企業(yè)數據納入系統(tǒng)，跳出了傳統(tǒng)企業(yè)內部的邊界。隨著數據倉庫技術和數據挖掘技術的發(fā)展，進一步有效利用數據形成決策的洞察力成為可能，商業(yè)智能系統(tǒng)(BI)得以發(fā)展。典型商業(yè)智能系統(tǒng)(BI)的模式，是通過對數據進行抽取、轉換和裝載(即ETL過程)，合并到數據倉庫里，利用合適的數據挖掘技術、查詢和分析模型、聯機處理(OLAP)工具等進行分析和處理，將數據轉化為知識，為決策服務。廣義上的BI(商業(yè)智能)，覆蓋、發(fā)展了之前企業(yè)處理數據的信息化系統(tǒng)思想，代表了“大數據”前期可商業(yè)化推廣的數據分析模式和技術主流。
“大數據”夯實決策基礎
在“大數據時代”之前，雖然數據分析的重要性也被普遍認可，但局限于“小”數據的特點，關系數據庫中的結構化數據多年來一直主導著信息化應用。企業(yè)信息化系統(tǒng)在提高生產和管理效率方面發(fā)揮了作用，但遠未形成可做決策依據的洞察力。直覺和經驗在決策過程中的地位仍無可替代。
互聯網、物聯網、移動通訊的快速發(fā)展，以及遍布物理世界的RFID、無線傳感器催生了“大數據時代”的來臨。海量數據使得支持某些決策的“全樣本”數據成為可能，“小”數據分析依賴的假設前提可能不復存在。同時，幾何級增長的非結構性數據、流數據使得分析對象發(fā)生改變，傳統(tǒng)數據管理和分析技術難以適應要求。大數據環(huán)境下企業(yè)需要應用新的分析模式。在成本可承受的條件下，通過快速采集、發(fā)現和分析，從海量、多類別的數據中提取價值，并形成有效的可做決策依據的“洞察力”，將是信息化系統(tǒng)的發(fā)展方向。當前階段從非結構化數據和流數據中探求知識和進行洞察的計算機工具正在快速發(fā)展，比如自然語言處理、模式識別以及機器學習等，預示著數據驅動決策模式的美好前景。
目前大數據剛剛步入企業(yè)的應用階段，幾乎對于所有行業(yè)，應用大數據分析都是創(chuàng)造新的競爭優(yōu)勢之源。隨著時間的推移，那些能更好地利用大數據的組織將有可能實現更多的創(chuàng)新，并保持敏捷性。麥肯錫的調查顯示：數據驅動型的公司在生產率和盈利水平方面普遍好于競爭者。在“大數據時代”，對于某些類型的問題，機器和信息化系統(tǒng)可以比人做出更好的決策。這種數據驅動決策的模式已經初露端倪，比如在金融市場領域，計算機基于大數據做出了相當大部分的投資決策�？梢灶A料，隨著數據的不斷變“大”，數據驅動決策的重要性會越來越高。
數據驅動決策在大數據趨勢下面臨的挑戰(zhàn)
一是大數據本身的局限。首先是數據質量，不能反映真實情況或者在關鍵點上隱藏錯誤的數據無疑是極具危害的，保證數據質量需要有效的制度和法律環(huán)境。另外，數據本身仍可能局限決策的洞察力。例如那個著名的例子，如果你在汽車出現以前能使用大數據來分析社會對交通工具的需求，你可能得出一個結論，那就是需要更快的馬車。得出這個結論后，沒過多久，福特造出了汽車。大數據盡管夠“大”，但它不能基于沒有的事件。過分依賴于數據的決策，有可能忽略那些不需要數據驅動、而依靠直覺和經驗形成的創(chuàng)新。當然，目前基于大數據進行創(chuàng)新的例子也比比皆是，比如谷歌的語言翻譯系統(tǒng)。這就需要綜合考慮數據類型和決策類型，明確大數據在驅動決策中的優(yōu)勢和劣勢，設定明確的目標，向大數據問正確的問題。
二是大數據分析技術的局限。雖然目前在分析數據的大容量、異質性、實時性方面仍存在技術上的困難，但技術總在進步，某些來自數據本身特點的困難可能最終被克服。真正的局限性也許內置于大數據分析技術本身。比如，信息化系統(tǒng)的預測性模型中，缺陷常常來自模型假設本身。雖然有研究聲稱：大數據分析不需要那些有假設缺陷的模型，但大數據分析技術仍需要算法和機器學習。機器學習通常假設環(huán)境是穩(wěn)定的，對作為復雜系統(tǒng)的環(huán)境進行穩(wěn)定假設是不完美的，由此可能帶來與實際情況偏離的結果。如果假設環(huán)境是不穩(wěn)定的，就難以窮盡不穩(wěn)定的因素。再比如，大數據分析是對觀測數據之間規(guī)律的分析，其對相關性的洞察力必然要強于對因果性的洞察力，而忽略因果關系的決策依據，是有局限性的。
三是對決策管理模式的挑戰(zhàn)。在數據缺乏的時候，組織內核心管理人員的直覺和經驗在決策過程中發(fā)揮重要作用。從直覺和經驗驅動決策向數據驅動決策轉化的過程，也是決策主體從精英階層轉向團隊及社會公眾的過程，這個過程可能并不順暢，那些沒有足夠靈活性來適應大數據趨勢、創(chuàng)造數據驅動決策模式和文化的企業(yè)可能在競爭中失敗。信息化系統(tǒng)在大數據分析中可能會強調協(xié)作分析和過程公開，這就需要企業(yè)創(chuàng)造適宜的數據驅動文化，并根據業(yè)務內容把握好直覺和經驗驅動決策與數據驅動決策的關系。
巴菲特在投資忠告中說 “警惕那些使用公式的怪家伙”(Bewareofgeeksbearingformulas)。我們可以理解為這是對不需要直覺和經驗的決策的敬畏，也可以理解為這是對脫離直覺和經驗的決策的不信任。無論如何，大數據正在改變決策的驅動方式。
