513
《大數據導論》采用大數據的商業動機與驅動
采用大數據的商業動機與驅動
在當今世界的許多組織中，業務可以像其所采用的技術那樣進行“架構”。這種觀念上的轉變體現在當今企業架構領域的不斷擴大，即過去隻與技術架構緊密結合，而現在卻也同樣包含業務架構。盡管如今人們還隻是從一個機械係統的視角來審視一批批的業務，即一條條指令由行政人員發布給主管，再傳遞給前線的員工們，但是，基於鏈接與評測的反饋循環機製為管理決策的有效性提供了保障。
這種從決策到實施再到對結果的測評的循環使得企業有機會不斷優化其運營。然而事實上，這種機械化的管理觀點正在被一種更加有機的管理觀點所取代，這種新的管理觀點能夠將數據轉化為知識與見解來驅動商業行為。但是這種新觀點有一個問題在於，傳統商業幾乎僅僅是由其信息係統的內部數據所驅動的，但如今的公司想要在更像生態係統的市場中實現其業務模型，僅僅靠內部數據是不夠的。因此，商業組織需要通過吸收外來數據來直接感知那些影響其收益能力的因素。這種對外來數據的使用導致了“大數據”數據集的誕生。
本章探索了采用大數據解決方案和技術背後的商業驅動與動機。大數據被廣泛采用是以下幾種力量共同作用的結果：市場動態；對業務架構（BA）的理解和形式表達；對公司提供價值的能力與其業務流程管理（BPM）緊密相連的認知；信息與通信技術（ICT）方麵的創新；萬物互聯（IoE）的概念。以上每一點會分別單獨介紹。
2.1 市場動態
近些年來，商業審視自身與市場的方式已經有了根本性的改變。在過去的15年裏，發生了兩場巨大的股市市價回落：一是2000年的互聯網泡沫破裂，二是始於2008年的全球經濟衰退。在以上兩個例子裏，商業公司都以減少開支的方式來努力提升自己的效率與效力，從而保證自己的盈利。這種做法的確是正常的，當顧客減少，削減成本也往往隨之發生，以求維持公司運營的底線。在這種情況下，公司往往會實施轉型項目來協助公司節省開支。
當全球經濟開始從衰退中複蘇，公司又紛紛雄心勃勃，希望通過推出新的產品與服務，以及增值業務來找到新的顧客，並防止老顧客投入競爭對手的懷抱。這是一個與當初旨在削減開支截然不同的市場周期，因為它並不是意在轉型，而是意在創新。創新能為一個公司帶來希望—找到新方法來實現市場裏的競爭優勢以及隨之而來的收入增長。
全球經濟因為眾多因素而處於眾多不確定的時期。人們普遍相信世界上主要發達國家的經濟越來越相互依存緊密糾纏在一起，換句話來說，它們由眾多經濟係統組成了一個更大的係統。同樣，全球的公司都在改變它們關於自我認知和獨立性的看法，因為它們意識到自己同樣也由各種複雜的產品和業務網緊緊地聯結在一起。
出於這個原因，公司需要擴大其商業智能活動的規模，且不僅僅局限於對公司信息係統所提供的內部信息的反思。它們需要開放胸懷去迎接外部數據源，並由此來感知市場以及完成自我定位。對於一家公司來說，認識到引進外部數據能為其內部數據帶來豐富的信息，可以使得它更輕易地從總結的層麵，轉變為深入洞察的層麵，從而提升分析結果的含金量。一旦有了合適的、能支持複雜的模擬性能的工具，公司就能得出富於前瞻性的結果。假若這樣，這種工具不僅搭起了知識與智慧間的橋梁，同樣也提供了具有建議性的分析結果，而這便是大數據的力量—能極大豐富一個公司的視野，遠超其僅僅依賴於內省而得到的視角。從當初僅能通過隻言片語推斷市場情緒相關的信息，到能真真切切感知到市場本身。
托馬斯·達文波特及勞倫斯·普魯薩克在他們的書籍《工作知識》中提出了廣為接受的數據、信息及知識的有效定義。根據達文波特和普魯薩克所說，“數據是事件的一係列離散的、客觀的事實”。從商業方麵來講，這些事件是發生在一個組織的業務流程和信息係統中的—它們代表了與商業實體相聯係的工作的產生、更改以及完成。比如說，訂單、貨運單、通知單以及客戶地址的更新。這些事件，是現實世界中的活動在公司信息係統的關係型數據庫中的反映。達文波特和普魯薩克進一步將信息定義為“有意義的數據”。被置於語境中的數據能夠起到交流的作用，它傳遞了信息並且提醒了接收者—不管是人類還是係統。信息經由知識生成的經驗及洞察力而豐富。作者陳述到“知識是一種有組織的經驗、價值觀、相關信息及洞察力的動態組合，該組合的框架可以不斷地評價和吸收新的經驗和信息”。
這種從後知後覺到有先見之明的轉變可以通過圖2.1所示的DIKW金字塔來進行理解。注意圖中，“智慧”作為三角形的頂端，但是它的存在並不是普遍認為的由ICT係統產生的。相反，“知識”工作者們提供了必要的洞察力和經驗來為“知識”搭建起一個框架，從而“知識”匯集而形成“智慧”。由技術手段產生的“智慧”很快演變成一個哲學問題，但那已經不是本書的研討範圍了。在商業環境內，技術是用來支持“知識”的管理的，員工也有責任在工作中運用他們的競爭力和智慧，並落實到行動中。
圖2.1 DIKW金字塔展示了數據是如何通過上下文被豐富，從而創造信息，有意義的信息足以創造知識，而知識集結起來產生智慧
2.2 業務架構
在過去的10年裏，人們已經漸漸意識到了太多的公司企業架構僅僅是沒有遠見地複製其技術架構。為了要在IT的要塞中占有一席之地，業務架構已經成為與技術架構互補的條件。未來的目標是企業架構會綜合業務架構與技術架構而全盤考慮。業務架構提供了一種具體地表達業務設計的方法，業務架構會幫助一個組織將其戰略遠景與底層執行相統一，不管是技術還是人力資源。因此，業務架構包括了從抽象概念到具體概念的聯結，這裏的抽象概念有業務目標、前景、策略等，具體概念有業務服務、組織架構、關鍵績效指標和應用服務等。
這些聯結作用是十分重要的，因為它們為如何將業務與其相關的信息技術聯合起來提供了指導。一個公認的觀點是：公司運作如同一個分層的係統：頂層由首席執行者及谘詢團隊所組成；中間層由戰術層與管理層來掌舵，使公司的具體運行不與其戰略要求相悖；底層是操作層，在此執行業務的關鍵環節並向顧客提供價值。這三層均有各自的獨立性，但是每一層的目標都受到上一層的影響，並經常直接由上一層所決定，換句話說，是一種自上而下的結構。從旁觀的角度來看，信息卻是通過大量衡量尺度的聚集自下而上進行流動的。監控著操作層的業務活動產生了對業務和流程都適用的績效指標（PI）與尺度。它們合起來形成了戰術層所需要使用的關鍵績效指標（KPI）。然而這些關鍵績效指標又會在決策層與關鍵成功因素（CSF）結合，用來幫助衡量為了實現戰略目標所做出的成果。
如圖2.2所示，大數據在公司組織架構的每一層都與業務架構有所聯係。大數據能夠提高價值，因為它通過外部視角的集成提供了更多的相關信息，可以對數據轉化為信息起到幫助作用，同時也能提供從信息中提煉知識的方法。比如說，在操作層，大量的衡量尺度聚集，但那僅僅反映出在這項業務裏發生了什麼。本質上，我們是通過商業概念以及相關信息將數據轉化，從而獲得信息的。而這些信息會被管理層使用，通過職員績效的角度來回答關於業務是如何展開的問題，換句話說，給予這些信息以意義。這些信息可能會被加以補充，用來解釋為何業務處於如今這個水平。當有了這些知識後，決策層就能夠有更深入的洞察力，去知道為了糾正或提高業績，需要改變或采用哪些策略。
圖2.2 DIKW金字塔闡述了戰略層、戰術層和操作層之間的分工合作
正如同每一個分層係統一樣，這些層級的變化速度並不往往是一樣的。在一個商業企業的例子中，決策層往往是變動最慢的層級，而操作層是變動最快的層級。變化慢的層級為變化快的層級保證了穩定性和發展方向。在傳統的組織架構中，管理層的作用是使得操作層的發展方向不與決策團隊所製定的戰略目標相違背。因為這種在變動速度方麵的差異，人們有可能會認為這三個階層的隊伍分別負責戰略執行、業務執行以及流程執行。每一個階層都基於不同的尺度與衡量標準，並由不同的可視化結果與匯報展示所表現。比如說，決策層可能會依賴於平衡記分卡，而管理層會使用關鍵績效指標與職工業績的可視化結果，最後，操作層則是依靠完成業務流程的可視化結果和狀態來匯報並展示自己的表現。
如圖2.3所示，作為Joe Gollner在他的博客中所發的“知識的解剖”的一張圖表的變體，展示了一個組織應該如何通過一個反饋環來創建一個良性循環以實現組織階層之間的聯結與共鳴。在圖表的右側，決策層會依照管理層戰略、政策以及目標這些限製條件來做決策，以形成判斷。戰術層隨即會將這份信息分級，以產生不同的權重和符合公司方向的措施。這些措施會調整操作層對於業務的執行。這接下來會使內部利益相關者和外部的顧客在交付業務服務時的經曆發生很大的改變。這份改變，或者說結果，應該在即將集成到關鍵績效指標（KPI）中去的績效指標（PI）的數據中看見。請記住，關鍵績效指標是可以與關鍵成功因素聚合，從而使得決策隊伍的人員得知他們的策略是否奏效。隨著時間的發展，由決策層與管理層在這個循環中所注入的判斷及措施使業務服務的開展更為精煉。
圖2.3 一個通過反饋循環而將組織不同層級聯合起來的高品質循環圈的建立
2.3 業務流程管理
隨著業務流程被執行，業務向顧客以及利益相關者們傳遞價值。一項業務流程描述了在一個組織裏，工作是如何完成的。它描述了所有工作相關的活動以及它們的關係，以及相對應的組織裏的執行者和相關資源。這些活動之間的關係可能是臨時的，比如活動A在活動B前被執行。這些關係同樣也能夠描述活動的執行是否是有條件的，而條件往往是基於其他活動或者項目流程之外的事件所產生的結果與約束。
業務流程管理通過采用流程優化技術來提升公司的執行力。業務流程管理係統（BPMS）給軟件開發者們提供了一個模型驅動的平台，這個平台正在成為業務應用開發環境（BADE）的選擇。一份業務應用需要在人員和其他的技術主導的資源中進行調停，執行起來符合公司條例，以及保障職員的公平分工。作為一個業務應用開發環境，一項業務流程的模型要與組織角色以及結構的模型、業務實體以及它們的關係，還有商業規律以及用戶界麵相結合。開發環境將這些模型全部集成起來以創建一個能夠管理工作流程和工作量的業務應用。這個業務應用在一個執行環境裏完成，而這個環境能確保公司條例和安全性，並且為長期的業務流程提供狀態管理。不管是單獨的流程，還是全部的流程，他們的狀態都能經受住業務活動監控（BAM）的質詢，並且能夠可視化。
當業務流程管理與智能的業務流程管理係統相結合以後，流程就能夠以一個目標驅動的方式來執行。目標是與流程碎片之間有聯係的，而這些流程碎片又是基於對目標的估價而進行動態選取與配置的。當大數據分析結果與基於目標的行為一起運用時，業務流程的執行就能夠變得適應市場與環境條件。舉一個簡單的例子，一個顧客聯係流程有著能通過電話、電子郵件、文本信息以及傳統的郵件的方式來聯係顧客的流程碎片。在最初，選擇何種方式來聯係顧客是並未經過權衡的，選擇哪種方式都是隨機的。然而，幕後一直在進行著以統計顧客回應的分析結果來衡量聯係方式的有效性。
分析結果是與選擇合適的聯係方式的目標緊密相連的。一旦有明顯的偏好，權重便會朝著有利於達成最好的回應的聯係方式改變。一份更加充滿細節的分析能夠對客戶聚類產生影響，將單獨的客戶劃歸到群組裏去，而一個衡量的維度就是聯係方式。在這種情況下，聯係客戶的精度就能得到提高，這為實現一對一的有目標的市場營銷打開了一扇大門。
2.4 信息與通信技術
這一節考察了加快大數據在商業中應用的信息與通信技術，有以下的成果：
數據分析與數據科學
數字化
可負擔技術與商用硬件
社交媒體
超連通社區與設備
雲計算
2.4.1 數據分析與數據科學
企業正在不斷收集、獲取、存儲、管理和處理不斷增加的海量信息。這種現象之所以發生是因為想要找到新的洞察力，以實施更為高效的行動，使得管理過程能夠具有前瞻性地把控業務，使得最高管理層能夠更好地製定和達到他們的戰略方案。最終，企業在尋找新的方法以獲取競爭優勢，因此對於能夠抓取有意義信息的技術的需求在不斷上升。計算方法、統計技術以及數據倉庫已經能夠攜手合作，且也能分別運用各自獨有的核心技術以完成大數據分析。這些領域實踐上的成熟催生並促進了當代大數據解決方案、環境和平台所需求的核心功能。
2.4.2 數字化
對許多公司來說，數字媒體已經取代了物理媒體成為實際運用的交流與交付機製。數字產品的應用不僅節省了時間也節省了成本，數字產品的分布依賴於早已存在的、遍布各地的互聯網基礎設施的支持。當用戶通過自身的數字產品與一項業務相連接時，便會產生能夠收集輔助信息的機會。比方說，要求一位用戶提供反饋，完成一份表單，或僅僅是提供一個鉤子程序來展示一份相關廣告並追蹤它的點擊率。收集輔助信息對業務來說十分重要，因為挖掘這個信息能夠實現定製化的營銷、自動推薦以及優化產品特征的發展。圖2.4提供了一份關於數字化例子的視覺展示。
圖2.4 數字化信息的例子，包括在線銀行、基於需求的電視以及流視頻
2.4.3 開源技術與商用硬件
能夠存儲和處理各式大量信息的技術已經變得越來越經濟。另外，大數據解決方案經常在商用硬件上利用開源軟件，以進一步削減成本。商用硬件與開源軟件的結合幾乎終結了大企業過去由於擁有著大量的IT預算而對其他規模較小的競爭者們使用“燒錢”戰略的優勢。技術已經不再帶來競爭優勢，相反，它僅僅隻是業務實施的平台。從商業的角度來看，能夠利用開源技術與商用硬件來產生分析結果，並用它進一步優化業務的執行流程，才是通往競爭優勢的大門。
商用硬件的流行使得大數據解決方案可以在不用大量資本投資的情況下在業務中獲得應用。圖2.5提供了一個在過去20年裏數據存儲價格跌幅的例子。
圖2.5 在過去的數十年裏，數據存儲的價格已從10 000美元/GB戲劇性地下降到了不到0.1美元/GB
2.4.4 社交媒體
社交媒體的出現已經使得顧客們能夠通過公開、公共的媒介，近乎實時地提交自己的反饋。這種轉變已經使得各大公司在考慮他們戰略規劃中的服務和產品供給時，加入了顧客反饋的因素。因此，公司將與日俱增的、由顧客交互產生的大量數據儲存在他們的顧客關係管理係統（CRM）內，這些數據來自社交媒體網站的顧客評論、抱怨和嘉獎。這些信息成就了大數據分析算法，使得它能夠表達用戶的想法，以之來提供更好的服務，增加銷售量，促成目標營銷，甚至是創造新的產品和服務。公司已經意識到了品牌形象塑造不再由內部營銷活動所全權支配，相反，產品品牌和公司名譽是由公司和它的顧客共同創造。基於這個原因，各大公司對來自於社交媒體和其他外部信息源的公共信息集越來越感興趣。
2.4.5 超連通社區與設備
因特網的廣泛覆蓋以及蜂窩與Wi-Fi網絡的迅速普及，使得越來越多的人和他們的設備能夠在虛擬社區中持續在線。伴著能夠連通網絡的傳感器的普及，物聯網的基礎架構使得一大批智能聯網設備成型。如圖2.6所示，這反過來導致了可用數據流的大量增長。其中一些流是公共的，而另外一些則直接通往分析公司。舉例來說，與采礦業中使用的重型設備有關的基於性能的管理合約能夠激發預防和預測性維護的最佳性能，其目的是減少計劃之外的故障檢修的需要，且避免由之耗費的停工時間。而這需要對設備產生的傳感器讀數進行具體分析，來對那些可以通過提前安排維護服務而解決的問題進行早期檢測。
圖2.6 超連通社區與設備包括電視、筆記本電腦、無線射頻識別技術、電冰箱、全球定位係統、移動設備和智能電表
2.4.6 雲計算
雲計算技術的進步已經使得這樣的環境成型：通過預付費租賃模式提供高度可擴展性、按需分配的IT資源。公司可以利用這些環境所提供的基礎設施、儲存和處理能力來得到可擴展的大數據解決方案，以完成大規模處理任務。盡管公司在傳統上被認為是由一個雲標記來描述的公有雲環境，但它們同時正利用雲管理軟件來創建私有雲，以通過虛擬化來更加有效地利用它們現存的基礎設施。不論發生何種情況，雲的基於負載的動態擴展能力，可以創建出能夠最大化有效利用信息通信技術資源的彈性分析環境。
圖2.7的例子展示了如何利用雲環境的擴展能力來執行大數據處理任務。可以通過租賃基於公有雲的IT資源來大大減少大數據項目所需的先期投資。
圖2.7 雲能被用來在每月底完成基於需求的數據分析，也能由於負載的增加而將係統橫向擴展
如今已經在使用雲計算的企業，對他們的大數據項目再次使用雲計算是合理的，因為
員工已經掌握了所需的雲計算技能
輸入信息已經存在於雲中
使用雲服務對於那些打算在可通過數據市場獲得的數據集上進行分析的企業來說是極富邏輯性的，因為許多數據市場便將它們的數據集放在一個雲環境中，比如Amazon S3。
總而言之，雲計算能夠為一份大數據解決方案提供三項必不可少的材料：外部數據集、可擴展性處理能力和大容量存儲。
2.5 萬物互聯網
信息與通信科技、市場動態、業務架構以及業務流程管理這些行業的進步匯聚起來，為如今被稱為萬物互聯網（IoE，以下簡稱“萬聯網”）的產生帶來了機遇。萬聯網將由智能聯網設備所提供的服務結合起來並轉化為有意義的、擁有著提供獨特和充滿差別的價值主張能力的業務流程。萬聯網是創新的平台，孕育了新產品、新服務和商業的新利潤源。而大數據正是萬聯網的核心部分。運行在開源技術與商用硬件上的超連通社區與設備產生了能在可延伸的雲計算環境中進行分析的數字化數據。這些分析的結果能夠產生有前瞻性的見解，例如當前流程會產生多少價值，以及這個流程是否應該提前尋覓機會來進一步地完善自己。
專注於IoE的公司能夠提升大數據方法來建立或優化工作流程並將之作為外包業務流程提供給第三方。正如同在2011年由Roger Burlton所編輯的“業務流程聲明”中所寫的，一個組織的業務流程正是為其顧客和其他股東產生價值成果的源頭。結合了對流數據和顧客環境的分析，這種將業務流程的執行與顧客的目標相關聯的能力將是未來世界哪家公司能脫穎而出的關鍵。
在當今傳統農業設備大行其道的環境下，一個從萬聯網中受益的例子就是精細農業。當所有設備連接在一起成為一個係統時（即GPS控製牽引車，土壤濕潤與施肥傳感器，按需灌溉、施肥和施藥，以及變量播種等設備全部集合起來），便能在成本最小化的同時最大化土地產出。精細農業提供了挑戰工業單一耕作農場的另一種耕種方法。有了萬聯網的幫助，一些小型農場能夠通過提高作物種類和對環境敏感的實踐來與大農場相抗衡。除了擁有智能聯網的農業設備外，大數據分析設備和現場傳感器數據可以驅動一個決策支持係統，以引導農民充分利用他們的機器達到土地最佳產量。
2.6 案例學習
ETI公司的高級管理委員會調查了公司衰退的財務狀況，認識到公司如今的許多問題本可以早些檢測到的。如果戰術層的管理者們能夠有更清醒的意識，他們本可以提早采取措施來避免損失。這種提前警醒能力的缺乏是由於ETI未能察覺市場動態已經發生變化。采取新科技來處理業務和設置溢價的競爭者們攪亂了市場，並奪取了ETI業務的份額。與此同時，ETI公司缺乏複雜的欺詐檢測係統這一缺陷也被不道德的客戶甚至是有組織的犯罪集團所利用。
高管團隊向行政管理團隊報告了他們的發現，接下來，為了實施之前製定的戰略目標，一套新的公司轉型與創新優先順序被製定，它們將被用來指導和分配公司資源，來產生將來會提高ETI盈利能力的解決辦法。
考慮到轉型，業務流程管理條例將會被采用，用來記錄、分析和提升業務處理。這些業務流程模型將會用於一個業務流程管理係統（BPMS）中。BPMS是一個流程自動化框架，保證流程的持續和自動化執行。這會幫助ETI展示法規遵從性。另外一個使用BPMS的好處是業務處理的可追蹤性使得追蹤哪位員工處理了哪項業務成為可能。盡管還沒有被證實，但是有諸如此類的懷疑，比如一部分的欺詐性業務可能追蹤到一些試圖破壞由公司條例規定的內部人工控製的員工。換句話說，BPMS不僅僅會提升滿足外部法規遵從性的能力，還會加強ETI內部操作流程和工作實踐的標準。
風險評估和欺詐檢測的能力將會由於新型大數據科技的應用而獲得提升，而這些大數據科技能夠產生相關分析結果，幫助做出基於數據驅動的決策。風險評估結果將會通過提供風險評估度量的方式來幫助精算師減少他們對於直覺的依賴。此外欺詐檢測的輸出將會被引入自動索賠業務處理流程。欺詐檢測的結果同樣將被用來將可疑的索賠引入有經驗的索賠調整器。這些調整器能夠依據ETI的索賠責任書來進一步仔細評判一項索賠的性質以及它具有欺詐性的可能性。隨著時間的推移，這種人工處理能夠導向更好的自動處理，因為索賠調整器的決策會被BPMS追蹤並用來創建索賠數據的訓練集，其中包括了這項索賠是否被視為欺詐性的決定。這些訓練集將會增強ETI實施預測性分析的能力，因為這些訓練集能被一個自動分類器所使用。
當然，決策者們也意識到他們是不能夠一直不停地優化ETI的業務執行的，因為還沒有使數據豐富到能夠產生知識的層次。而這個原因最終被歸結於對於業務架構缺乏理解。對公司而言，決策者們理解到他們一直將每一項測量標準看作一份關鍵績效指標（KPI）。這會產生許許多多的分析，但是由於缺乏重點，導致它並不能展示應有的價值。但是一旦理解到KPI是高層次的度量標準且不是每種度量都能被稱為KPI後，決策者們才能夠同意一些度量應該是由戰術層來監管。
此外，決策者們往往在將業務執行與戰略執行聯合起來的方麵有問題。而這種現象的產生一部分是由於對於關鍵成功因素（CSF）的定義出現了錯誤。戰略目的和目標是由CSF來進行評估的，而並非是KPI。將關鍵成功因素放置在正確的位置能使ETI的戰略層、戰術層和操作層的業務執行變得井然有序。ETI的行政和管理團隊將會緊緊盯著他們的新度量和評價策略，盡全力在接下來的季度裏量化它所帶來的好處。
ETI的決策者們做了最後一個決定，這個決定創建了一個新的負責創新管理的組織角色。決策者們意識到公司一直以來變得過於內省。由於同時要管理四條產品線，決策者們沒能認識到市場動態正在改變。他們非常驚訝地了解到大數據和當代數據分析工具與技術的好處。此外，盡管他們已經數字化了他們的電子賬單以及在業務處理方麵大量使用了掃描科技，但是他們並沒有考慮到客戶們對於智能手機的使用會產生數字信息的新渠道，而這些新渠道會進一步使業務處理現代化。盡管決策者們不覺得他們在一個對基礎設施采用雲技術的關鍵位置上，他們已經考慮到了使用第三方軟件作為服務提供者來減少與管理顧客關係相關的操作成本的方法。
到了現在，決策者和高級管理團隊相信他們已經解決了組織協調問題，形成了合理的計劃來采用業務流程管理條例和科技，並成功地使用了大數據技術，旨在提升將來他們感知市場的能力，因此會更好地適應不斷變化的環境。
最後更新：2017-05-19 17:01:53