235
茅明睿：大數據時代的城市規劃【大數據100分】
我是一名非典型規劃師，我很少做具體的規劃設計項目，在北京規劃院工作近15年，入行之初遇到了數字城市建設大潮，參與了數字北京的先發工程——數字綠化帶，群裏的@王國良的武大吉奧公司就是當年主要的合作夥伴。
2000-2010年從事的工作都圍繞以地理信息係統、遙感、三維仿真、數據建庫為核心的數字規劃技術體係的構建，為北京的規劃工作建立數據基礎和GIS應用基礎。2010年開始，基於10年的基礎積累，我們開始把視線放到數據挖掘，城市定量研究或者說城市計算上來。
群裏都是高大上的技術大牛、上市公司老總、參與國家級智慧城市頂層設計的大拿，所以我沒有能力也沒有意義去說頂層設計、戰略的事情，甚至會主動回避智慧城市這個概念。我及規劃行業做類似研究的同行們在過去幾年裏做了些有點趣味的小研究、小應用。
所以我這裏都是案例，基於這些案例，我在過去的一個月做了一些總結、提煉和思考，但不敢說這個就能算智慧城市的某個層次的內容了，算是自下而上的探索。
今天的介紹我先集中從我的論文裏摘抄一些關於大數據在城市規劃行業應用的段落，以及案例和截圖，然後留出時間跟大家交流，我也有很多需求希望能從群裏獲得資源或者尋求合作。
規劃行業是個小眾、公共性強、綜合性很強的行業，規劃人圈子很緊，也相對比較開放，近年來規劃改革的方向也很多，基於信息技術和數據科學的城市定量研究是其中非常受關注的一個方向。在城市規劃及相關領域，以柴彥威、甄峰、劉瑜、鄭宇等城市規劃、地理、計算機等學科的研究者開展了一係列基於大數據的城市研究，在規劃行業形成了當下的一股熱潮。
我今天的介紹首先會介紹這個熱潮的背景，然後會介紹城市規劃行業大數據應用或者大數據的幾個標誌性相關事件，接下來會簡介一些城市定量研究的案例以及我們的一些思考。
首先要理解為什麼城市規劃行業會形成大數據熱潮。
除了智慧城市和大數據火熱的大背景以外，還有兩個背景；
1、開放數據運動——規劃師大多都是數據控
2、互聯網上的規劃圈
中國的城市規劃和城市研究長期受製於數據的獲取，規劃工作的數據基礎高度依賴官方的測繪數據、統計資料以及政府的行業主管部門的官方數據。作為一個日益依賴數據的綜合學科，規劃師一直都處於數據饑渴狀態，進而大多有點數據控傾向。
開放數據運動開始改變這個局麵。開放數據的概念大家比較清楚，我就不介紹了，百科裏也有。
從民間和學術組織看，近年來國際上知名的開放數據組織都陸續在中國建立了本地化小組或分部，比如共享知識（Creative Commons）、開放知識基金會（Open Knowledge Foundation）、開放獲取（Open Access）、開放街道地圖（Open Street Map），同時中國本土也產生了若幹個致力於促進數據開放的網站和虛擬合作組織，比如開放數據中國（Open Data China）、城市數據派（Urban Data Party）等；
從政府看，中國政府也在積極推動政府信息公開的工作，政府的開放程度逐步提高，2011到2013年陸續上線的國家數據（NationalData.gov.cn）、北京市政務數據資源網（BjData.gov.cn）和上海政府數據服務網（DataShanghai.gov.cn）都是中國政府數據開放的典型代表；
從商業公司看，大批互聯網公司開始在一定程度上開放自己的數據，或者提供開放的API，將自己的商業平台轉變為開放或半開放平台，比如新浪微博（Weibo.com），大眾點評網（DianPing.com）、百度（Baidu.com）等，此外還誕生了以數據堂（DataTang.com）為代表的數據共享商業平台。
上述這些開放數據組織、網站的出現極大的改變了城市研究開展的數據基礎，大批基於開放數據以及通過開放API抓取自商業網站的半開放數據的城市研究成果密集湧現，研究者們利用開放的地理數據、社會化網絡數據、簽到數據、浮動車軌跡數據等進行了不同尺度、不同視角的研究，既有宏觀如城市形態、區域聯係度研究，也有微觀如個體行為模式的研究。雖然這些研究所使用數據並不100%都屬於大數據範疇，但在當前的大數據概念熱潮下，它們往往被打上了大數據的標簽。大數據本身的概念都很模煳，而阿裏雲的技術總監薛桂榮對大數據時代最典型特征的判斷我深表認同，即“數據的可獲得性”，正是這種可獲得性奠定了大數據時代的城市研究基礎。
開放數據運動是大數據應用於城市規劃、城市研究的重要數據基礎，而規劃人對社會化網絡的熱衷則為大數據迅速對城市規劃行業造成衝擊構成了傳播基礎。與其他行業相比，規劃行業規模較小，相互間的聯係較緊；而規劃話題則社會性、公共性較強，規劃編製工作也開始強調開放性，擴大公眾參與，所以從2009年新浪微博上線以來，規劃師群體是高度活躍、互動性較強的群體，這個群體因其話題的特殊性和自身的活躍度曾引起了《南方周末》等傳統媒體的關注，並進入大眾視野。
自媒體的自身特性以及處於轉型和改革中的城市規劃行業特性決定了與規劃相關卻又新穎的內容更容易引起這個規劃師群體的關注並獲得轉發，比如與空間有關的大數據及可視化內容。龍瀛、劉行健、王江浩、李棟、吳康等一批青年規劃師和地理研究者利用微博平台陸續發布了一係列國內外基於大數據、開放數據所做的城市研究案例和自己的研究成果，在規劃師群體中得到了廣泛的傳播，並使這些草根青年規劃師和地理學人在規劃圈裏收獲了一定的影響力。
2012年我在新浪微博平台創辦了微刊《大數據與小規劃》，將上述資料、案例和研究成果進行了匯總發布，使其成為城市規劃主題的微刊中訂閱量排名第一的微刊。
2013年我根據微博上的人脈關係利用聚類規則抓取了16000名微博上的規劃圈成員（主體為規劃師）的ID信息及社交關係，並通過聚類分析實現了對微博上規劃圈的人脈全貌、影響力、規劃群體的空間分布和增長趨勢等特征的分析和可視化。考慮到規劃行業從業者規模也就在15-20萬人之間，所以這次研究基本上覆蓋了整個規劃行業的微博用戶。
2013年11月，北京市城市規劃設計研究院策劃並承辦了2013年中國城市規劃年會的“大數據時代的城鄉規劃與智慧城市”自由論壇，論壇采用線上和線下聯動的方式，將大數據的有關概念和城市研究在更廣闊的範圍進行了擴散。
2013年末，北京規劃院龍瀛博士發起了一個名為北京城市實驗室（Beijing City Lab, BCL, https://longy.jimdo.com/）的網絡型實驗室，BCL專注於運用跨學科方法量化城市發展動態，開展城市科學研究。BCL是中國第一個開放的城市定量研究網絡，通過邀請學者發布其工作論文（workingpaper）等形式闡釋其對城市研究的最新見解，通過數據分享行為為科研群體提供開放的城市定量研究數據。BCL的誕生使微博上以及線下鬆散的跨學科研究群體得以匯聚，形成了一個具有一定組織性的虛擬社區。
接下來展示一些研究案例
1、對開放數據的獲取
針對大數據礦產、開放數據資源，2012年BICP在院內利用自有資金立項開展了《多源社會數據的獲取與規劃應用》課題，我對互聯網上的主要開放和半開放數據資源進行了探索和分類，吳運超針對不同網站特征收集和開發了若幹抓取工具，進行了比較係統的數據獲取工作。
針對OSM數據、企業黃頁、房產交易網站、各政府網站的空間數據或者帶有位置描述的非空間數據，吳運超等人係統性的抓取和整理了一套結構化數據表，並對獲取的數據利用各種地圖API進行了地址匹配，針對我國獨有的坐標偏移問題，對火星坐標係、百度坐標係、北京經信委坐標係進行了函數擬合，糾正坐標偏差，形成了一套針對不同坐標係的空間數據進行坐標糾偏轉換的工作流程；最後對獲取的數據資源進行了同一化處理，形成了從點到線到麵的一套包括了POI信息、建築信息、地塊信息、道路信息的空間數據成果。
2、基於開放地理數據的研究
BCL開展了多項麵向全國所有大中小城市的大模型研究，如地塊尺度的全國城市擴張模擬、城市建成區識別、地塊邊界與開發類型和強度重建模型、中國城市間交通網絡分析與模擬模型、中國城鎮格局時空演化分析模型，以及目前正在開展的地塊尺度的全國各城市人口數據合成和居民生活質量評價、空氣汙染暴露評價、主要城市都市區範圍劃定以及城市群發育評價等。
3、針對微博數據的獲取和研究
前文所述，我根據人脈進行了規劃行業的成員抓取，同時聚類識別出了幾個主要規劃院的成員和人脈結構，接下來我與中規院李棟等人正在抓取規劃圈成員在微博上的微博內容和位置信息，並且利用北規院、中規院在近幾年的城市規劃知識管理、本體構建和語義分析工作基礎，對抓取的規劃人的發言內容進行語義分析，給它們打上語義標簽，如此便能對規劃行業、每個規劃院的話題進行整理分類和監測。此項工作剛剛在前期技術準備中。
事實上微博數據的主要用途是表征人的活動信息，規劃師和地理學人做了大量利用微博簽到數據的研究。BCL成員，中國規劃院的李棟抓取了全國1000多萬條帶有位置信息的微博，並通過識別發送設備得到了全北京的安卓和蘋果手機用戶的空間分布。
綠色的是安卓用戶占上風的區域，紅色的是蘋果，咱們IT人用安卓的多，CBD的金領們則是一邊倒的iOS。作為商務人士雲集的首都機場也是蘋果占上風。
中科院地理所王江浩抓取了更多的微博數據，並以此得到了全國各省市的人類活動強度和區域聯係度。龍瀛則利用簽到數據分析了全國各個城市的地塊功能混合度。
4、針對公交IC卡的分析
我們獲取了全北京08、10各一周的公交IC卡刷卡數據以及13年以來每季度一周的刷卡數據，每批數據大約在50G左右，約8000萬條記錄。
利用IC卡刷卡數據我院龍瀛、張宇、喻文承等分析了城市的職住分布、居住與就業特征、居民的通勤軌跡。
目前我的團隊正在開發Oracle和Hadoop兩個數據處理和計算平台，擬對公交IC卡提出諸如“通勤分析、職住分析、人的行為分析、人的識別、重大事件影響分析、規劃項目實施評估分析”等若幹個計算與可視化服務，並形成功能服務菜單，規劃設計人員可以通過菜單選擇所需服務，並定製分析範圍、分析時間段和分析對象。
上麵四張圖分別是高峰期公交通勤軌跡
利用公交卡識別的各交通小區的就業強度
各公交站周邊區域的居住強度
以及利用地鐵刷卡記錄對每條線路各站點周邊的規劃項目進行評估
公交卡刷卡記錄是實實在在的大數據，我們規劃師有分析城市問題的研究思路，我們欠缺的是將思路快速形成分析平台，提供定製化服務的數據處理，數據庫優化和分析工具化的開發能力。這也是我們規劃行業進行大數據應用的主要問題之一，是我與群裏各位數據科學家，IT精英們的結合點，互補之處。與其把精力浪費在討論智慧城市概念，標準上，不如大家跟我們攜手將具體的問題，研究，應用做起來，真真正正的用數據來解決城市問題，自下而上的推動智慧城市的進步，我上述所有研究都沒有財政經費或者項目支持，研究成本加上Beijing City Lab的網站，一起花了人民幣10000元。
黃明峰：數據采集如何保證？
茅明睿：不能保證。但是從過去三年的進展看我們的開放數據資源日益爆炸式豐富，上述研究除了公交卡，其餘基本全部基於這兩年獲取的開放數據。我相信，以後開放數據會越來越多，商業平台也會更加開放。當然類似公交卡，手機信令數據之類的還必須有官方協調。
Victor：目前這種數據服務有付費的用戶嗎？
茅明睿：還談不上數據服務，都處於研究階段，沒有商業模式。今天群裏分享的無錫手機信令數據研究也是規劃行業的典型案例。
黃明峰：規劃不需要實質性數據。
趙剛：人口、企業、交通等數據也要協調。
徐琪：但是微博抓取數據是很有啟發意義的。也看到你們設計數據源的專業。
Brain lai：手機信令數據是從運營商提供的嗎？基站A-bits口？
茅明睿：規劃部門是無錫規劃編研中心，數據挖掘是由雲砥公司提供的服務，信令數據需要運營商支持。
老波：落地，實。讚！如何可持續與協同發展，如何形成真正“大”的大數據研究應用？
Brain lai：數據的可獲得性- 的確是大數據第一步。
黃明峰：我在想一個問題，大數據的快速這個特征定義是不是有問題？
茅明睿：我覺得應該是高頻。我覺得高頻是大數據與數字城市時代的海量低頻數據最本質的區別。
張涵誠：這一種實踐可推廣在零售企業的客戶時實動態圖不？
黃明峰：陳秘書長，其實建立一個數據的交易機製的確是破冰的途徑。
陳新河：4v中2V不是必要條件--大和速度
黃明峰：北京有這種數據采集的末端，其他城市就沒有
茅明睿：規劃可以容忍幾個小時甚至幾天才出來，畢竟，規劃院搞不起高大上的架構，養不起牛逼的架構師，但是我確實需要一個DBA。還望諸位推薦。
黃明峰：現在各個城市共同的末端采集就是視頻監控。
趙剛：現階段，數據獲得，一方麵寄希望，政府開放基礎數據。更多，還得靠各種信息基礎設施中的各種技術性合法獲得，如日誌、信令、抓取、視頻等。
茅明睿：我們這種跨界的半拉子，自己做做研究成，搞實時服務就很困難。我手上有上千個圖層的空間數據以及這兩年搞定量研究獲取抓取的數據資源，做完研究後如何變成普通規劃師可用的分析係統，提供定製化的服務，還有困難。
李簡由：今天分享太棒，尤其是一段地鐵ic卡分析的那一段，尤其覺得接地氣。
C陳新河，聯盟副秘書長；《軟件定義世界，數據驅動未來》@徐元區再次感謝茅總的精彩分享！線下會組織一場城市規劃大數據沙龍活動，請各位踴躍報名！
茅明睿：謝謝。
原文發布時間為：2014-05-14
本文來自雲棲社區合作夥伴“大數據文摘”，了解相關信息可以關注“BigDataDigest”微信公眾號
最後更新：2017-05-05 19:04:39