135
京東網上商城
專訪DeepScale：深度學習加前融合，這家公司想做自動駕駛領域的感知方案供應商
Forrest Iandola
多傳感器融合目前看來已經成了通往自動駕駛的必由之路，更多的傳感器數據往往也意味著更高的安全性。但數據融合並不是一件簡單的事。
DeepScale是矽穀一家專注於自動駕駛感知技術的公司，其CEO Forrest Iandola在本月接受雷鋒網采訪時表示，他們能將深度學習同時用於攝像頭以外的傳感器數據上，如雷達與激光雷達，並在較為廉價的嵌入式設備上提供感知解決方案。
Forrest在加州大學伯克利分校攻讀博士學位時，主要研究深度神經網絡及其應用，重點關注加速及改進用於計算機視覺的深度學習，目前已發表20多篇論文。2015年他與導師Kurt Keutzer聯合創立了DeepScale。
他告訴雷鋒網，如果分析現有量產車輛以及自動駕駛原型車對於雷達與攝像頭等數據的處理，就會發現攝像頭數據上會用到深度學習技術，但雷達數據處理還是用的傳統算法，沒有深度學習靈活。這也是DeepScale的不同之處。
他們的另一個創新之處體現在多傳感器數據的融合算法上。“我們做的是利用原始數據的前融合（Early Fusion），在做目標檢測前就進行融合。”
在融合算法上，通常的做法是讓攝像頭、雷達、激光雷達等傳感器數據分別進行物體檢測，各生成一個物體列表。如果在雨天激光雷達的效果受到影響，或者在逆光時攝像頭難以正常發揮，那各自生成的列表會不一樣，在做最終判斷時需要再次計算，而部分信息會在確認時被丟棄，這也降低了係統的安全性。如果用原始數據進行融合，信息會更完整。
DeepScale用於測試多傳感器融合的方案
Forrest告訴雷鋒網，其多傳感器融合方案的優勢，一是體現在物體檢測的準確性上，二是跨傳感器的可移植性（Portability）上。“用傳統的方法，如果有新的激光雷達，則需要開發新的檢測算法，而我們的方法可以用很小的工程開發來完成融合。現在有數十家公司在做傳感器，我們不用為每一家的傳感器重新開發。”
傳感器是實現自動駕駛的瓶頸之一，也因此有一批新興公司紮根其中，比如Luminar，LeddarTech，速騰，光珀，Cepton，Oculii等。如果對傳感器沒有特殊要求，無疑可以讓分工更明確，加速自動駕駛的落地。
DeepScale的另一個特點，則是自行設計了深度神經網絡，這樣可以在物體檢測上滿足精度及計算上的要求。Forrest表示，他們開發的神經網絡可以運行在高通的車規級驍龍處理器上。“我們沒有用現有的網絡，而是自行從新開始設計了深度神經網絡。這樣可以加入新的功能，比如融合算法，我們還開發了新的數據轉換層。”
仍在做研究時，Forrest就與同伴一起發布過自己的神經網絡SqueezeNet，這一網絡並不能直接用於自動駕駛，但它在讓模型盡可能簡單的基礎上，實現了合理的精度。
在創立DeepScale之前，Forrest曾在UCB的ASPIRE實驗室工作，當時他參與了一個美國國防部高級研究計劃局DARPA資助了1500萬美元的項目。項目的主要任務是將計算機視覺技術置於無人機上，而他們的主要工作就是優化能耗。他表示，“當時在解決問題中，我們要選擇合適的硬件，開發最好的library，開發最合適的模型和算法”，而這也是他們現在能用上的經驗。
以下為雷鋒網與Forrest采訪的摘錄：
雷鋒網：你怎麼定義DeepScale和它在自動駕駛行業的位置？
Forrest：我們是一家軟件公司，取決於與哪家OEM合作，我們會成為Tier 1或Tier 2供應商。有時與車廠合作，有時也與T1合作，向車廠提供完整的解決方案。兩種典型的情況。
我們不是開發自動駕駛整體解決方案，而是隻開發感知係統軟件，是自動駕駛構成的一部分。
雷鋒網：多傳感器的前融合在學術研究上是一個相對成熟的領域嗎？
Forrest：研究的人相對比較少。深度神經網絡是一個有研究很多的領域，在語音識別、目標檢測、圖像及視頻識別、文本分析上都有很多應用。但傳感器的融合在DeepScale之外，還主要是人工設計的算法，很少用深度學習，甚至沒有用機器學習的方法。總體上雖然已經有了一些研究，但仍有很多開放的問題待解決。
雷鋒網(公眾號：雷鋒網)：那有待解決的問題還有哪些？
Forrest：除了很多方法沒有利用原始數據，這會帶來一定的局限外，如何做到傳感器的時間同步也是一個重要問題。傳感器有不同的采樣速率，一個傳感器可能是每秒30次的采樣，另一個可能是40帆每秒，在如何融合上我們有一些成果了。時間序列神經網絡（Time Series Neural Network）幫了很大的忙，RNN（遞歸神經網絡）也很有用，解決了不少問題。
雷鋒網：雷達上的原始數據你們用的是頻譜（Spectrum）嗎？如何做數據融合？
Forrest：第一步是我們與一些雷達公司有合作，他們會為我們提供原始數據。這方麵我們有一些進展，用機器學習的方法取得了一些不錯的成果。可以透露的是，這有點像語音識別，你可以用原始波形（Wave Forms），或者用FFT（快速傅裏葉變換）做一係列的處理，再喂給神經網絡，這是一個還沒解決的問題。
雷鋒網：你們對傳感器的配置沒有具體要求？
Forrest：我們在配置上很靈活，主要看合作的OEM想達到什麼樣的效果。在城市路段和高速上所用傳感器是不一樣。想達到什麼樣的功能，想要係統多可靠，這決定了用什麼樣的傳感器。
雷鋒網：讓業界采用你們的方案是否存在哪些阻礙？
Forrest：有不少公司開發出了車載的智能傳感器，裏麵也集成了處理算法，對這些公司來說，我們的技術是顛覆性的（Disruptive）。車廠也不可能同時用這兩種方法，所以我們在與汽車行業對用新技術做計算感興趣的公司合作，希望能將計算中心化。
雷鋒網：是因為習慣了傳統的方案而不願意接受新的技術？
Forrest：這對每家公司來說都不一樣。如果對精度和係統安全沒那麼敏感，就不需要。
雷鋒網：那是否意味著你們更偏向於L4-5級別的全自動駕駛，而不是L2-3級？因為後者已經有Mobileye這樣的公司了？
Forrest：我們L2-5級別的方案都做。L2-3的定義很廣泛，現在L2級自動駕駛的功能和它未來有的功能差別很大，比如像緊急製動係統這樣的功能就還不完美，還有很多工作要做。車廠也對有更多的安全功能很感興趣。我們也不是想挑戰Mobileye，但在L2-3領域還有很多待解決的問題。
在L4-5級上，會加入更多的傳感器，會麵向更多的場景，而我們係統的好處是對傳感器的改變適應性很好，我們可以支持高端和低端的傳感器，且不用做太多的前期開發。
雷鋒網：你們開發過程中遇到的主要挑戰是什麼？
Forrest：取決於自動駕駛車輛要達到什麼樣的功能，我們的一個目標就是要達到相應的感知精度要求。另外就是要在車規級的硬件和處理器上完成實時計算。DeepScale的一個優勢是我們擅長重新思考神經網絡的設計，以在更小的處理器上運行。
英偉達等GPU公司在PC和服務器上，以及未來的汽車上都有很好的應用。但也有一些應用場景，就算是英偉達最便宜的芯片也不能滿足OEM的需求，但我們能將深度神經網絡運行手機和車載硬件上。這也是我們的一個特點，很多公司或者在GPU上做深度學習，或者在其它硬件上做非深度學習的傳統的計算機視覺。
雷鋒網：你們現在主要支持哪些計算平台？
Forrest：與我們對傳感器的要求不多，可以換到新的傳感器而不用做過多的開發一樣，我們自己的深度神經網絡軟件框架可以移植到不同的處理器平台上，比如高通、英偉達、TI等，我們未來會運行上所有的平台上。
雷鋒網：現在你們深度神經網絡的功能有哪些？
Forrest：目前我們主要關注的是物體檢測，包括物體的種類、運行路線、距離等信息；還可以分析3D點雲，即環境的3D形狀是什麼，從一個攝像頭到多個傳感器的數據都可以分析。還有Occupancy，也就是道路上可以行駛的空間。
雷鋒網：你如何看待以攝像頭或激光雷達為主的自動駕駛方案？
Forrest：我是一個很務實的人，我覺得更多的傳感器意味著更安全。各種不同的技術路徑都有自己的價值，但重要的是取決於想要做什麼和達到什麼樣的效果。如果隻是做Demo，隻想在限定區域內運行，可能一個攝像頭就夠了，如果是要解決安全問題並且要量產，不確定。
雷鋒網：你們未來的主要工作是什麼？
Forrest：招人，軟件開發，獲取更多數據，尋求更多合作都是。在一個漂亮的Demo與量產之間，還存在很大的鴻溝，安全性上也需要不斷提升。
本文作者：張馳
本文轉自雷鋒網禁止二次轉載，原文鏈接
最後更新：2017-11-06 16:05:24