從人機交互到計算機視覺&人工智能，UC Berkeley到底潛藏了多少面向產業化的自動駕駛技術？ | GAIR硅谷智能駕駛峰會

很多前沿產業化成果都是從校園和研究機構脫胎的，自動駕駛領域中也是如此。

如果說哪個大學擁有孕育汽車智能和自動駕駛技術產業化落地的搖籃，位于美國舊金山灣區的UC Berkeley（加州大學伯克利分校）應該算一個。

這所世界知名的公立學府，曾送走了包括英特爾創始人之一戈登·摩爾、蘋果公司聯合創始人斯蒂夫·沃茲尼亞克、特斯拉聯合創始人馬克·塔彭寧在內的一系列時代顛覆者。那么它在自動駕駛領域做了些什么呢？在本文中，雷鋒網·新智駕將和讀者聊聊UC Berkeley旗下兩大與汽車智能相關的實驗室——InterACT和Berkeley Deep Drive。

Anca Dragan和她的InterACT實驗室

在自動駕駛領域，人機交互是個不算新但絕不過時的話題，在真正意義的高階自動駕駛落地前，已經不停有人在問出這些問題：人類如何完全信任自動駕駛車？自動駕駛車如何理解和預測人的行為？人類駕駛汽車和機器自動駕駛汽車如何在交通環境中共生？

而對于這些問題，Anca Dragan認為她能夠或正在尋找一個答案。

年僅30歲的Anca Dragan，是個羅馬尼亞人，現任加州大學伯克利分校的電子工程與計算機科學助理教授。年紀輕輕就頗有學術建樹的她，也曾榮登福布斯羅馬尼亞30歲以下精英榜單。

今年年中，她又獲得一份來自MIT科技評論的獎項，后者稱她為“遠見者”，原因是“她致力于確保機器人與人類可以和諧地共同生活”。而這，在許多業者看來，是與機器本身智能化并重甚至更為重要的事情。

Anca Dragan認為：

機器與人類協作的沖突多來自于雙方對彼此的不了解，所以，機器人與人工智能的正確觀點應該是機器人試圖優化人的目標函數。機器人不應該將任何客觀的功能視為理所當然，而應該與人類一起去發現他們真正想要的是什么。

為了令機器人更好地協同人類工作，Anca Dragan帶領InterACT實驗室開始專注于人機交互算法的研究，試圖將復雜或模糊的人類行為轉化為機器人能理解的簡易數學模型。

InterACT ，全稱Interactive Autonomy and Collaborative Technologies Laboratory（交互式自主和協作技術實驗室），是UC Berkeley旗下專注于人機交互研究的實驗室。他們研發的算法，不只是關注機器本身相對孤立的功能，而是將機器行為的分析和學習也納入到與終端用戶的交互和協作中。InterACT 研究成果能應用在各種機器人領域和場景中，例如輔助型機器人、制造業等。

當然，該研究在短期之內最重要的應用，莫過于幫助自動駕駛汽車與傳統汽車預判對方可能的行為。據雷鋒網·新智駕了解，這也是Anca Dragan以及InterACT 實驗室目前重要的研究方向之一。

值得一提的是，2018年1月16日，雷鋒網新智駕將在舊金山灣區舉辦GAIR硅谷智能駕駛峰會（更多詳情訪問：https://gair.leiphone.com/gair/gairsv2018），來自頂級學界、互聯網巨頭、傳統車企以及新興技術企業的眾多從業人士和探路者將到場分享。屆時，Anca Dragan也將帶著她在自動駕駛領域人機交互行為研究的最新成果發表演講，感興趣的讀者可以到現場與她交流。

InterACT背后的Berkeley Deep Drive

回到InterACT實驗室，其實它的學術成果還有一個去向，就是賦能于一個名叫 Berkeley Deep Drive (BDD) 的研究項目并形成產業化。后者是一個將人工智能與汽車產業結合的行業協會組織，依托多個學術實驗室，InterACT就是其中之一。

具體而言，Berkeley Deep Drive主要專注于將計算機視覺與機器學習技術相結合，并應用于汽車產業的不同場景中。Berkeley Deep Drive認為，雖然目前計算機視覺領域已經取得了諸多顛覆性進展，但其中的很多技術還沒有被很好地移植到汽車產業中進行應用，比如他們涉獵的技術場景包括：對于車輛的深度增強學習、理解駕駛員對智能汽車的認知、基于優化自動駕駛車輛交通環境的深度增強學習、關于安全和隱私保護的深度學習，等等。

Berkeley Deep Drive的研究成果也并非停留在實驗室階段，而是與產業界結合緊密，目前他們的合作伙伴中，諸如博世、采埃孚等Tier 1供應商，大眾、本田、現代等車企，NXP、英偉達等芯片廠商，以及華為、馭勢科技等中國公司均在列。

*Berkeley Deep Drive研究項目的合作伙伴和贊助者矩陣

之前雷鋒網·新智駕曾報道了包括圖森未來CTO侯曉迪、Pony.ai CEO 彭軍、馭勢科技CEO吳甘沙、現禾多科技創始人倪凱、Auto X創始人肖健雄等人組成的“自動駕駛天團”齊聚CVPR參與圓桌討論的事情，

當時還有一名“天團”成員，正是來自Berkeley Deep Drive項目的研究員Fisher Yu（下圖中左一）。

雷鋒網通過資料發現，Fisher Yu還有一個身份，就是曾在普林斯頓大學師從CV界學術明星肖建雄，眾所周知，肖一直是唯計算機視覺論的代表支持者，他推崇僅依靠視覺技術實現自動駕駛。有這么一層關系，Fisher Yu選擇在專注計算機視覺與汽車產業結合的Berkeley Deep Drive項目組工作，是非常順理成章的。

說到這兒突然想到，肖建雄也是GAIR智能駕駛峰會的演講嘉賓之一，那就再廣播一遍，2018年1月16日，雷鋒網新智駕將在舊金山灣區舉辦GAIR硅谷智能駕駛峰會（更多詳情訪問：https://gair.leiphone.com/gair/gairsv2018），除了上文提到的Anca Dragan，還有CV界大神肖建雄同臺講演，感興趣的讀者可以到現場與他交流。

人機交互在自動駕駛中的應用

再聊聊Anca Dragan的人機交互項目，他們的研究成果到底如何在人機博弈中體現出更好的協作呢？在自動駕駛中的具體場景應用又如何？日前，Anca Dragan在Conference on Robot Learning (機器學習大會，CoRL)上發表了一段演講，以下是雷鋒網·新智駕對內容不改變原意的整理摘要：

Anca Dragan的演講題目是《人類進入機器人方程》。在傳統的機器人路徑規劃問題中，機器人通常將人類視為和其他不能移動的物體一樣的避障目標，而Anca希望將人類作為機器人決策的一個“變量”實現和人類的最優交互。

最簡單的狀態，只有機器人和交互的物體，則機器人的效用函數為UR，該效用函數包含的變量包括初始狀態x0以及運動軌跡uR。

但現實中，機器人需要和三類不同的人打交道：在運行環境中的其他人、其使用者，以及其設計者。

出于安全的考慮，以往通常將人視為機器人行動和路線規劃中需要避讓的“障礙物”；

但在人類交互當中往往存在某種博弈行為，如這個超車變道的例子，黑色小車意圖超車，但銀色卡車寸步不讓。如果我們與他人的交互都像這個司機一樣，則會造成許多沖突，但無人駕駛車不會像小汽車司機這樣做，他們會感知到這里可能沒有足夠的超車空間，會選擇減速在卡車后變道。

如果我們將人視為需要規避的障礙物進行建模，那意味著我們將人類視為這個例子中不會改變主意的卡車司機一樣進行建模。

另一個Google Car無法順利通過四面都有停車標志的十字路口的例子。在這個例子中，傳感器會一直探測到有人類司機并進行避讓，而人類司機可以通過一寸一寸向前挪動讓Google無法行動。

漫畫：“你先走還是我先走？”在圖中，無人車讓人類先走，但行人并不打算走而是揮舞手臂，則會讓無人車困惑。

機器人與人類的互動。此時機器人的效用函數UR包含三個變量：初始狀態x0、機器人運動軌跡uR以及人類運動軌跡uH，此時人類的效用函數UH也包含三個變量：初始狀態x0、人類運動軌跡uH以及覺察到有機器人后的隱形影響因子θH；

我們現在在做的研究：人并不是障礙，而是將其視為需要通過自己效用函數進行優化的智能體，但我們并不知道其效用函數，參數是隱藏的；機器通過人的動作估計隱藏狀態，估計其下一步行為，如果機器人對人的下一步動作有估計，那么機器人會將其加入到自己的效用函數中：如果這件事情發生，我應該怎么做才是最好的選擇。

當人類也考慮機器人的行為來調整自己的行為時，其效用函數UH變為四個變量：初始狀態x0、人類運動軌跡uH、機器人運動軌跡UR及覺察到有機器人后的隱形影響因子θH。有不少證據表明人們實際上并不一定去在博弈中實現均衡，因為人類是通過計算達到平衡的。

我們如何說明機器人對人類行為的影響？

舉一個無人車與人類司機交互的例子。上圖中的橙色汽車是無人駕駛車，UR是無人駕駛車軌跡，UH是人類駕駛軌跡，如果我們考慮的是在特定的UR下，UH應該如何達到最優，這樣人類可以更好地響應機器人的行為。

在這個例子中，這是一個保證效率和安全的博弈。人類的參數是隱藏的，我們通過反向優化控制來猜測這些數據，機器人收集這些展示人們將如何與機器人互動的數據，設置一個最大似然觀察，然后機器人去解決這個嵌套優化問題，即當人不可避免地受到我所做的事情的影響時，我該怎么做才能最大限度地將我的效用最大化？最終會達到人和機器人的和諧協作。

接下來Anca展示了一些簡化后的例子。如果將人類車輛當做一個需要避障的目標并推斷其行為，無人車通常在人類車輛后變道。在少數情況下，人類車輛之前有充足的空間的時候，無人車會超車變道，因為在這個嵌套優化中，機器人知道，如果它按這一方式超車變道，那么人的反應就是放慢速度，讓無人車進入。

在這一模式中，機器人不再處于被動狀態，而是更好地和人進行互動。

Anca稱她最喜歡的一個例子是，仍然是四面停止標志的十字路口，當處于僵持、沒有乘客的無人車（橙色）需要表示“你先走”的時候，無人車會稍稍后退，在這個路口中，人類司機同樣在進行效率和安全的博弈，而當無人車后退的時候，車輛相撞的幾率變小，此時人類司機就會通過路口，達到人類車輛效用函數的最大化。這是一個無人車影響人類效用函數的例子，同時也是很令人驚異的發現，因為人類司機從不會通過后退表示讓對方先走。

同樣在這個漫畫的例子中，無人車也可以通過稍稍后退讓行人先走打破僵局。

上圖是三種模型下，真實用戶不同反應的影響。

不過這一模型仍然存在某些局限性，如效用局限于已知的Feature的線性組合，假設感知問題已經得到解決，對車輛運行進行了簡化，等等。

而且我們不能用一些線下訓練的模型來用來套到實際的駕駛中，萬一遇到之前那個不肯避讓的卡車司機就麻煩了。所以需要對每個司機的行為進行具體的估計。

通過對人類司機駕駛軌跡的觀察，可以推斷出司機的駕駛風格：比較激進或者比較保守，并采取正確的策略。如判斷對方是一個保守型的司機的時候，在其前面變道超車對方通常會避讓。

像這種情況的激進型司機，無人車只能放棄變道。

而在十字路口的例子中，無人車需要判斷這個司機是否注意其他車輛的動作。

通過上述研究，機器人可以從豐富的指導模式中學習。簡單來說，如果機器人能夠理解它可能對人類情緒造成的影響，就可以更好地進行決策，并在更廣泛的領域與人類進行有效協作。

其中的部分成果可能被整合到Berkeley Deep Drive的研究項目中，并借由汽車產業鏈中的公司形成落地應用。

PS：2018 年 1 月 16 日，雷鋒網新智駕將在舊金山灣區舉辦 GAIR 硅谷智能駕駛峰會（更多詳情訪問：https://gair.leiphone.com/gair/gairsv2018） ，來自學界、互聯網巨頭、傳統車企以及新興技術企業的眾多從業人士和探路者將到場分享。屆時Anca Dragan將到場進行主題分享。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。