0
20世紀80年代后期，超大規(guī)模集成電路（VLSI）發(fā)明者之一、美國加州理工大學(xué)院的Carver Mead教授首次提出了神經(jīng)擬態(tài)的概念，設(shè)想用CMOS模擬電路的方式去模仿生物視網(wǎng)膜，搭建具有生物計算特性的系統(tǒng)，并與學(xué)生展開了這方面的研究。
后來這項技術(shù)從美國傳播到歐洲，在全球范圍內(nèi)蔓延開來，世界各地的科學(xué)家和企業(yè)家們的研究都指向同一個問題：如何才能讓基于CMOS模擬電路所做出的視網(wǎng)膜更接近于人眼？
來自奧地利的Christoph Posch就是關(guān)注神經(jīng)擬態(tài)技術(shù)的學(xué)者之一，自2000年左就開始從事神經(jīng)擬態(tài)相關(guān)的工作，并和Luca Verre共同創(chuàng)辦了一家研發(fā)神經(jīng)擬態(tài)視覺芯片的公司Prophesee，在神經(jīng)擬態(tài)視覺芯片技術(shù)領(lǐng)域位居全球前列。
不久前，雷峰網(wǎng)與Luca進行了一次交流，Luca談到了神經(jīng)擬態(tài)視覺芯片技術(shù)的最新進展：人工視網(wǎng)膜領(lǐng)域已經(jīng)有成功案例，目前正在手機等消費電子方面尋找更加廣闊的發(fā)展空間。
為視障人士而生的事件相機
與人體的神經(jīng)反射一樣，電路中的神經(jīng)擬態(tài)主要分為兩個部分，接受信號的傳感器和感受信號的神經(jīng)中樞，因此衍生出類人眼和類腦等神經(jīng)擬態(tài)芯片。模擬人眼的工作，主要是事件相機承擔(dān)。
與傳統(tǒng)的視覺傳感器有所不同，事件相機是一種受生物啟發(fā)而誕生的新型視覺傳感器，有時也被稱之為動態(tài)視覺傳感器。在生物視覺中，一部分視覺細胞會對動態(tài)的事物敏感，仿照人眼的這一特點，就誕生了用于敏感捕捉運動物體的事件相機。
事件相機的核心在于，其中每一個像素處都有一個獨立的光源，當(dāng)該像素處的亮度變化超過設(shè)定閾值時，就會生成和輸出脈沖數(shù)據(jù)，因此可以完成一些基于幀的傳統(tǒng)相機沒法完成的任務(wù)，例如高速運動、高動態(tài)范圍建圖等等，具有高動態(tài)范圍和低時延等優(yōu)點。
在神經(jīng)擬態(tài)視覺技術(shù)方面擁有二十多年研究經(jīng)驗的Christoph，看到了事件相機的潛力，認為是時候創(chuàng)辦一家公司，將這項技術(shù)從實驗室?guī)У绞袌觥?/p>
Prophesee CEO Luca告訴雷峰網(wǎng)，大概八年前，Luca在巴黎攻讀MBA，想在事業(yè)上尋求一些新突破，正是在這個時間段結(jié)識了Christoph，在聽完其對神經(jīng)擬態(tài)視覺技術(shù)的介紹和分析后，受到很大啟發(fā)，清楚地知道這項技術(shù)將為市場帶來巨大價值，于是毫不猶豫地決定同Christoph一起創(chuàng)業(yè)，幾天后，Prophesee就這樣誕生了。
最初，Christoph和Luca都認為，這項技術(shù)的本質(zhì)在于開發(fā)一個模擬人眼的人工模型，因此可以用來模擬人眼視網(wǎng)膜的工作原理，幫助視網(wǎng)膜功能受損的盲人恢復(fù)視力，因此決定將這項技術(shù)應(yīng)用于醫(yī)療領(lǐng)域。
“某種程度上，這也是我們決定創(chuàng)立這家公司的靈感來源之一。”Luca說道。
因此在Prophesee成立初期，發(fā)布的第一代產(chǎn)品主要用于幫助視障人士和盲人恢復(fù)視力。Luca表示，Prophesee的第一代產(chǎn)品主要用于生物電子公司Pixium Vision和生物制藥公司GenSight的應(yīng)用，已經(jīng)取得不錯的實驗成果。 “現(xiàn)在這兩家公司正在想辦法盡可能減少手術(shù)的復(fù)雜性，希望盡快把這項技術(shù)應(yīng)用到更多患者身上。”Luca解釋道。
Prophesee作為神經(jīng)擬態(tài)視覺技術(shù)方面全球領(lǐng)先的公司，證實了事件相機在模擬人眼方面的潛力，為了進一步推動神經(jīng)擬態(tài)技術(shù)的發(fā)展，Prophesee決定一邊持續(xù)保持對醫(yī)學(xué)應(yīng)用的關(guān)注，一邊將業(yè)務(wù)重心更多地轉(zhuǎn)向手機端和電子領(lǐng)域，以及工業(yè)領(lǐng)域。
從人眼到手機，化身改善影像的利器
事實上，比起在模擬人眼上取得的進展，神經(jīng)擬態(tài)視覺技術(shù)在工業(yè)和消費電子領(lǐng)域發(fā)展更快，在CMOS痛點難解的狀況下，以及智能手機同質(zhì)化嚴重的情況下，逐漸演變成手機廠商未來角逐賽中的一部分。
追溯圖像傳感器的發(fā)展歷程，最初以高像素、高制造難度的CCD器件為主流，后來逐漸被功耗和成本更低的CMOS取代。
但CMOS也有自己的問題，由于主要通過對光電流進行時間上的技術(shù)實現(xiàn)曝光，從曝光到數(shù)模轉(zhuǎn)化再到數(shù)據(jù)的傳輸耗時長，功耗高，影響圖像的幀率，幀與幀之間間隔時間長造成信息缺失，從而增加了機器對圖像的判斷。
同時，CMOS圖像傳感器輸出8-12bit信息，數(shù)據(jù)傳輸量大、能耗高、讀取慢、存儲空間需求、大處理圖像能耗高。
在CMOS圖像傳感器的發(fā)展歷程中，也有不少廠商嘗試解決這些痛點問題，但基于其通過快門控制所有像素在同一時間內(nèi)進行積分曝光的工作原理，其幀率、數(shù)據(jù)量和動態(tài)范圍三個參數(shù)難以平衡。
例如，在高動態(tài)范圍的拍攝中，常常使用多重曝光算法，即融合多個不同曝光時間的幀圖像而成高動態(tài)范圍的圖像，必然導(dǎo)致幀率下降，更多的數(shù)據(jù)運算和更大的系統(tǒng)延時，在要求短響應(yīng)時間和捕捉快速變化的場景中無法適用。
“我們平時用手機拍攝運動的物體時，尤其是在光線不足的情況下，會發(fā)現(xiàn)拍攝對象的邊緣不太清晰，這是因為目前手機攝像頭會在固定的時間節(jié)點獲取信息，當(dāng)我們按下相機快門，傳感器開始進光，快門關(guān)閉。這段曝光時間內(nèi)，如果拍攝對象發(fā)生移動，拍出來的照片就會模糊。”Luca說這是傳統(tǒng)攝像頭普遍存在的問題。
擁有動態(tài)捕捉能力的事件相機能夠更好地解決這些問題，因此近幾年，索尼和三星都紛紛入局事件相機，搶在CMOS革命前夜做好布局，改善手機影像能力。
Prophesee作為為數(shù)不多的事件相機初創(chuàng)公司，同時也是索尼的合作伙伴，鑒于在醫(yī)學(xué)應(yīng)用領(lǐng)域的經(jīng)驗，也已經(jīng)在智能手機領(lǐng)域取得新進展，推出照片去模糊功能并已經(jīng)和高通展開合作。
Luca向雷峰網(wǎng)展示了采用Prophesee事件相機芯片之后所拍攝照片與傳統(tǒng)攝像頭的項目對比，能夠觀察到前者所拍攝出的正在運動中的球拍和球都更加清晰。
“我們也有在和一些手機大廠進行合作，目標是在2024年實現(xiàn)量產(chǎn)。”Luca說道。
AR、VR和智能駕駛應(yīng)用落地緊跟其后
除了在手機攝像頭領(lǐng)域的應(yīng)用落地，事件相機也可以在一些火熱賽道上發(fā)揮作用。
Luca告訴雷峰網(wǎng)(公眾號：雷峰網(wǎng))，AR、VR和智能駕駛，都是事件相機的目標市場。
在AR、VR領(lǐng)域，事件相機有望解決眼球追蹤的難題，幫助用戶降低使用AR、VR設(shè)備時的眩暈感。一年前，Meta在WACV會議上發(fā)布了一項有關(guān)解決眼動難題的應(yīng)用研究，就是基于Prophesee事件相機來檢測場景中的變化。
“眼睛移動的速度非常快，所以需要非常高速的攝像頭跟蹤眼睛的移動，但傳統(tǒng)攝像頭基于幀，快速追逐眼動需要非常高的幀率進行拍攝，這會產(chǎn)生非常多數(shù)據(jù)，增加能耗和數(shù)據(jù)處理時間。但事件相機能夠針對信息的變化，只追蹤移動物本身，在保持低功耗低延遲的情況下實現(xiàn)高速追蹤。”Luca解釋道。
在智能駕駛方面，Luca表示，Prophesee目前的應(yīng)用研究主要集中在兩個方面，一是監(jiān)控駕駛員在座艙內(nèi)的行為，在司機開車時對其注意力進行監(jiān)控，例如通過監(jiān)測眨眼的速度和頻率，判斷司機是否有出現(xiàn)注意力下降的情況；
二是在輔助駕駛方面，可以幫助檢測汽車前方的障礙物，尤其是在低光或者強光的環(huán)境下通過更高的動態(tài)范圍提供更準確的障礙物探測，提高行車的安全性。
目前，Prophesee也已經(jīng)和博世、英特爾以及雷諾日產(chǎn)進行合作，展開更多在汽車領(lǐng)域的實驗。
如此先進的神經(jīng)擬態(tài)視覺技術(shù)，工藝成本是否會比CMOS更貴，Luca則表示，Prophesee的傳感器同樣基于傳統(tǒng)的CMOS技術(shù)制造，在工藝成本方面相當(dāng)，不過作為一項全新的技術(shù)，還需要進一步擴大研發(fā)投入，同時市場需求擴大，才能真正實現(xiàn)降本增效。
相關(guān)文章：
?神經(jīng)擬態(tài)計算的“一小步”， AI發(fā)展的“一大步”
英特爾1億個神經(jīng)元的全球最強神經(jīng)擬態(tài)系統(tǒng)，何時改變世界？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
