0
如果將現代化城市比作人的大腦，那么密布在城市各個角落的攝像頭就是城市的眼睛。
無時無刻不在收集視覺信息的攝像頭與人類的眼睛不同，前者不加篩選地收集海量信息，成本高，能源浪費嚴重，后者則能有效篩選出重要信息，整個視覺系統高效運轉。
高文院士于2017年圖靈大會上正式提出這一點，認為人類應該借鑒動物視覺演化的模式來建設智慧城市，并于當年10月份的安博會上正式提出“數字視網膜”這一概念。
新一代人工智能產業技術創新戰略聯盟理事長高文院士
如今，已是數字視網膜概念推進落地的第三年，數字視網膜究竟如何效仿人類視覺系統運行？又有哪些行業最先成為數字視網膜的受益者？
數字視網膜的三個技術核心
數字視網膜，顧名思義，就是實現傳統攝像頭乃至視覺機器架構革新，盡力像人類的視覺系統一樣，更加智能地支持城市大腦，服務智能安防，城市精細管理等應用。
在2021數字視網膜應用論壇上，鵬城實驗室教授洪曉鵬對數字視網膜再次做出解釋，他提出城市大腦應該向人腦學習分工協調，可采用仿生物視網膜的視覺計算架構來優化現存問題，讓智能化的端邊側使系統更靈活，在云側作為智能主體提供更強大智能資源，并優化存儲傳輸使系統更經濟。
傳統攝像頭只是將拍攝的視頻數據壓縮后上傳到云端進行存儲，再做分析識別處理。
數字視網膜則要求在攝像頭端對視頻拍攝進行高質量視頻編碼和視覺特征提取編碼，對壓縮過編碼的視頻流進行本地存儲同時按需上傳到云端，而所有的緊湊特征流同步實時同步到云端，從而既能夠保證高效的存儲，又能夠便捷地支撐大數據查詢分析，與此同時支持在端-邊-云之間進行面向智能視頻編碼和特征分析的深度學習模型自適應遷移、壓縮、更新與轉換。
簡而言之，數字視網膜就是這樣一種包含視頻編碼流、特征編碼流和模型更新流的可伸縮端邊云協同視覺計算架構。
2013年，數字視網膜的提出者高文院士就已經對數字視網膜有了模糊的概念，他在接受人民網的一次采訪時表示現代城市中攝像頭存在痛點問題，雖然布局規模廣泛且密集，但遇到重大案件時，難以發揮出真正的作用。
直到2017年的安博會，“數字視網膜”這一概念才正式誕生。
高文院士認為，數字視網膜包含三個核心技術：
基于背景模型的場景視頻編碼。現有監控攝像頭采用的視頻編碼技術標準對監控視頻編碼效率不高，因為這些標準主要是針對廣播電視視頻制定的。在監控場景下，大多數攝像頭是固定的，背景相對不變，因而如能夠利用背景預測，消除相應的冗余信息，那么編碼效率將大大提高。
視頻特征的緊湊表達。視覺表征是圖像視頻分析處理的基礎，如果在攝像頭端利用人工設計特征與深度學習特征自適應融合技術提取幀內幀間視覺緊湊表示，然后傳送到云端，就能大大提高搜索效率。他們曾實驗表明平均每幀僅需100bit，可達到與未經壓縮特征相當甚至更高的檢索性能。
視頻編碼與特征編碼的聯合優化。上述兩種數據信息并不是相互獨立的，而是相互關聯，可互為指導的，因此數字視網膜在同時輸出壓縮視頻流和緊湊特征流時，可以根據碼流的大小，設計聯合優化函數來計算如何分配各自的碼率，從而在保持分析檢索性能的情況下，進一步達到壓縮需求。
此外，數字視網膜還有三個特點，分別為高性能、高效率和可伸縮。
智慧安防外，數字視網膜開辟新疆土
理論而言數字視網膜優勢眾多且有一定的核心技術作支撐，那么發展三年，這一概念的實際應用落地情況表現如何？
智慧安防和智慧交通是數字視網膜應用最為廣泛的行業，如今除了這兩大領域，數字視網膜也有在其他不太被大眾所熟知的領域發力，例如智慧安監、智慧市場、智慧燈桿和高點大場景等。
據北大信息技術高等研究院院長顧問、浙江智慧視頻安防創新中心有限公司董事長杜軍在此次論壇上的介紹，浙江智慧視頻安防創新中心將數字視網膜應用在安全生產上，目前重慶培丁區多家試驗企業都已經正式上線運行了基于數字視網膜的安全監測系統。檢測內容包括安全帽佩戴監測、人員離崗監測和消防通道監測。
在智慧市場領域，浙江9個地市區48家農貿市場已經上線運行數字視網膜，包括口罩佩戴監測、人群密度監測、質檢員監測等等。這些監測在疫情期間發揮的作用重大。
“如果不用數字視網膜，視頻傳輸存儲量會非常大，數字視網膜是高效分析的智能系統，這是我們選擇使用數字視網膜的原因。”杜軍在演講時說道。
北大信息技術高等研究院院長顧問、浙江智慧視頻安防創新中心有限公司董事長杜軍
智慧燈桿方面，目前也已經在應用數字視網膜解決環境問題。
另外，海信將數字視網膜技術應用到交通及公安行業。
海信公共安全事業部本部總經理劉微博士表示，海信網絡在實踐形成了突出雙向交互、獨立智能體的理念，對于客戶來說，由被動監控轉變為主動服務，由事后查看轉變為事中處置；實現能看、能聽、會說話，及時發現、現場即時反饋應用，同時，創新性配置低功耗藍牙模塊，可與手機端數據交互，配合實現身份確認、主動服務等。
以高點監控方案為例，可以解決視野窄、目標跟蹤難等問題，實現道路擁堵、路口排隊、出口道溢出、異常停車4類事件預警。
在交通事故檢測與處警中，視網膜應用適用于城市交通、高速公路兩大類交通場景，覆蓋日間全時段及晴、陰、雨、雪、霧5類天氣情況；以及包括車車事故、單車肇事、機非事故、機動車行人事故、高速事故5類事故檢測，預警準確率達90%以上。
此外，基于數字視網膜，搭配對應的檢測算法，還能對如吸煙、打電話、煙火偵測、人員離崗等多種異常行為經常檢測，實時有效報警并加以勸阻制止。
數字視網膜推進的這3年里，已經突破智慧安防和智慧交通的行業限制，在其他更加細分小眾的領域陸續落地，為城市中更多的“眼睛”更新升級。
高文院士表示，數字視網膜的推進已有3年時間，目前理論框架已較為清晰，但在應用中，仍需完善和演進。目前，數字視網膜已開始導入云端，在人、車、物的檢測應用中，擁有更豐富的場景訓練，有助于增強平臺系統的實戰能力，未來，多模態版本將會覆蓋視頻、聲音等感知數據，同時也將提升數據感知的密集度。
高文院士同時表示，數字視網膜創新應用仍處于初始階段，需行業同仁加強合作、加大創新力度，共同推進數字視網膜向更高層次演進，以更高起點實現技術落地，提升行業賦能價值。（雷峰網(公眾號：雷峰網)）
相關文章：
數字視網膜、自定義計算···山東的這個燒腦AI大會“漲姿勢”
中國工程院院士高文：數字視網膜消除智能交通痛點 | 世界人工智能融合發展大會
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
