事件導向CMOS圖像傳感器将用于激光雷達

在快速發展的工(gōng)廠自動化、物(wù)聯網和自動駕駛車(chē)輛市場上，CMOS圖像傳感器似乎扮演的角色不再是人類消費(fèi)品，而是讓機器獲取數據并讓其理解世界的傳感器。

法國著名市場研究和技術分(fēn)析機構Yole的MEMS ＆ 成像部活動負責人Pierre Cambou這樣評論道：“CMOS圖像傳感器的傳感功能将逐漸超過本身的成像功能，”并大(dà)膽預測“到2030年，一(yī)半的CMOS圖像傳感器将服務于感知(zhī)領域。”

總部位于法國巴黎的Prophesee SA（原Chronocam）公司以革命領跑者自居。作爲先進的神經視覺系統設計公司，提出了一(yī)種基于事件的方法進行傳感和處理。Prophesee的仿生(shēng)視覺技術一(yī)直被認爲與傳統機器視覺有實質性的差異，處于危險的“超前期”。但Prophesee聯合創始人兼首席執行官Luca Verre告訴我(wǒ)(wǒ)們：“不久的将來，這種想法将被證實是錯誤的。”

Prophesee聯合創始人兼首席執行官Luca Verre

在與Luca Verre面對面采訪中(zhōng)，我(wǒ)(wǒ)們了解到Prophesee已獲得B＋輪融資(zī)（在過去(qù)三年中(zhōng)，Prophesee已募得4000萬美元的資(zī)金）。Prophesee已與一(yī)家大(dà)型消費(fèi)電(diàn)子公司（未透露具體(tǐ)名字）簽訂了合作協議。最重要的是，Prophesee正在積極地把神經視覺系統從通常的技術概念中(zhōng)跳出，變成開(kāi)發商(shāng)的參考系統。

Prophesee的第一(yī)款參考設計用在VGA分(fēn)辨率應用，由Prophesee提供基于異步時間的圖像傳感器（Asynchronous Time－Based Image Sensor，以下(xià)簡稱ATIS）芯片和軟件算法。ASIC将由以色列的代工(gōng)合作夥伴（我(wǒ)(wǒ)們猜測很有可能是Tower Jazz）制造。

Prophesee暫時不願提供ASIC和參考設計規範的詳細說明。計劃在未來幾周内會正式發布該産品。盡管如此，參考設計能爲系統設計者提供見證和經曆ATIS在數據傳感領域作用的機會，且已被事實證明，這家初創公司算得上完成了一(yī)個裏程碑。ATIS的特點是瞬時清晰度高、數據率低、動态範圍高、功耗低。

攝像頭 ＝ 瓶頸

機器視覺系統的制造者，不管是智能工(gōng)廠、物(wù)聯網，還是自動駕駛車(chē)輛都已經關注到基于事件的方法，這是由Prophesee的聯合創始人Ryad Benosman和Christoph Posch大(dà)力推行的。

可以捕捉傳統相機獲取的所有詳細視覺信息，Verre認爲“攝像頭成爲技術瓶頸”。毫無疑問，攝像頭是最強大(dà)的傳感裝置。然而，對于自動化系統、監控攝像機或高度自動化的車(chē)輛的視覺數據，攝像頭的處理速度可能會減慢(màn)。

但談及自動駕駛，Verre認爲車(chē)輛内部的中(zhōng)央處理系統被來自攝像頭、激光雷達、雷達及其它視覺來源的數據所“轟炸”。管理這類過載的關鍵是如何最好地減少來自傳感器的原始數據量。傳感器隻能捕捉數據，會帶來額外(wài)的無用視覺信息。

Prophesee曾向采訪記者解釋說，Prophesee的事件導向（event－driven）視覺傳感器的靈感來自生(shēng)物(wù)學。這種看法源于聯合創始人對人類眼睛和大(dà)腦工(gōng)作的研究。Prophesee的創始人之一(yī)Ryad Benosman告訴我(wǒ)(wǒ)們，人類的眼睛和大(dà)腦“不會基于一(yī)連串幀來記錄視覺信息”。生(shēng)物(wù)比你想象的更複雜(zá)，“人類會捕捉到時空變化裏感興趣的東西，并把這些信息有效地傳送到大(dà)腦”。這也是Prophesee的ATIS的主要作用。

總之，Prophesee的ATIS提供了基于框架的圖像傳感無法完成的一(yī)切功能。在另一(yī)個聯合創始人Christoph Posch看來，“基于幀的方法會導緻冗餘的記錄數據，從而引發高功耗。”他說，“這樣的後果是低效的數據率和膨脹的存儲量。基于幀的視頻(pín)，以每秒30幀或60幀甚至更高的速率運行，會導緻捕獲的圖像發生(shēng)畸變。”

用于激光雷達（LiDAR）的事件導向方法

Verre向我(wǒ)(wǒ)們透露Prophesee正在探索采用事件導向（event－driven）方法用于其它傳感器如激光雷達、雷達的可能性。Verre假設：“如果我(wǒ)(wǒ)們可以引導激光雷達隻捕捉到其相關和必須的數據，會不會很吸引人？”如果能做到這一(yī)點，不僅可以加快數據采集，還可以減少需要處理的數據量。

Phrophesee目前正在評估這個想法，Verre說公司在得到結論前需要幾個月時間評估。但他補充說：“我(wǒ)(wǒ)們很有信心，我(wǒ)(wǒ)們能成功”。當被我(wǒ)(wǒ)們問及拓展事件導向方法到其它傳感器的新思路時，Yole的分(fēn)析師Cambou認爲“基于事件的攝像頭與激光雷達的優勢結合（提供‘Z’信息），是一(yī)件非常有趣的事情。”

需要指出的是，傳統激光雷達的問題是與典型的高端工(gōng)業相機相比分(fēn)辨率較低，受限于分(fēn)辨率。Cambou認爲事件導向的方法可以改善激光雷達性能，尤其是在事件快速接近，如行人突然出現在自動駕駛車(chē)輛前面時。缺點是激光雷達硬件必須做相應的改變，顯然，對Phrophesee來說，需要一(yī)家激光雷達企業的強有力的支持，來促成這種新方法。

Cambou說，“當然，這始終是技術型初創企業面臨的問題。”他指出，Mobileye需要如沃爾沃和特斯拉這類領先汽車(chē)廠商(shāng)（在技術将成爲主流，需要越來越被廣泛地被接受）；Movidius（已被英特爾收購），需要道瓊斯指數爲成功鋪平道路。“Prophesee将需要一(yī)個強有力的合作夥伴來促進解決方案被大(dà)量采用。”Cambou說。

Cambou補充道：“考慮到機器人汽車(chē)領域的市場驅動因素（安全第一(yī)，技術驅動，非成本第一(yī)），這應該是可能的。”雖然Cambou表達了他對巨頭（如谷歌）依靠技術型初創公司的擔憂，他也表示這麽小(xiǎo)的市場用量不會帶來太大(dà)的麻煩。