機器是怎麼「看」世界的？

透過一格格的影像。

傳統的圖像感測器會透過每秒捕獲多張靜止圖像來記錄場景運動。

如果將這一系列圖像通過足夠快的速度連續展示，人類視覺就能產生「這是連續運動」的錯覺。

但對於電腦來說，無論是多快的速率，影格與影格之間總會遺失某些運動訊息。

那麼，有沒有辦法讓機器連續地「看」到運動場景或事件呢？

今天就來看看普諾飛思（Prophesee）公司的「神經擬態機器眼」解決方案。

來自人眼的啟發

要了解這個「機器眼」，首先得看看它模仿的源頭：

人眼。

我們是如何透過人眼來看世界的呢？

當眼睛中的視覺細胞感測到場景變化——即發生了某個事件時，它就會將相關訊息通過視神經傳到大腦皮層。而收集到的數據也是持續的，是以事件為基礎的。

因此，普諾飛思的研究者們以人眼為啟發，提出了基於事件的視覺感知技術。

和傳統圖像感測器不同，在基於這種技術的感測器中，每個像素都是非同步且獨立的。

因此，圖像訊息並不是逐格發送，而是透過連續的訊息流捕獲事件運動：

而如果從事件的角度來考慮，靜止和場景並不會帶來新的訊息。

因此，這種技術也就不關注完全靜止的場景：

只有場景中發生某個事件，產生了變化時，感測器才會產生輸出：

如果是以影格為單位來獲取這種圖像訊息的變化，那得一張一張固定頻率發送，然後一個像素一個像素的比較。

而現在，只關注動態變化，也就剔除了很多多餘訊息，減少了處理數據量。

這不僅加快了處理速度，也意味著對算力要求的減弱，成本也就隨之降低。

普諾飛思的CEO兼創辦人Luca Verre對此表示：

這是來自自然界的完美的解決方案。

現在，普諾飛思已將這種基於事件的視覺技術整合到已有系統中，生產了世界上首個基於事件的視覺感測器。

並且隨著更新換代，感測器的性能越來越好，尺寸也越來越小了。

更清晰的拍照，更準確的駕駛

更小，也就意味著離我們的日常生活更近。

例如手機拍攝。

如果在按下快門的幾毫秒內被拍對象恰好發生了移動，那麼圖像的一個點就會變成一條線。

這也就是我們在拍攝很多動態物體時常常產生模糊的原因。

但現在用基於事件的視覺技術，就能夠在按快門的這段時間內一直觀測這一點的移動，知道它的移動軌跡，再將這條線恢復成點。

可以看到，採用基於事件的視覺技術的右圖明顯比左圖要清晰很多。

此外，這一技術也能提供更大的動態範圍，讓每一個像素都能按照不同的曝光值來曝光。

這樣，即使在非常嚴苛的光線情景（如室內或夜景）下，拍攝圖像也不會得到很大的損失。

然後就是提供更精準的座艙監控技術。

可以看到，這一監控能夠追蹤駕駛的目光方向。

不僅如此，連眨眼速度也能監控，這可是傳統的監控解決方案做不到的。

這就是普諾飛思聯合Xperi開發的全球首個基於神經擬態視覺系統的駕駛監控解決方案。

▲ 基於事件的進階駕駛輔助系統，增強了現有的雷達、光達和攝影鏡頭系統，能夠更快速、準確地理解周圍的環境。

▲ 透過細胞即時無菌檢測實現的下一代細胞療法，用於減少醫療製品的生產成本：

▲ 也有失明患者藉助將基因療法、光刺激醫療設備、以及普諾飛思感測器結合起來的光遺傳療法恢復了部分視力。

除此之外，工業上也有這種感測器的應用：

例如對於一些不能直接接觸的大型機械（如高壓環境）可以做非接觸性的振動檢測。

在焊接上也可以做到引導和質檢。

普諾飛思（Prophesee）是一個7年前在巴黎創立的公司。

▲ prophesee官網這家科技公司致力於神經擬態視覺系統的研發，其基於事件的視覺感測器已應用在攝影、自動駕駛、工業自動化、醫療等多個領域。

公司CEO兼聯合創辦人Luca Verre擁有米蘭理工大學和巴黎中央理工學院的物理學、電子和工業工程雙碩士學位。

還曾任豐田汽車公司和Altis半導體公司的工程師。