基于事件的视觉传感器-“Metavison”-承诺令人印象深刻的规格

随着计算机视觉应用获得越来越多的发展势头，公司不断投资于改进技术的新方法。与此同时，随着纯成像技术的提高，电源效率和数据管理成为硬件层面的重大挑战。

 

计算机视觉框图示例。图片由Cojbasic等人提供

 

针对这一挑战提出的一个解决方案是放弃传统的成像技术，转而采用基于事件的视觉。为了利用这类技术，本周，PROPHESEE与iCatch合作发布了一款新的基于事件的视觉传感器，该传感器拥有一些令人印象深刻的规格。

本文将讨论基于事件的愿景的概念，它提供的好处，并剖析PROPHESE的最新产品。

 

传统视野中的挑战

成像系统的一个重大挑战是，随着成像系统在传统上变得更好，它们往往会给硬件带来更大的压力。值得注意的是，随着分辨率和视野的提高，相机产生的原始数据量也会增加。

虽然这在成像质量方面可能是一件积极的事情，但它给支持硬件带来了大量挑战。

 

一种通用图像传感器的示例框图。图片由微软和LiKamWa等人提供

 

这种数据流量的增加可能会给计算资源带来更大的负担，而计算资源现在需要能够以更快的速度处理更多的数据，以保持实时运行。除此之外，传统的成像系统通过将相同的帧速率应用于场景中的所有对象来工作。结果是，移动对象最终可能会被采样不足，场景中的重要数据最终可能会丢失。

当应用于机器学习时，这种数据流量的增加意味着完成任务所需的延迟和功耗更高。同时，正在处理的许多数据甚至可能不是场景中的基本信息，这进一步增加了系统的浪费能量和延迟。

当与对低功率、低延迟系统的日益增长的需求相结合时，这些问题变得更加令人担忧。

 

具有基于事件的愿景的解决方案？

为了缓解这些问题，一个有希望的解决方案是基于事件的愿景。

 

基于事件的视觉（右）旨在去除传统视觉（左）系统中的冗余信息。图片由PROPHESEE提供

 

基于事件的视觉概念拒绝了传统的基于帧的成像方法，即每个像素都会报告它在任何时候看到的一切。

相反，基于事件的感知依赖于每个像素，只有当它感知到视野的显著变化时，才能报告它所看到的东西。通过仅在事件发生时产生数据，基于事件的传感显著减少了成像系统创建的原始数据量，同时还确保产生的数据充满有用的信息。

总的来说，传感技术的直接结果是机器学习算法必须处理更少的数据，这意味着总体上功耗更低，延迟更低。

 

元视觉传感器

本周，PROPHESEE与iCatch合作，宣布发布其全新的基于事件的成像传感器。

被称为“元视觉传感器”的新IC利用了专门的像素，这些像素只对视野的变化做出反应，在被事件触发时独立激活。虽然不是一项全新的技术，但PROPHESEE声称Metavision是世界上第一款采用行业标准封装的基于事件的视觉传感器，采用13 x 15毫米迷你PGBA封装。

 

新的Metavision传感器。图片由PROPHESEE提供

 

从硬件角度来看，新传感器似乎非常令人印象深刻，提供了>10k fps的等效时间分辨率、>120dB的动态范围和3nW/事件功耗等规格。

从计算的角度来看，Metavision承诺比基于帧速率的解决方案少10到1000倍的数据，吞吐量>1000 obj/s，运动周期不规则检测率为1%。

 

推动更多基于事件的愿景

借助Metavision，PROPHESEE和iCatch似乎为行业标准格式带来了一项令人兴奋且有前景的新技术，使世界各地的工程师更容易使用它。

正因为如此，这些公司希望基于事件的愿景能够开始渗透到行业中，并带来其好处。