基于事件的视觉公司Prophesee展示了其视觉传感器在世界各地的一些有趣应用，涵盖生物技术、科学分析、机器人和空间技术。一个项目部分恢复了盲人的视力；另一个跟踪天空中的太空垃圾，无论是晚上还是白天。


预见该公司表示，目前有2200名发明家在使用其技术。这些项目是Prophesee发明家社区的一部分，旨在激发未来的创造力。以下是详细信息。


恢复视力


Gensight Biologics已经部分恢复了一名晚期视网膜色素变性患者的视觉功能。该治疗使用配备了基于Prophesee事件的视觉传感器的特殊护目镜。


作为治疗的一部分，患者的视网膜接受了来自藻类的光敏蛋白治疗，藻类使视网膜细胞对琥珀色光（590nm）敏感。Prophesee视觉传感器是一副护目镜的一部分，它将视觉信号转换为高强度的琥珀色光，照射到患者的眼睛中。在使用护目镜七个月后，患者（以前完全失明）的视力足够好，可以检测到街道上标记的人行横道。他能够辨认出面前桌子上的笔记本（92%的时间）和铅笔盒（36%的时间）。他能抓住物体数数。


<img data-lazy-fallback="1" decoding="async" src="https://uploads.9icnet.com/images/aritcle/20230418/GenSight.jpg" alt="" width="952" height="680">

Gensight Biologics已将Prophesee传感器集成到护目镜中，将世界图像转换为琥珀色光。患者视网膜上经过修饰的细胞能够检测到这种光线并对其进行感知。（来源：Gensight生物制品公司/预见)

患者通过Prophesee传感器看到形状的边缘，该传感器提供了快速平滑的视觉体验，对照明条件具有鲁棒性。传感器生成稀疏数据；没有花费时间对图像进行重新编码。


这项与巴塞尔大学UPMC合作进行的研究结果发表在《自然医学》杂志上。虽然这项工作只涉及一名患者，而且是初步的，但它应该被视为应用这项技术和治疗神经退行性疾病等患者的重要结果。


细胞疗法


英国剑桥咨询公司一直在将Prophesee传感器用于细胞治疗的医学成像系统。细胞疗法在治疗癌症、自身免疫性疾病和神经疾病方面具有潜力，其应用是通过对患者自身细胞进行重新编程。制造重新编程的细胞是一个费力的手动过程，单剂平均成本为47.5万美元。


<img data-lazy-fallback="1" decoding="async" loading="lazy" src="https://uploads.9icnet.com/images/aritcle/20230418/CamConsultantsDiagram.jpg" alt="" width="1296" height="718">

剑桥咨询公司的PureSentry系统使用基于Prophesee事件的摄像头来寻找医疗样本中的污染物。（来源：剑桥咨询公司)

过程中的一个关键步骤是检查样品是否无菌。这可能需要7-14天的潜伏期，而患者正在等待治疗。如果检测到污染物，则必须采集新的样本，并重新开始潜伏期。剑桥咨询公司使用Prophesee的图像传感器在细胞水平上观察样本，并使用人工智能模型实时检测、跟踪和分类污染物（<18ms，而7-14天）。


<img data-lazy-fallback="1" decoding="async" loading="lazy" src="https://uploads.9icnet.com/images/aritcle/20230418/CamConsultantsEcoli-1.jpg" alt="" width="749" height="355">

PureSentry使用Prophesee传感器与人工智能相结合，根据大小、形状和运动来识别污染物（在本例中为大肠杆菌）。（来源：剑桥咨询公司)

剑桥咨询公司开发的PureSentry系统可以比其他技术更精确地跟踪人体细胞和污染物。该公司展示了一段视频，视频中根据大肠杆菌的大小、形状和特征运动在样本中检测到大肠杆菌。它在更困难的条件下工作，如低光照和高流速，是一种无损检测。该设备可以帮助提高细胞治疗过程的自动化程度；不需要高技能的技术人员。


跟踪粒子


来自格拉斯哥大学、赫里奥特-瓦特大学和斯特拉斯克莱德大学的一个团队一直在使用Prophesee的图像传感器进行高速粒子检测和跟踪。其目的是使微流体分析更快、更便宜。


该团队成功地以1.54 m/s的流体速度对低至1µm的颗粒进行了剖面分析，并以相当于每秒20000张图像的时间分辨率捕获数据。他们的设置使用了基于Prophesee事件的视觉传感器，带有标准荧光显微镜和照明。


<img data-lazy-fallback="1" decoding="async" loading="lazy" src="https://uploads.9icnet.com/images/aritcle/20230418/Microfluidics.jpg" alt="" width="1767" height="836">

苏格兰团队用于微流体分析的光学装置（A）和基于Prophesee事件的视觉传感器（B）。设置使用螺旋通道，并标记感兴趣区域（ROI）（来源：预见)

机器人触摸


新加坡国立大学的研究人员正在将基于事件的视觉与一种新的触摸传感器技术相结合，为机器人手臂和手建立触觉。


研究人员开发的触摸传感器NeuTouch是一个由39个传感器组成的阵列，安装在机器人指尖上。该传感器产生“尖峰”信号，类似于Prophesee传感器，可以由神经形态处理器处理（具体而言，英特尔Loihi).


<img data-lazy-fallback="1" decoding="async" loading="lazy" src="https://uploads.9icnet.com/images/aritcle/20230418/NeuTouch.png" alt="" width="1267" height="926">

新加坡国立大学的NeuTouch传感器尺寸与人类手指相当（a），由类似骨骼和皮肤的部分组成（B），包含39个触觉像素或“触觉”（C）。（来源：新加坡国立大学/预见)

这项工作很重要，因为它展示了一种同时从多个传感器（触摸传感器和预测传感器）的数据中集成和提取意义的方法，这种方法适用于功率受限系统中的复杂任务。


机器人被训练来拾取装有不同数量液体的容器；它能够确定液体是什么以及它的重量。重量信息来自视觉传感器，因为每个容器在被拿起时都会变形。


<img data-lazy-fallback="1" decoding="async" src="https://uploads.9icnet.com/images/aritcle/20230418/NationalUniversitySingaporeTeam.jpg?w=768" alt="">

新加坡国立大学团队及其机器人（来源：新加坡国立大学/预见)

机器人通过“滑动测试”进行了测试，即确定牢牢抓住物体所需的最小压力。触摸和视觉传感的结合意味着该系统可以非常快速地检测到滑动，比人类触摸快1000倍，在0.08秒内检测到旋转滑动。


研究人员希望这项技术可以用于工业机器人，甚至可以恢复假手的触觉。


阅读EE时间关于这项令人兴奋的技术的报道在这里.


空间碎片


西悉尼大学开发了Astrosite，这是一个移动天文台，使用Prophesee技术与望远镜相结合来跟踪绕地球轨道上的空间碎片。


<img data-lazy-fallback="1" decoding="async" src="https://uploads.9icnet.com/images/aritcle/20230418/Astrosite.jpg">

准备部署的天文站点望远镜天文台（资料来源：西悉尼大学)


轨道上卫星数量的不断增加意味着与其他物体相撞的风险正在增加；太空中大约有4850颗卫星，但只有大约40%是活跃的。监测死亡卫星和其他碎片通常使用高分辨率相机，这对于在白天拍摄图像来说并不理想。它们还捕获了大部分空闲空间，导致大量不必要的数据被处理。


基于事件的传感是一个很好的解决方案，因为它可以捕捉视野变化的数据。Astrosite使用基于Prophesee事件的传感器生成的数据比传统的摄像系统少10到1000倍。它还可以在低功率下以微秒的时间分辨率连续监测碎片（白天和晚上）。


<img data-lazy-fallback="1" decoding="async" src="https://uploads.9icnet.com/images/aritcle/20230418/Astrosite-debris.jpg?w=768" alt="">

Astrosite设置中基于事件的相机跟踪的近地轨道上的物体（来源：西悉尼大学/预见)



>>这篇文章最初发表在我们的姐妹网站上，EE时代欧洲.