如果驾驶员能听到警笛声，为什么自动驾驶汽车不能做到这一点？

在严重交通事故等紧急情况下，每一秒都很重要，足够宽的救援车道可以决定生死。如果驾驶员能听到警笛声，为什么自动驾驶汽车不能做到这一点？总部位于埃及开罗的Avelabs开发了一种传感器解决方案，为车辆提供听觉，以补充视觉并改进自动驾驶系统。


Ambulance

Avelabs产品管理总监Amr Abdelsabour在今年布鲁塞尔AutoSens的一次小组会议上表示：“在评估环境时，愿景是我们最重要的感觉。”。“然而，作为人类司机，我们不仅仅依赖于视觉。当我们开车时，我们也依赖于我们的听力。有很多信息我们能听到，但看不见，就像后面传来的警笛一样。或者，如果我们开车进入一个盲路口，一辆车来了，我们真的看不到，但我们能听到。”


在AutoSens，Avelabs推出了AutoHears，这是一种声学传感系统，可以检测、分类和定位声音，以帮助了解车辆的复杂环境。AutoHears包括硬件、机械外壳和运行传感功能的软件，旨在执行紧急车辆、遮蔽区域、自然灾害（如岩石滑坡）和安全事件（如附近的碰撞、枪击、爆炸）检测，以及车辆自我诊断和语音识别。


在与的后续讨论中EE时代欧洲，Abdelsabour解释了如何给车辆带来听觉，软件和硬件如何相互依赖，数据融合过程在哪里以及如何进行，以及我们何时可以期待AutoHears上路？


欧洲EE时报：你能描述一下AutoHears能检测到和不能检测到的声音类型吗？


阿姆尔·阿卜杜勒萨布尔：我们从行驶的车辆声音（例如轮胎、发动机、制动器和空气动力学声音），以及世界各地不同标准的喇叭和警报器开始。到目前为止，这些类已经过测试和演示。我们目前正在添加新的类，如自然灾害和碰撞检测，但它们仍处于功能开发阶段。功能开发的路线图正在构建中。


欧洲EE时报：AutoHears可以从各个角度检测声音。身体上有什么限制吗？


阿卜杜勒萨布尔：AutoHears可以检测来自各个角度的声音，不仅如此，还可以检测来自墙后和其他障碍物的声音。当然也有身体上的限制。声音测量是一个相对传感过程，其中声音是相对于其环境进行传感的。这意味着，如果环境安静，AutoHears将能够检测到微弱的声音，如自行车甚至脚步声。然而，如果环境嘈杂，AutoHears只能检测到最重要的声音。因此，例如，如果附近有一个响亮的警报器，我们将无法检测到其他车辆的汽车声音，因为响亮的声音会掩盖安静的声音。尽管如此，我们正在努力找出我们在客观数量上的确切物理限制，以便能够为我们的客户提供可靠的限制。


欧洲EE时报：声音的分类如何？


阿卜杜勒萨布尔：声音的分类是一个复杂的过程，尤其是当涉及到非标准化的声音时。如果我们谈论的是标准化的声音，如警笛声，分类过程变得简单明了，可以使用基于模型的算法来完成。然而，行驶中的车辆检测是一个更复杂的过程，因为它是由不同物理成分组成的声音的非标准组合，产生了我们的耳朵或传感器听到的最终声音。这就是各种人工智能方法发挥作用的地方，能够通过收集的数据基于机器学习对声音进行分类，并根据所学知识对声音进行检测和分类。我们很自豪地说，在AutoHears中，我们部署了基于模型的算法和机器学习的组合，根据要检测的目标声音对声音进行分类。


欧洲EE时报：音频数据如何与嵌入汽车的摄像头或其他传感器的图像数据融合？


阿卜杜勒萨布尔：就像人类驾驶员的情况一样，声音是视觉的补充。这就是我们对AutoHears的看法，我们也相应地开发了它。因为我们主要关注声学传感部分，所以我们正在提供原始声学传感信息，这些信息可以与相机和雷达等其他传感器融合，以对物体进行分类和定位，从而利用每个单独传感器的优势并克服其弱点。因此，例如，将雷达、摄像头和AutoHears相结合，可以对盲点中的车辆进行以下检测：雷达可以检测障碍物并准确估计其距离（因为雷达在这方面非常可靠），摄像头会对该物体进行分类（如果有摄像头在观察目标车辆所在的方向），AutoHears将通过自己对该车辆的分类和定位来确认检测结果，并在该车辆发出任何声音（如按喇叭或发出警报）时添加信息。所有传感器的组合使传感器融合成为以最佳方式对周围环境进行的高度决定性的重建。


EE时代欧洲：你为什么决定建立一个完整的系统？为什么必须解决所有软件和硬件方面的问题？


阿姆尔·阿卜杜勒萨布尔，Avelabs公司

阿卜杜勒萨布尔：AutoHears作为一种传感系统是同类检测系统中最早的一种，即声学检测系统。由于Avelabs是一家软件公司，我们最初希望从软件的角度只关注传感功能，而不关注硬件部分。然而，如果没有感测硬件，就不可能有感测功能。传感硬件是传感功能的主要推动者，因为传感器并不像在车辆中放置麦克风那样简单，而是必须仔细设计硬件，以实现对周围环境的准确定位。为了定位物体，定位算法依赖于物理因素，如到达的声音时间差，只有当硬件设计为能够检测到这一点时，才能检测到。这涉及到几个硬件因素，如麦克风的数量、它们之间的距离以及它们在车辆上的位置。所有这些硬件要求迫使我们自己设计和构建硬件，以实现我们提供的声学传感功能。简单地说，没有一家公司为车辆提供外部声学检测硬件，这就是为什么我们必须自己开发它。


欧洲EE时报：你能给我一些关于声学传感器本身的细节吗？在运行算法的CPU上呢？


阿卜杜勒萨布尔：在传感器和处理器系统方面，我们已经决定采用集中式架构。这一决定是为了顺应所有汽车公司目前的趋势，即依赖于检测原始数据的传感器（摄像头、雷达等）。然后将原始数据发送到集中式域控制器，在那里进行传感器融合。这就是为什么我们将声学传感器构建为原始数据传感器，检测所有声学信息，并将其发送到传感算法运行的集中式域控制器。正如你所知，我们自己设计了声学传感器，但我们使用现成的汽车域控制器，如Xilinx FPGA和TI ADAS TDA SoC作为运行我们算法的CPU。但是，由于每个客户都使用自己的域控制器，因此我们仅将这些处理器用作参考硬件。由于我们可以简单地部署在任何类型的域控制器上，只要进行必要的自定义。


欧洲EE时报：你为什么说AutoHears“依赖硬件”？


阿卜杜勒萨布尔：AutoHears作为传感器和传感算法具有通用组件和硬件特定组件，这取决于客户所需的功能和客户使用的处理控制器。因此，例如，如果客户只想要声音事件的方向（没有到发出声音的物体的距离），那么只需要使用一个传感器。但是，如果客户也想检测物体的距离，则有必要使用多个传感器来对物体的距离进行三角测量。例如，这是一个依赖于硬件的功能。


关于硬件依赖性的另一方面是用于处理感测特征的域控制器。我们的功能的性能取决于运行它们的处理器及其功能。硬件的性能和处理要求之间存在权衡。因此，例如，如果我们希望AutoHears以一度的分辨率进行检测，这将需要更多的处理资源。如果我们降低了期望的性能，那么处理要求也会降低。此外，每个新硬件都将为微控制器抽象层提供一些特定于硬件的定制，例如AutoHears传感器驱动程序，这些驱动程序将被实现到客户的基本软件环境中。


EE时代欧洲：就发展而言，你在哪里？您计划什么时候在公共道路上测试AutoHears？您预计AutoHears何时投产？


阿卜杜勒萨布尔：在产品开发阶段可以考虑使用AutoHears。我们已经从技术和财务角度证明了这一概念，进行了演示和测试以证明其可行性，目前我们正在进行“产品化”开发。这包括公共道路验证以及获得汽车认证。这是我们从产品开发到商业化所需要的两个步骤。这些都是在准备生产之前需要采取的必要步骤。


EE时代欧洲：您是否有早期客户测试该解决方案？


阿卜杜勒萨布尔：尽管我们今年9月开始在AutoSens上发布该产品，但我们已经在与客户讨论测试该解决方案的问题。当我们试图向汽车市场推出新产品时，我们希望依靠我们的客户和合作伙伴来了解更多关于市场期望和要求的信息，并将我们的传感器集成到数据采集车队中，以收集更多数据用于培训和验证。