驾驶员监控系统的传感器是否过度设计？

随着驾驶者越来越容易分心、困倦和受损，驾驶员监控系统（DMS）被认为是预防事故的关键。但我们是否过度设计了这些系统核心的传感器？使用一种新的传感器建模工具和深度神经网络（DNN）进行的仿真表明，我们在很多方面都是可行的。这意味着汽车传感器行业有机会在不牺牲关键性能的情况下大幅降低DMS功率和成本。

时间至关重要。截至2024年，在欧盟范围内销售的所有新车都必须配备DMS。同时，占用监控和视频会议等其他功能必须集成在同一个摄像头系统中。

DMS设计从传感器层面开始。当前的传感器作物设计具有完整的功能，因此它们可以在各种操作和照明条件下拍摄非常“漂亮的照片”。但我们需要漂亮的照片吗？或者我们是在做工程上的工作，相当于用消防水管灭火？

DMS必须检测面部特征，如嘴巴、鼻子和眼睛，以确定驾驶员的警觉性（图1）。我们能否简化传感器的设计，使其即使在恶劣的环境条件下也能清晰地捕获相关信息，并优化这些功能的功率性能区域（PPA）预算，同时降低成本？

单击以查看全尺寸图像

图1:DMS必须检测面部特征，如嘴巴、鼻子和眼睛，以确定驾驶员的警觉性。资料来源：OmniVision公司

在OmniVision，我们开发了一个内部使用的模拟工具，以研究如何优化其他应用的传感器PPA。然后，我们与一些客户分享了它，看看它是否也可以用于DMS传感器。初步测试表明，优化潜力巨大。

当足够好就足够了

我们希望使用我们的工具来帮助确定最适用的DMS规范，并提出我们可以制造的最简化的图像传感器，该传感器仍然可以工作。最简单的图像传感器？没错。我们不想过度设计，这会增加成本和能耗。我们希望为DMS制造正确的产品：首先要知道什么是“刚刚好”，然后从中磨练它。

DMS系统使用940nm红外（IR）照明在短而高功率的脉冲中巧妙地照亮驾驶员的面部。这需要全局快门（GS）成像器，而不是手机中的滚动快门。然而，DMS GS规范的模板仍然主要针对拍摄“漂亮照片”的目标。

虽然DMS系统当然可以使用过度设计的传感器进行操作，但随着像素的缩小、成本和性能要求的发展，或者需要添加新功能，DMS系统需要更多定制的、特定于应用程序的解决方案。

是否为关键规格？

在DMS传感器中，关键的GS规格是噪声性能、快门效率、模拟/数字转换（ADC）、高动态范围和暗电流。我们的经验和用户反馈表明，虽然这些规范很重要，但对于DMS来说，它们与它们起源的工业视觉应用程序不同。

例如，低光对DMS来说不是一个主要问题。更重要的是设计对阳光的免疫性，因为它可以遮蔽940nm的红外脉冲。此外，ADC分辨率对DMS的重要性不如对工业视觉应用的重要性。了解不同的DMS需求为我们提供了优化的机会。

为什么最糟糕？

今天，导出传感器优化规范的流程是拍照并优化算法，如图2的顶行所示。相机捕捉场景的图像，然后处理场景。接下来，计算注视方向的自适应光学（AO）精度的关键性能指标（KPI），并将信息反馈给算法开发。

单击以查看全尺寸图像

图2：这是通过闭环仿真得出传感器规格的视图。来源：OmniVision

探索过度设计的一种方法是建立一个传感器性能更差的传感器，看看它是否足够好。但这显然不是小事。相反，我们希望发展到这样一种状态，即我们可以引入新的传感器特性，而不需要传感器硅.

我们的建议是在闭环中添加模拟。我们仍将使用相同的相机拍摄相同的图像。但现在通过模拟，我们将通过使这些图像更糟来测试我们的传感器。

OmniVision的传感器模拟工具虽然是为更广泛的用途而开发的，但可以达到这一目的。该工具涵盖了从基本场景生成到图像处理的所有方面。场景生成后，在传感器表面上创建光学图像，对电光性能进行建模，并对输出图像进行图像处理。

电光模型还可用于截取和后处理捕获的图像。这使我们可以通过模拟降低图像质量。通过模拟滤色器阵列（CFA）和量子效率（QE）性能，并引入任何像素架构和性能，我们可以将光信号转换为电信号。然后可以以任何适当的增益处理电信号，同时引入响应和暗电平不均匀性。这里，我们可以引入时间噪声、暗电流和闪烁噪声以及像素串扰。

从广义上讲，我们可以在开发新像素概念的过程中使用模拟工具。它使我们能够对任何类型的像素架构或性能特性进行“假设”分析，并评估其对系统性能的影响。

尝试一下

我们将我们的传感器模拟工具用于一项实验，该实验使用了受人眼模型启发的眼睛跟踪神经网络。目的是确定视线方向检测的准确性。虽然与实际DMS用例相比，条件得到了简化，但我们相信高级结论仍然适用。拟议的模型从眼睛的图像中提取瞳孔等典型特征，以创建分割图，因此每个卷积层的输入仅取决于前一层的输出和删除级联步骤以减少内存需求。这些简化使得网络能够以低成本实现。

作为参考出版物中介绍的工作的一部分，作者已经训练了神经网络。使用人眼的存量图像（上图3），我们使用这一经过训练的神经网络来获得“地面真相”，以便在我们的分析中进一步使用。

单击以查看全尺寸图像
图3：我们在8位规模上运行了7和10 DN的两个案例，这远远超出了任何传感器真正需要做的事情，我们引入了RN、Hnoise和VFPN以及所有组合。来源：OmniVision

接下来，我们使用我们的工具将不同噪声水平的随机传感器噪声添加到数据集（下图3）。这些退化的图像再次通过作者训练的网络运行，通过将这些图像与我们的地面实况进行比较，我们可以得出由于噪声而引入的误差。不出所料，表现不佳（图4）。凝视检测的准确率低于5%，并且分割常常完全失败。畸形的眼睛分割会产生错误，如果分割中根本没有瞳孔，则计算失败；这些情况下的误差被限制在20%。

单击以查看全尺寸图像

图4：视线方向的误差百分比超过5%，许多情况下分割期间瞳孔检测失败（20%误差）。来源：OmniVision

由于添加噪声导致网络故障，我们决定重新训练网络。我们再次将噪声添加到图像中，但随后我们在使用我们的传感器模拟工具创建的噪声图像上重新训练了神经网络，本质上教会了网络如何处理噪声图像。

在下一步中，我们再次将噪声添加到图像中，并通过新训练的网络运行它们。这一次，错误通常小于2%，分割失败非常罕见（图5）。带噪声的再训练确保了稳健的分割，并表明我们获得了准确的瞳孔位置。从那里，我们可以分解出不同类型噪声的性能。

单击以查看全尺寸图像

图5：当对噪声进行训练时，注视检测的误差大大提高（<2%），几乎没有任何分割失败。来源：OmniVision

这里展示的系统绝不是专业的DMS。我们使用的图像不能代表DMS用例中的挑战。然而，这项用非常初级的神经网络进行的实验表明，眼睛注视检测基本上对噪声的敏感性很低。虽然DNN很可能在有噪声的图像上失败，但训练网络的噪声可以非常有效地处理噪声。

这需要一个生态系统

我们的简单示例表明，今天的DMS传感器设计过度是合理的。然而，我们需要整个汽车行业的合作，以使用更先进和专业的眼动追踪算法构建可靠的系统模型，并考虑通常会降低精度的各种环境条件。我们的传感器模拟工具可以集成到神经网络培训或我们在整个行业的合作伙伴的人工算法开发流程中。根据他们的结果，我们可以确定“刚刚好”。这是使系统运行所绝对需要的优化性能。没有更多，但也没有更少。

我们开发的工具支持对神经网络或传统算法开发的闭环需求分析，并提供了一个框架来引入物理一致的噪声和其他非理想性，以模拟真实或合成图像。可以在系统模型中引入这些图像，以评估传感器噪声、QE和调制传递函数的影响。

有了这类数据，传感器行业可以在新的、更高效的设计中考虑“假设”情况。这为改进和优化系统性能以及构建更稳健的解决方案提供了机会。如果我们训练我们的网络，或者针对比通常在野外遇到的情况差得多的条件开发算法，那么在处理更好的条件时，它们也会更健壮。它们还将降低功率并降低成本。

然而，问题的复杂性要求整个设计供应链的参与者参与：从汽车制造商和一级供应商到算法供应商和传感器公司。通过分享结果并向供应链开放我们的传感器模拟工具的部分内容，我们希望激发这一开发链中不同参与者之间更广泛的合作。

-Tomas Geurts是OmniVision首席技术官办公室的高级主管。

注：作者特别感谢OmniVision的凯文·约翰逊和史蒂夫·王，他们对本文做出了贡献。

>>这篇文章最初发表在我们的姐妹网站上，电子数据网络.