在一个无触摸界面的世界里,手势识别获得了发展
在新冠肺炎后的世界中,无接触界面(尤其是手势识别)可能会激增许多商业和医疗空间。2022年5月5日Darshil Patel
近年来,研究机构和企业都对手势识别技术表示了极大的兴趣,以至于这项技术已经在许多应用中得到了应用,包括手语翻译、人机交互(HRI)和人机交互(HMI)。手势识别也是医学领域的一项资产,尤其是在假肢手控制器的设计方面。
手势识别旨在增强人机交互(HCI)。其目标是创建具有与现实世界对象协作的虚拟元素的虚拟环境。尽管研究人员在语音识别和面部识别技术方面取得了重大进展,但手势识别面临着挥之不去的障碍,因为这些系统必须在非标准背景下工作。他们还必须识别快速和多个动作以及最具挑战性的不一致的人类手势。
手势识别是一项困难的工作,因为现实世界的条件很少允许完全静止、光线充足的锥形条件。图片由Nexcode提供
然而,由于最近机器学习的进步,手势识别变得越来越准确。
手势识别是如何工作的?
手势识别系统由两个过程组成:获取和解释。采集系统将物理手势转换为数字数据。采集通常是基于传感器的。例如,许多采集系统依赖于肌电图(EMG)来捕捉肌肉运动的电信号。EMG数据可以通过位于皮肤上的电极来记录。依靠摄像头的基于视觉的系统也可以获取数据。
手势识别系统的描述。图像(修改)由神经科学前沿提供
将基于视觉的传感器和EMG测量相结合是很常见的。当相机被遮挡时,EMG结果可以使用,同时相机提供手状态的绝对测量。这种融合具有几个优点,例如提高了准确性和更鲁棒的手势识别。
然后,采集的数据传输到解释系统,可以说,该系统读取数据符号并做出决定。对于这项任务,卷积神经网络(CNNs)经常被使用,因为它们为使用大型数据集训练的网络提供了准确的分类。细胞神经网络可以部署在计算能力有限的平台上。现在有许多用于细胞神经网络的嵌入式处理器也可以用于视觉数据处理。
以下是公司和研究人员推动手势识别技术向前发展的几种方式。
使用应变传感器的手势识别
新加坡南洋理工大学的研究人员最近将融合方法用于他们的仿生手势识别系统。他们开发了一种人工智能(AI)系统,通过将可拉伸应变传感器与计算机视觉(CV)技术相结合进行数据采集,可以识别手势。
应变传感器由单壁碳纳米管制成,具有灵活性,可以很容易地粘附在皮肤上。研究人员通过仅用手势引导机器人穿过迷宫来测试他们的人工智能系统。即使在光线不佳的情况下,研究人员也能达到97%左右的识别准确率。
微软期待射频用于手势感应
微软的研究人员采用了一种不同的方法,通过射频传感器单元进行3D手势识别。该团队的射频传感器单元由一个两端口、半波长耦合的带通滤波器组成,上面有一个谐振器贴片。
在这种布置中,输入端口由频率在6–8 GHz范围内的正弦波激励。激励导致输入线和中间线之间的电容耦合,这反过来又导致中间线和输出端口之间的耦合。中间线有一半波长长,决定了操作频率。
该能量还耦合到谐振器贴片,在大约7.8GHz处产生第二带通响应,并在其表面上方的区域中辐射EM波。将人的手指放在传感器单元上方会改变频率响应,从而产生独特的光谱特性。
射频传感器单元示意图。图片由微软提供
为了实现3D空间中的手势识别,研究人员将32个传感器单元组合成4*8矩阵。RF矩阵结合了低功率微控制器、传感器单元驱动器、开关网络和功率检测器。
微控制器从阵列中选择单个传感器单元——这是一种耗时的方法,但可以最大限度地减少功耗。传感器单元驱动器产生6–8 GHz正弦波,为传感器单元供电。功率检测器位于输出端口,用于记录频率响应并将其转换为直流电压。该过程对6-8 GHz范围内的多个频率以及阵列中32个单元中的每个单元重复。
射频传感器阵列的原型。图片由微软提供
研究人员报告说,这种传感器装置可以在没有视线的情况下工作。它可以嵌入任何曲面后面,并可以缩放到几乎任何大小。此外,对于距离它两英寸远的手,RF阵列的检测精度达到75%甚至更高。
用于“STGesture”的飞行时间(ToF)传感器
意法半导体最近推出了一款“STGesture”解决方案,该解决方案由用于低成本和低功耗手势传感的STSW-IMG035软件包和意法半导体的VL53L5CX FlightSense ToF测距传感器组成。ToF传感器通过传输光子来测量人造光的速度,光子被目标反射并被接收器检测。发射和接收之间所花费的时间以高精度提供了物体的实际距离。
ST的ToF多区域测距传感器。图像由STMicroelectronics提供
该传感器实时计算手的三维坐标,识别敲击、滑动、水平控制等手势。传感器和软件包与任何低功耗微控制器兼容,包括STM32微控制器。
ST的ToF传感器具有64个区域,据报道精度高达400厘米,宽方形边缘为63度对角视场。
无接触接口获得动力
手势识别几乎可以在任何市场找到一席之地:消费电子、汽车、娱乐、教育、医疗保健等。为应对新冠肺炎疫情,对非接触式界面的需求也大幅增加。随着基于人工智能的应用程序的进步,这项技术可能会变得比以往任何时候都更加准确和稳健。