Hailo Spins Vision SoC专为具有AI分析功能的智能相机打造

将复杂的人工智能（AI）嵌入相机的想法长期以来一直被认为是一项昂贵而困难的工程壮举。为了扭转这一趋势，Hailo今天宣布了其Hailo-15系列片上系统（SoC）。

这些设备被设计为直接集成到智能相机中，以便在边缘实现高级视频处理和分析。

 

Hailo-15采用FCBGA 15毫米×15毫米封装，可以轻松嵌入智能相机。

 

在本文中，我们分析了Hailo-15的功能和特点，并分享了我们对Hailo首席执行官Orr Danon的采访中的观点。

 

在Hailo 8的成功基础上再接再厉

Danon表示，Hailo-15 SoC的目的是能够通过提供全面高效处理多个复杂深度学习应用程序的能力来运行高级视频分析。

海洛-15以该公司以前的产品海洛-8为基础。Danon说，在过去的几年里，Hailo 8已经集成到各种各样的终端产品中，主要是视频聚合器和网关。海洛-8还嵌入了许多第三方板级和盒级计算产品中。

虽然Hailo 8被定位为神经处理单元（NPU），但Hailo 15被设想为视觉处理单元（VPU）。“Hailo 15就是我们所说的人工智能VPU，”Danon说。“这是一个高度定制的视觉处理单元，可以执行广泛的人工智能任务。”

Hailo-15 VPU系列包括三种变体：Hailo-15H、Hailo-15M和Hailo-15L，性能水平分别为20 TOPS（每秒tera运算）、11 TOPS和7 TOPS。不同的版本使智能相机设计师能够满足不同的处理需求和价位。

重要的是，Hailo-15的神经网络（NN）核心能够并行处理多个高级深度学习（DL）模型。所有三个Hailo-15 VPU都支持4K分辨率的多个输入流，并将CPU和DSP子系统与Hailo的AI核心相结合。

Danon说：“在我所知的市场上，所有三个Hailo-15核心的相机外形都比任何一个都要强大得多。”。“将它们与我们现有的软件堆栈相结合可以提供灵活性。”

Danon表示，这一点对他们的许多客户来说非常重要，因为他们在相机和网关中进行了部署，希望依赖相同的软件堆栈。他说：“我们维护着相同的软件包，同时支持Hailo-8和Hailo-15。所以你只需投资一次，就可以部署到多个相机外形中。”

 

计算类型的金字塔

Hailo-15 SoC架构将多个计算引擎打包到一个设备中。NN核心实现了高每秒帧数（FPS）的深度学习，以快速准确地检测每帧更多的对象。DSP实现视觉处理和高质量视频编码。

同时，图像处理单元（ISP）流水线提供诸如微光功能、图像稳定和图像增强之类的功能。四核Arm A53具有高达1.3 GHz的12k DMIP性能，可提供控制和管理。

 

Hailo-15的框图显示了多个计算引擎。

 

“整个想法是异构计算，”Danon说。“这里有一个像金字塔一样的计算。”

 

“首先是Arm CPU，它非常灵活，当然非常高效，但没有那么强大。其次是DSP/ISP来处理中间件任务。然后是AI NPU来承载繁重的AI处理。我们提供驱动智能相机所需的全套SoC。”

 

摄像头边缘的高级人工智能分析

Hailo-15 SoC的重要功能在于它能够在相机内部处理人工智能分析。它可以并行运行多个人工智能任务，包括以高分辨率进行更快的检测。根据Danon的说法，这意味着你可以以更高的精度识别更小、更远的物体，并减少误报。

Danon举例说，Hailo-15H能够以高输入分辨率（1280×1280）和实时传感器速率运行先进的物体检测模型YoloV5M6。它还可以以700 FPS的惊人速度运行行业分类模型基准ResNet-50。

 

描述用于智能城市安全目的的基于人工智能的智能摄像头技术的示例。

 

高性能的本地人工智能处理可以实现一些强大的用例。正如该公司所说，有了Hailo-15，智能城市运营商可以更快地检测和响应事件。制造商可以使用复杂的视觉分析来提高生产力和机器正常运行时间。在交通领域，当局可以使用摄像头技术进行从识别走失儿童到寻找放错地方的行李到防止事故的一切工作。

 

所有图片均由Hailo提供