在下周3月28日至31日在拉斯维加斯举行的ISC West（西部国际安全会议）活动之前，Ambarella今天发布了其新的CV72S芯片。该设备是为主流专业安全摄像头设计的4K、5 nm片上人工智能视觉系统（SoC）。

SoC建立在该公司最新的CVflow 3.0人工智能架构之上。CV72S SoC旨在提供该公司所称的安全行业最高的每瓦人工智能（AI）性能。它有专门的人工智能硬件来运行最新的变压器神经网络（NN）。Amberella表示，SoC的人工智能性能是其前身CV22S的6倍。

 

The CV72S SoC offers 2x faster encoding and 6x higher AI performance than its predecessor the CV22S.

与前代CV22S相比，CV72S SoC的编码速度快2倍，AI性能高6倍。

 

在本文中，我们回顾了新型CV72S SoC的关键功能，并分享了我们对Ambarella AIoT高级总监Jerome Gigot的采访中的观点。

 

对更好的摄像头AI和更多的需求

Gigot表示，安全市场渴望摄像头技术的进步。“证券市场非常大，”他说。“这是除手机和平板电脑之外最大的摄像头市场之一，在全球拥有10亿台安全摄像头。”

他表示，CV72S提供了安全行业相机领域所需的一系列功能，包括更高的人工智能性能、改进的图像质量、对鱼眼和多图像相机的支持，以及雷达和视觉传感的融合。

Gigot说：“现在的情况是，市场在如何使用人工智能方面正在发生变化。过去几年，人们习惯在服务器上运行人工智能。现在，他们直接在相机上运行AI，以获得更快、更好的准确性。”

Gigot表示，安全摄像头设计工程师希望将人工智能处理硬件直接嵌入摄像头有多种原因。一方面，他们希望运行最新、最棒的神经网络，以获得更好的准确性和性能，同时使用人工智能来提高图像质量。

为了说明这些新趋势，Gigot以机场停车场或任何大型停车场为例。他说：“这是一个很大的开放空间，很难用传统的相机覆盖。”。“你需要在任何地方安装很多摄像头，并以某种方式将它们连接起来。或者，你可以只安装一个基于人工智能的摄像头，覆盖所有内容。这是关于人们开始关注融合，以及如果你在视觉传感器旁边加上雷达，你能做些什么。”

 

如今的安全摄像头设计要求更多的人工智能、更好的图像质量、鱼眼摄像头支持和先进的传感器融合。（点击图片放大）

 

这种传感器融合的一个例子可以在上图右侧的“传感器融合”图像中看到。它展示了一座商业建筑的停车场。如果你看底部，你会看到相机在晚上的视觉效果。

但上面的摄像头显示的是蓝色和紫色的斑点。这些人是用4D雷达识别的。Gigot说：“实际上，有四个人朝着不同的方向移动，雷达可以捕捉到这些信息，然后将其输入安全系统和摄像头。”。“这就是我们对支持视觉和雷达传感器融合的技术非常感兴趣的地方。”

 

具有不同作业的不同片上引擎

CV72S的核心是Ambarella最新的CVflow 3.0人工智能架构。该架构的一个关键特征是本地支持的人工智能硬件，可以有效地运行最新的变压器神经网络（NN）。如今，由于ChatGPT等自然语言处理技术而闻名，据说变换神经网络能够在许多视觉任务中优于卷积神经网络。

CV72S的另一项关键技术是它能够运行Ambarella的AISP技术。AISP融合了传统的ISP（图像处理）和AI处理。它实现了神经网络增强的4K、长距离彩色夜视和HDR，亮度非常低，噪音最小，没有外部照明，同时为额外的、并发的NN留出了充足的空间，用于人员跟踪和口罩检测。

 

CV72S SoC的主要功能和框图。（点击图片放大）

 

该芯片每瓦的高性能是CVflow架构效率的结果，再加上使用三星的5纳米工艺技术。该公司表示，这使得CV72S的功耗低于3W。

 

鱼眼和多成像相机支持

CV72S支持先进的16MP30鱼眼脱蜡和4个5MP30多成像AI功能。对于单成像相机，CV72S支持AVC和HEVC的4KP60编码。这些功能使SoC非常适合主流安全摄像头，包括智能城市和交通应用，以及监控零售店、商场和体育场等拥挤区域。它还可以进行高级视频分析，如远距离物体检测和车牌识别。

Ambarella的Oculii虚拟孔径成像（VAI）AI雷达技术被用于将硬件加速嵌入CV72S，以与相机数据融合，以及雷达和相机之间的动态负载切换。Gigot表示，雷达功能对于周边安全和夜间监控等系统设计至关重要。在下雨、下雪或有雾的情况下，它们也会产生巨大的影响。

CV72S上的控制功能由双臂Cortex-A76 1.6GHz内核完成。SoC具有高DRAM带宽，支持32位LPDDR4x/LPDDR5/LPDDR5x DRAM。SoC还嵌入硬件安全以防止黑客攻击，包括安全引导、OTP，还提供Arm TrustZone技术。CV72S的连接通过高速PCIe和USB 3.2接口实现。

更多信息可在Ambarella网站的安全产品部分和CV72S产品简介中找到。

Ambarella表示，CV72S SoC现在可以进行采样。它将于下周在拉斯维加斯举行的ISC West 2023期间进行演示。

 

所有图片均由Ambarella提供