索尼推出两款智能视觉传感器 均具备人工智能处理能力

智能视觉传感器 左：IMX500 右：IMX501

物联网的普及让所有类型的设备都能连接到云端，使得信息处理系统得到广泛应用，从这些设备获得的信息需通过云上的AI进行处理。另一方面，云端处理的信息量越来越大，也带来了各种问题：数据传输延迟的增加，阻碍了实时信息处理；在云端存储个人身份数据相关的用户隐私安全问题；云服务的使用功耗和通信成本的提高等其它问题。

新款传感器的特点是像素芯片和逻辑芯片组成的堆叠式结构，在逻辑芯片上配备了AI图像分析和处理功能的图像传感器。像素芯片获取的信号通过传感器上的AI进行处理，无需高性能处理器或外部存储，可助力边缘AI系统的开发。传感器输出元数据（属于图像数据的语义信息）而不是图像信息，从而减少了数据量并保证了隐私安全。此外，AI能够为广泛应用领域提供多样化的功能，例如高速AI处理下进行实时对象跟踪。也可以根据用户的需求或系统使用位置重新编写内存来选择不同的AI模型。

主要功能

具备AI处理功能的图像传感器

像素芯片是背照式进光的，有效像素约为1230万，可以捕捉广阔视角的图像信息。除了传统的图像传感器操作电路外，其逻辑芯片还配备了索尼原发的DSP（数字信号处理器），专门用于AI信号处理，并为AI模型存储。这种配置无需高性能处理器或外部存储，使其成为边缘AI系统的理想选择。

元数据输出

像素芯片采集的信号通过ISP（图像信号处理器）进行处理，并在逻辑芯片的处理层进行AI运算，将提取的信息作为元数据输出，可以减少需要处理的数据量。同时，不输出图像信息有助于降低安全风险和保证隐私安全。除了传统图像传感器捕捉的图像外，用户还可以根据自己的需要和用途选择数据输出格式，包括ISP格式输出图像（YUV/RGB）和ROI（感兴趣区域）特定区域提取图像。

可选择数据输出格式，以满足各种需要

高速AI处理

当使用传统的图像传感器录制视频时，需要发送每一帧的视频数据进行AI处理，导致数据传输量大，难以实时呈现结果。索尼的新款传感器产品在逻辑芯片上进行ISP处理和高速AI运行（MobileNet V1*13.1毫秒处理），在一个视频帧内完成整个过程。这种设计可以在录制视频的同时保证高精度、实时的目标追踪。

*1 mobilenet V1：一种用于移动设备上目标识别的图像分析AI模型。

可自由选择AI模型

用户可以将自己选择的AI模型写入嵌入式内存中，并根据其需求或系统使用位置对其进行改写和更新。例如，当多个搭载新款传感器的摄像头被安装在零售场所时，某个单一类型的摄像头可以在不同的地点、环境、时间或目的下使用：当安装在场所入口时，可用于计算访客人数;当安装在商店的货架上时，可以用来检测库存短缺;当安装在天花板上时，它可以用来绘制商店客流的热力图 （探测到许多人聚集的位置），等等。此外，指定相机中的AI模型可以被改写，从一个用于检测热力图的模型变成一个用于识别消费者行为的模型，等等。

摄像头在商场中使用的案例

主要参数