一种视觉系统技术方案

本发明专利技术公开了一种视觉系统，包括图像传感器，用于采集原始图像，当第n帧原始图像和第n

【技术实现步骤摘要】
一种视觉系统


[0001]本专利技术涉及半导体图像感测
，尤其涉及一种视觉系统。

技术介绍

[0002]近年来计算机视觉领域始终保持高速发展，该领域中有大量的研究使用相机和电脑代替人眼对目标智能地进行检测、识别和跟踪，并已在安防监控、自动驾驶、医疗看护等场景中得到广泛落地应用。一个典型的工业机器视觉系统包括光学系统(光源、镜头等)、图像传感器、图像处理单元、通讯单元等。其中，图像传感器用于获取视觉数据。互补金属氧化物半导体图像传感器(Complementary Metal Oxide Semiconductor Image Sensor，CIS)作为典型的固体成像传感器，是数字摄像头的关键组成部分，广泛应用于工业相机、消费电子、数码产品、安防监控等领域。传统的CIS以固定帧率(约25帧/秒)输出每帧图像，图像上的每个像素反映该位置的亮度值，在这样的画面中存在大量的背景信息。考虑到属于背景信息的画面区域在连续多帧中经常保持一致，这部分数据对于后续的图像处理算法来说属于冗余数据，传输这类冗余数据至数据编码模块既浪费了算力，也浪费了传输带宽和功率。
[0003]虽然，现有技术提供了一种基于事件的视觉传感器(Event
‑
based Camera Sensor)，也称事件相机，其中典型的是动态事件传感器(Dynamic Vision Sensor，DVS)，每个像素在光照变化的刺激下独立产生异步事件，每当有像素上的光照变化大于设定的阈值时，就发出一个相应的事件脉冲，虽然以这种方式产生的事件流消除了传统图像传感器的静态冗余数据，提取出了场景中的运动信息，降低了功耗和带宽占用，但仍存在以下不足：计算机视觉中的很多任务依赖于图像中的综合信息，包括绝对亮度、颜色、对比度、饱和度、纹理等，而事件相机的输出丢失了这些信息，仅保留了亮度发生变化的像素点所处的坐标和时间；(2)由于事件流中的事件数量不固定，数据总长度不固定，因此不能直接输入卷积神经网络(Convolutional Neural Network，CNN)进行处理，通过事件流重建的亮度图像可以输入CNN，但重建图像会增加额外的算力，且不能保证准确度；(3)事件流虽然去除了二维画面上的静止冗余信息，但本身在时间维度上却存在很大的冗余，大部分监控场景不需要关注微秒级的高速运动，而且事件流对低纹理区域的运动特征把握不是很好。
[0004]基于上述背景，如何在不降低图像分辨率和图像质量的前提下对系统功耗进行控制和优化，成为当前面临的一个技术难题。

技术实现思路

[0005]本专利技术实施例提供一种视觉系统，用以在保证图像分辨率和图像质量的前提下降低数据传输带宽，节省系统功耗。
[0006]第一方面，本专利技术提供一种视觉系统，包括图像传感器、事件计数模块和图像处理模块：所述图像传感器，用于采集原始图像，当第n帧原始图像和第n
‑
1帧原始图像中同一像素点的初始电压信号存在变化，触发模数转换单元对所述像素点的模拟信号进行模数转换，得到所述像素点的数字信号，以及向事件计数模块发送触发信号。所述事件计数模块，
用于在第n帧原始图像的曝光时间内，通过统计来自所述图像传感器的触发信号的个数，确定所述第n帧原始图像中初始电压信号存在变化的目标像素点的数量。图像处理模块，用于当目标像素点的数量与所述第n帧原始图像的像素点总数的比值大于设定阈值时，以同步传输方式输出第n帧原始图像的各个像素点的数字信号；当目标像素点的数量与所述第n帧原始图像的像素点总数的比值小于或等于设定阈值时，以异步传输方式输出第n帧原始图像中的目标像素点的数字信号。
[0007]本专利技术提供的视觉系统的有益效果在于：该视觉系统支持两种方式输出CMOS图像传感器的数据，分为同步和异步两种方式。当初始电压信号存在变化的目标像素点较多时，就输出整帧图像的数字信号，有助于最大限度的保留图像中的综合信息，包括绝对亮度、颜色、对比度、饱和度、纹理等。当初始电压信号存在变化的目标像素点较小时，则传输发生变化的像素点的像素数值，因这类像素点的数据具有很强的空间稀疏性，所以可以有效降低数据冗余度，继而本专利技术提供的视觉系统用以保证在保证图像分辨率和图像质量的前提下降低数据传输带宽，节省系统功耗。
[0008]可选地，图像处理模块以同步传输方式输出第n帧原始图像的各个像素点的数字信号，包括：针对初始电压信号存在变化的目标像素点，图像处理模块以同步传输方式输出第n帧原始图像的目标像素点的数字信号，以及所述目标像素点的初始电压信号存在变化的标识；针对初始电压信号未发生变化的非目标像素点，图像处理模块以同步传输方式输出第n
‑
1帧原始图像的非目标像素点的数字信号。可见，该实施方案可以实现在前后帧图像中产生明显变化的像素点较多时，对图像传感器所产生的数据能够以同步方式向外传输，能够很大程度保留了图像纹理、亮度等原始图像的综合信息。
[0009]可选地，图像处理模块以异步传输方式输出第n帧原始图像中的目标像素点的数字信号，包括：针对初始电压信号存在变化的目标像素点，图像处理模块以异步传输方式输出第n帧原始图像的目标像素点的数字信号，以及所述目标像素点对应的行列地址。可见，该实施方案可以实现在前后帧图像中产生明显变化的像素点较小时，对图像传感器所产生的数据能够以异步方式向外传输，很大程度上节约了传输带宽。
[0010]可选地，所述设定阈值满足如下公式：
[0011][0012]其中，th表示设定阈值，len
L
表示像素数值所占的位宽，H表示原始图像的每行像素的数量，W表示原始图像的每列像素的数量，每个像素点所携带信息的长度是len
L
+1，1表示Out
c
的位宽，表示向上取整，图像分辨率越大，th设定阈值越小。
[0013]可选地，当目标像素点的数量与所述第n帧原始图像的像素点总数的比值小于或等于设定阈值时，以异步传输方式输出第n帧原始图像中的目标像素点的数字信号，包括：
[0014]图像处理模块，用于从第n帧原始图像采集时刻至第n
‑
1帧的采集时刻对应时间段中所有目标像素点所产生的事件集合，以及根据所述事件集合对应的运动物体的区域边界，从第n帧原始图像提取到感兴趣区域，以异步传输方式输出第n帧原始图像中的感兴趣区域的各个像素点的数字信号；所述感兴趣区域包括第n帧原始图像中的目标像素点的数字信号。该实施方案可以基于物体边缘的事件活动对原始图像进行预处理，提取出感兴趣
区域(Region ofInterest,ROI)从传感器发送至接收方，感兴趣区域以外的区域则不进行传输，该方法进一步减少传送数据量，在广角范围的监控场景中体现得尤其明显，另外也增强了数据所携带信息的有效性，使后续的分类、回归等视觉算法效率提高。
[0015]可选地，图像传感器包括模数转换单元和像素单元电路构成的像素阵列；
[0016]所述像素单元电路包括光电信号转换单元、电压放大单元、第一输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉系统，其特征在于，包括图像传感器、事件计数模块和图像处理模块；所述图像传感器，用于采集原始图像，当第n帧原始图像和第n
‑
1帧原始图像中同一像素点的初始电压信号存在变化，对所述像素点的模拟信号进行模数转换，得到所述像素点的数字信号，以及向事件计数模块发送触发信号，n为正整数；所述事件计数模块，用于在第n帧原始图像的曝光时间内，通过统计来自所述图像传感器的触发信号的个数，确定所述第n帧原始图像中初始电压信号存在变化的目标像素点的数量；图像处理模块，用于当目标像素点的数量与所述第n帧原始图像的像素点总数的比值大于设定阈值时，以同步传输方式输出第n帧原始图像的各个像素点的数字信号；当目标像素点的数量与所述第n帧原始图像的像素点总数的比值小于或等于所述设定阈值时，以异步传输方式输出第n帧原始图像中的目标像素点的数字信号。2.根据权利要求1所述的视觉系统，其特征在于，图像处理模块以同步传输方式输出第n帧原始图像的各个像素点的数字信号，包括：针对初始电压信号存在变化的目标像素点，图像处理模块以同步传输方式输出第n帧原始图像的目标像素点的数字信号，以及所述目标像素点的初始电压信号存在变化的标识；针对初始电压信号未发生变化的非目标像素点，图像处理模块以同步传输方式输出第n
‑
1帧原始图像的非目标像素点的数字信号。3.根据权利要求2所述的视觉系统，其特征在于，图像处理模块以异步传输方式输出第n帧原始图像中的目标像素点的数字信号，包括：针对初始电压信号存在变化的目标像素点，图像处理模块以异步传输方式输出第n帧原始图像的目标像素点的数字信号，以及所述目标像素点对应的行列地址。4.根据权利要求1至3任一项所述的视觉系统，其特征在于，所述设定阈值满足如下公式：其中，th表示设定阈值，len
L
表示像素数值所占的位宽，H表示原始图像的每行像素的数量，W表示原始图像的每列像素的数量，表示向上取整，图像分辨率越大，th设定阈值越小。5.根据权利要求1至3任一项所述的视觉系统，其特征在于，当目标像素点的数量与所述第n帧原始图像的像素点总数的比值小于或等于设定阈值时，以异步传输方式输出第n帧原始图像中的目标像素点的数字信号，包括：图像处理模块，用于从第n帧原始图像采集时刻至第n
‑
1帧的采集时刻对应时间段中所有目标像素点所产生的事件集合，以及根据所述事件集合对应的运动物体的区域边界，从第n帧原始图像提取到感兴趣区域，以异步传输方式输出第n帧原始图像中的感兴趣区域的各个像素点的数字信号；所述感兴趣区域包括第n帧原始图像中的目标像素点的数字信号。6.根据权利要求1所述的视觉系统，其特征在于，所述图像传感器包括模数转换单元和像素单元电路构成的像素阵列；
所述像素单元电路包括光电信号转换单元、电压放大单元、第一输出单元、第二输出单元和比较单元；光电信号转换单元，用于将图像帧中像素点的曝光信息转换为初始电压信号；电压放大单元，用于将所述初始电压信号放大并输出；第一输出单元连接至所述电压放大单元，用于接收并存储第n

【专利技术属性】
技术研发人员：蒋寓文，傅正明，
申请(专利权)人：上海齐感电子信息科技有限公司，
类型：发明
国别省市：