图像传感器、图像处理方法、深度相机及存储介质技术

本发明专利技术公开了一种图像传感器、图像处理方法、深度相机及存储介质，图像传感器包括控制及数据传输接口、曝光控制电路、像素阵列、读出电路和图像信号处理器，接收到图像采集指令后，采用全局曝光方式曝光原始图像帧以及采用卷帘曝光方式曝光环境光图像帧，然后将原始图像帧中每两行像素的电压信号以及环境光图像帧中对应行的像素的电压信号进行处理后得到对应的像素值，并执行减背景计算，有利于消除环境光中与深度相机的激光波长相同的干扰光线的影响，提升了深度图像的准确性。将全局曝光和卷帘曝光相结合，并采用每两行像素进行处理，缩短了原始图像帧和环境光图像帧之间的曝光时间，提高了减背景效率。提高了减背景效率。提高了减背景效率。

【技术实现步骤摘要】
图像传感器、图像处理方法、深度相机及存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及的是一种图像传感器、图像处理方法、深度相机及存储介质。

技术介绍

[0002]随着科学技术的发展，尤其是计算机视觉技术的发展，深度图像被广泛应用于各种场景(例如3D人脸识别、3D目标追踪等)中。目前，通常通过深度相机获取目标物体的深度，具体的，控制深度相机向目标物体发射激光，再由深度相机接收经目标物体反射的激光，通过比对接收到的激光图案和参考图案的区别来获取目标物体对应的深度图像。
[0003]现有技术的问题在于，环境光中可能存在与深度相机发射的激光波长相同的光线(即干扰光线)，在深度相机的图像传感器接收激光并计算获取深度图像的过程中，环境光中的干扰光线会对深度相机造成干扰，从而影响深度图像的获取精度，进而可能影响到后续的基于深度图像的人脸识别等操作的准确性，影响用户的使用体验。

技术实现思路

[0004]本专利技术的主要目的在于提供一种图像传感器、图像处理方法、深度相机及存储介质，旨在解决现有技术中直接通过深度相机发射激光并获取深度图像的方案中，环境光中与激光波长相同的干扰光线对深度相机造成干扰，不利于提高深度图像的获取精度的问题。
[0005]为了实现上述目的，本专利技术第一方面提供一种图像传感器，包括：控制及数据传输接口，用于接收并输出图像采集指令；曝光控制电路，用于接收图像采集指令后控制像素阵列采用全局曝光方式曝光原始图像帧、采用卷帘曝光方式曝光环境光图像帧，其中，原始图像帧包括目标空间经由环境光和散斑激光投射所获得的图像帧，环境光图像帧包括目标空间经由环境光投射所获得的图像帧；像素阵列，用于将原始图像帧中每两行像素的电压信号以及环境光图像帧中对应行像素的电压信号进行交错输出至读出电路；读出电路，用于将交错输出的逐行像素的电压信号进行处理后得到对应的像素值，并输出至图像信号处理器；图像信号处理器，用于将交错输出的像素值中原始图像帧中每两行像素的像素值与环境光图像帧中对应行像素的像素值执行减背景计算，并通过控制及数据传输接口输出以形成减背景图像帧。
[0006]在一种实施例中，读出电路包括：可编程增益放大器，用于将交错输出的逐行像素的电压信号进行增益调控得到交错输出的逐行像素的增益加和电压，并输出至模数转换电路；模数转换电路，用于将交错输出的逐行像素的增益加和电压经模数转换为交错输出的逐行像素的电压值，并输出至数据转换电路；数据转换电路，用于将交错输出的逐行像素的电压值转换为交错输出的逐行像素的像素值，并输出至图像信号处理器。
[0007]在一些实施例中，图像信号处理器还用于获得原始图像帧的像素信息，并将原始图像帧的像素信息和预设的像素信息阈值进行比较；根据比较结果确定下一原始图像帧执
行减背景计算或直接将交错输出的像素值中原始图像帧中每行像素的像素值通过控制及数据传输接口输出。原始图像帧的像素信息统计方式为窗口统计和/或直方图统计。像素信息包括像素值均值、饱和像素点数目、饱和像素点均值、梯度均值和/或目标亮度像素数目；像素信息阈值包括与像素信息对应的像素值均值阈值、饱和像素点数目阈值、饱和像素点均值阈值、梯度均值阈值和/或目标亮度像素数目；其中，饱和像素点数目是原始图像帧中像素值大于预设的饱和阈值的像素的数目，饱和像素点均值是原始图像帧中像素值大于预设的饱和阈值的像素点均值，目标亮度像素数目是原始图像帧中像素值处于预设的像素值区间内的像素的数目。
[0008]在一些实施例中，减背景计算基于下述预设减背景计算公式：F(x，y)＝|TG(x，y)
‑
BG(x，y)|，其中，TG(x，y)是原始图像帧中坐标为(x，y)的像素的像素值，BG(x，y)是环境光图像帧中坐标为(x，y)的像素的像素值，F(x，y)是减背景图像帧中坐标为(x，y)的像素的像素值。或者，减背景计算基于下述预设减背景计算公式：Δ＝TG(x，y)
‑
g*BG(x，y)+offset，g*BG(x，y)+offset，其中，Δ为补偿后的像素差值，TG(x，y)是原始图像帧中坐标为(x，y)的像素的像素值，BG(x，y)是环境光图像帧中坐标为(x，y)的像素的像素值，g为预设的固定系数补偿参数，offset为预设的固定偏移补偿参数，F(x，y)是减背景图像帧中坐标为(x，y)的像素的像素值。
[0009]本专利技术第二方面提供一种图像处理方法，接收图像采集指令后，采用全局曝光方式曝光原始图像帧、采用卷帘曝光方式曝光环境光图像帧，其中，原始图像帧包括目标空间经由环境光和散斑激光投射所获得的图像帧，环境光图像帧包括目标空间经由环境光投射所获得的图像帧；将原始图像帧中每两行像素的电压信号以及环境光图像帧中对应行的像素的电压信号逐行进行处理后得到对应的像素值；将像素值中原始图像帧中每两行像素的像素值与环境光图像帧中对应行像素的像素值执行减背景计算并输出以形成减背景图像帧。
[0010]本专利技术第三方面提供一种深度相机，包括：发射模组、深度计算芯片和包括上述图像传感器的接收模组。
[0011]本专利技术第四方面提供一种计算机可读存储介质，计算机可读存储介质上存储有图像处理程序，图像处理程序被处理器执行时实现上述图像处理方法的步骤。
[0012]由上可见，本专利技术方案中，图像传感器包括控制及数据传输接口、曝光控制电路、像素阵列、读出电路和图像信号处理器，接收到图像采集指令后，采用全局曝光方式曝光原始图像帧以及采用卷帘曝光方式曝光环境光图像帧，然后将原始图像帧中每两行像素的电压信号以及环境光图像帧中对应行的像素的电压信号进行处理后得到对应的像素值，并将像素值中原始图像帧中每两行像素的像素值与环境光图像帧中对应行像素的像素值执行减背景计算并输出以形成减背景图像帧。
[0013]与现有技术中直接根据深度相机在发射激光时获得的图像获取深度图像的方案相比，本专利技术通过将原始图像帧的像素值与环境光图像帧的像素值执行减背景计算并输出，有利于消除环境光中与深度相机的激光波长相同的干扰光线的影响，提升了深度图像的准确性。将全局曝光和卷帘曝光相结合，并采用每两行像素进行处理，缩短了原始图像帧
和环境光图像帧之间的曝光时间，提高了减背景效率。
附图说明
[0014]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0015]图1是本专利技术实施例提供的一种深度相机的结构示意图；
[0016]图2是本专利技术实施例提供的一种图像传感器的结构示意图；
[0017]图3是本专利技术实施例提供的像素阵列中共享像素的示意图；
[0018]图4是本专利技术实施例提供的一种像素值直方图；
[0019]图5是本专利技术实施例提供的一种图像处理方法的流程示意图；
[0020本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像传感器，其特征在于，包括：控制及数据传输接口，用于接收并输出图像采集指令；曝光控制电路，用于接收所述图像采集指令后控制像素阵列采用全局曝光方式曝光原始图像帧、采用卷帘曝光方式曝光环境光图像帧，其中，所述原始图像帧包括目标空间经由环境光和散斑激光投射所获得的图像帧，所述环境光图像帧包括所述目标空间经由所述环境光投射所获得的图像帧；所述像素阵列，用于将所述原始图像帧中每两行像素的电压信号以及所述环境光图像帧中对应行像素的电压信号进行交错输出至读出电路；所述读出电路，用于将所述交错输出的逐行像素的电压信号进行处理后得到对应的像素值，并输出至图像信号处理器；所述图像信号处理器，用于将所述交错输出的像素值中所述原始图像帧中每两行像素的像素值与所述环境光图像帧中对应行像素的像素值执行减背景计算，并通过所述控制及数据传输接口输出以形成减背景图像帧。2.根据权利要求1所述的图像传感器，其特征在于，所述读出电路包括：可编程增益放大器，用于将所述交错输出的逐行像素的电压信号进行增益调控得到所述交错输出的逐行像素的增益加和电压，并输出至模数转换电路；所述模数转换电路，用于将所述交错输出的逐行像素的增益加和电压经模数转换为所述交错输出的逐行像素的电压值，并输出至数据转换电路；所述数据转换电路，用于将所述交错输出的逐行像素的电压值转换为所述交错输出的逐行像素的像素值，并输出至所述图像信号处理器。3.根据权利要求1所述的图像传感器，其特征在于，所述图像信号处理器还用于获得所述原始图像帧的像素信息，并将所述原始图像帧的像素信息和预设的像素信息阈值进行比较；根据比较结果确定下一所述原始图像帧执行所述减背景计算或直接将所述交错输出的像素值中所述原始图像帧中逐行像素的像素值通过所述控制及数据传输接口输出。4.根据权利要求3所述的图像传感器，其特征在于，所述原始图像帧的像素信息统计方式为窗口统计和/或直方图统计。5.根据权利要求3所述的图像传感器，其特征在于，所述像素信息包括像素值均值、饱和像素点数目、饱和像素点均值、梯度均值和/或目标亮度像素数目；所述像素信息阈值包括与所述像素信息对应的像素值均值阈值、饱和像素点数目阈值、梯度均值阈值和/或目标亮度像素数目；其中，所述饱和像素点数目是所述原始图像帧中像素值大于预设的饱和阈值的像素的数目，所述目标亮度像素数目是所述原始图像帧中像素值处于预设的像素值区间内的像素的数目。6.根据权利要求1
‑
3任一项所述的图像传感器，其特征在于，所述减背景计算基于下述预设减背景计算公式：F(x，y)＝|TG(x，y)
‑
BG(x，y)|其中，TG(x，y)是所述原始图像帧中坐标为(x，y)的像素的像素值，BG(x，y)是所述环境
光图像帧中坐标为(x，y)的像素的像素值，F(x，y)是所述减背景图像帧中坐标为(x，y)的像素的像素值。7.根据权利要求1
‑
3任一项所述的图像传感器，其特征在于，所述减背景计算基于下述预设减背景计算公式：Δ＝TG(x，y)
‑
g*BG(x，y)+offset其中，Δ为补偿后的像素差值，TG(x，y)是所述原始图像帧中坐标为(x，y)的像素的像素值，BG(x，y)是所述环境光图像帧中坐标为(x，y)的像素的像素值，g为预设的固定系数补偿参数，offset为预设的固定偏移补偿参数，F(x，y)是所述减背景图像帧中坐标为(x，y)的像素的像素值。8.一种图像处理方法，其特征在...

【专利技术属性】
技术研发人员：程向伟，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：