图像处理方法、装置、芯片、系统以及介质、程序产品制造方法及图纸

本申请提供了一种图像处理方法，该方法包括：从图像传感器中读取第一像素数据获得第一图像帧，从图像传感器中读取第二像素数据获得第二图像帧，其中，第一像素数据的数据量小于第二像素数据的数据量，如此可以减少第一像素数据的读出时间，进而可以缩短第一图像帧和第二图像帧的曝光间隔，缩短两帧图像的间距，如此可以降低图像融合难度，通过融合图像可以提升图像质量。升图像质量。升图像质量。

Image processing method, device, chip, system, medium and program product

【技术实现步骤摘要】
图像处理方法、装置、芯片、系统以及介质、程序产品
[0001]本申请要求于2021年01月08日提交中国国家知识产权局、申请号为202110024910.3、申请名称为“抓拍图像的方法和系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及图像处理
，尤其涉及一种图像处理方法、图像处理装置、用于执行该图像处理方法的芯片、图像处理系统以及与该图像处理方法对应的计算机可读存储介质、计算机程序产品。

技术介绍

[0003]随着图像处理技术尤其是图像识别技术的不断发展，越来越多的场所部署有摄像机，通过对摄像机拍摄的图像进行识别，可以实现运动物体的自动监控、追踪或者是异常检查。以电警或卡口场景为例，摄像机可以对车辆进行拍摄，得到车辆图像，通过对车辆图像进行图像识别，可以确定车牌，进而实现与车牌对应的目标车辆的监控或追踪。
[0004]对于运动物体尤其是高速运动的物体，摄像机通常会通过两帧以上图像进行图像处理，提升图像质量。例如，在电警或卡口场景中，摄像机通常和补光设备如频闪灯、爆闪灯等配合使用。其中，爆闪灯在给车内驾驶室补光时，容易导致车牌过曝。为此，业界提出了一种结合上一帧频闪图像拟合车牌图像，然后将拟合得到的车牌图像叠加至当前帧爆闪图像，从而提升图像质量。
[0005]然而，拟合图像丢失了一些特征，导致图像严重失真，图像质量仍然难以满足业务需求。业界亟需提供一种图像处理方法，以提升图像质量。

技术实现思路

[0006]本申请提供了一种图像处理方法，该方法通过减少读取上一帧像素数据的数据量，缩短两帧图像的曝光间隔，如此可以降低图像融合难度，通过融合图像可以提升图像质量。本申请还提供了上述方法对应的装置、芯片、图像处理系统以及计算机可读存储介质、计算机程序产品。
[0007]第一方面，本申请提供了一种图像处理方法。该方法可以由图像处理系统执行。具体地，图像处理系统获取第一图像帧以及第二图像帧，其中，第一图像帧根据从图像传感器中读取的第一像素数据获得，第二图像帧根据从图像传感器中读取的第二像素数据获得。
[0008]第一像素数据的数据量小于第二像素数据的数据量，如此，读取第一像素数据的时间可以缩短，第一图像帧和第二图像帧的曝光间隔可以相应缩短，第一图像帧和第二图像帧的间隔较小，图像处理系统可以对第一图像帧和第二图像帧进行融合，得到第三图像帧。
[0009]一方面，该方法通过缩短第一图像帧和第二图像帧的曝光间隔，避免两帧图像间距过大，由此可以降低图像融合难度，降低图像融合对算力的要求，提高融合效率；另一方
面，该方法通过将第一图像帧与第二图像帧融合，保留了目标的特征，使得融合得到的第三图像帧中目标影像与真实的目标接近，提高了图像真实度，而且，参与融合的图像帧均为真实图像，避免了融合得到的第三图像帧中局部图像与周围图像差异过大，使得第三图像帧更加自然，由此提升了图像质量。该第三图像帧的质量高于第一图像帧的质量或第二图像帧的质量。
[0010]在一些可能的实现方式中，所述第一像素数据为像素阵列中感兴趣区域的像素数据，所述第二像素数据为所述像素阵列中全部区域的像素数据。图像处理系统可以通过感兴趣区域抓拍模式和全画抓拍模式相结合的方式，缩短了图像帧的曝光间隔，由此缩短了图像帧的间距，降低图像融合难度，降低图像融合对算力的要求，提高融合效率。
[0011]在一些可能的实现方式中，所述第三图像帧通过利用所述第一图像帧替换所述第二图像帧的对应区域获得。图像处理系统通过利用第一图像帧对第二图像帧中与第一图像帧对应的区域进行替换，可以实现利用第一图像帧的细节补偿第二图像帧，由此可以解决第二图像帧中局部细节缺失(例如是局部过曝)的问题。而且，图像处理系统是利用真实图像进行替换，而不是通过拟合图像进行叠加，保留了目标的特征，替换后的第三图像帧更加逼真，质量更高。
[0012]在一些可能的实现方式中，第三图像帧也可以是在第二图像帧上叠加第一图像帧获得。具体地，图像处理系统可以对齐第一图像帧和第二图像帧，例如，图像处理系统可以选择参考点，通过对齐第一图像帧的参考点和第二图像帧的参考点，对齐第一图像帧和第二图像帧。然后图像处理系统在第二图像帧的对应区域叠加上述第一图像帧，从而获得第三图像帧。如此，可以实现利用第一图像帧的细节完善第二图像帧，提升图像质量。
[0013]在一些可能的实现方式中，所述第一图像帧为所述图像传感器在频闪灯曝光时形成的图像，所述第二图像帧为所述图像传感器在爆闪灯曝光时形成的图像。其中，第二图像帧可以存在局部过曝，例如在基于卡口系统的监控场景中可以是车牌过曝，因此，利用第一图像帧替换第二图像帧的对应区域可以有效解决局部过曝问题，获得高清晰度的图像，而且该图像保留了目标的特征，更加逼真，因而具有较高的质量。
[0014]在一些可能的实现方式中，所述第三图像帧通过利用所述第一图像帧消减所述第二图像帧中的干扰信息获得。图像处理系统通过利用第二图像帧减去第一图像帧，以消除或减弱第二图像帧中的干扰信息，如消减第二图像帧中的彩条纹，如此提高了图像的质量。
[0015]在一些可能的实现方式中，所述第一图像帧为所述图像传感器在爆闪灯曝光时形成的图像，所述第二图像帧为所述图像传感器在所述爆闪灯和频闪灯均未曝光时形成的图像。其中，第一图像帧和第二图像帧可以存在干扰信息，图像处理系统通过图像相减的方式消除干扰信息，提高图像的质量。
[0016]需要说明的是，上述图像处理方法还可以用于解决其他宽动态问题。其中，摄像机具有动态范围，该动态范围是指摄像机对拍摄场景中物体光照反射的适应能力，具体可以通过亮度和/或色温的变化范围表征。宽动态具体是指亮度或色温的最小值和最大值之间的跨度较大，例如大于预设跨度。当强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因过度曝光成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。宽动态问题包括曝光过度或曝光不足导致图像存在明显的白色区域或黑色区域的问题。
[0017]在一些可能的实现方式中，所述第一像素数据是根据第一数据标识从所述图像传感器中读取的。所述第一数据标识根据参考图像帧、参考图像帧中目标的速度以及帧间曝光开始时间间隔得到。其中，帧间曝光开始时间间隔为所述参考图像帧的曝光开始时间和所述第一图像帧的曝光开始时间的时间差。其中，所述目标是指图像传感器拟拍摄的对象，该对象具体为运动物体，例如是运动的车辆、人等等。
[0018]具体地，图像处理系统可以在参考图像帧中检测到目标时，也即识别到目标进入图像采集区域时，将参考图像帧中感兴趣区域的位置映射到雷达的坐标系，然后根据帧间曝光开始时间间隔和通过雷达测得的目标的速度，确定抓拍第一图像帧时目标在雷达的坐标系中的位置，然后将该位置映射回图像，从而得到第一图像帧的感兴趣区域。第一像素数据为像素阵列中感兴趣区域的像素数据时，图像处理系统可以根据上述感兴趣区域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一图像帧以及第二图像帧，所述第一图像帧根据从图像传感器中读取的第一像素数据获得，所述第二图像帧根据从所述图像传感器中读取的第二像素数据获得，所述第一像素数据的数据量小于第二像素数据的数据量；根据所述第一图像帧和所述第二图像帧，获得第三图像帧，所述第三图像帧的质量高于所述第一图像帧的质量或所述第二图像帧的质量。2.根据权利要求1所述的方法，其特征在于，所述第一像素数据为像素阵列中感兴趣区域ROI的像素数据，所述第二像素数据为所述像素阵列中全部区域的像素数据。3.根据权利要求1或2所述的方法，其特征在于，所述第三图像帧通过利用所述第一图像帧替换所述第二图像帧的对应区域获得。4.根据权利要求3所述的方法，其特征在于，所述第一图像帧为所述图像传感器在频闪灯曝光时形成的图像，所述第二图像帧为所述图像传感器在爆闪灯曝光时形成的图像。5.根据权利要求1或2所述的方法，其特征在于，所述获得第三图像帧包括：利用所述第一图像帧消减所述第二图像帧中的干扰信息，获得所述第三图像帧。6.根据权利要求5所述的方法，其特征在于，所述第一图像帧为所述图像传感器在爆闪灯曝光时形成的图像，所述第二图像帧为所述图像传感器在所述爆闪灯和频闪灯均未曝光时形成的图像。7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一像素数据是根据第一数据标识从所述图像传感器中读取的，所述第一数据标识根据参考图像帧、所述参考图像帧中目标的速度以及帧间曝光开始时间间隔得到，所述帧间曝光开始时间间隔为所述参考图像帧的曝光开始时间和所述第一图像帧的曝光开始时间的时间差。8.根据权利要求7所述的方法，其特征在于，所述目标的速度根据所述参考图像帧或者雷达获得。9.根据权利要求7所述的方法，其特征在于，所述帧间曝光开始时间间隔等于基础时间间隔、接收所述参考图像帧的时间、识别所述参考图像帧的时间之和，所述基础时间间隔为所述第一图像帧的曝光开始时间和根据所述参考图像帧识别到所述目标进入图像采集区域的时间的时间差。10.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：当识别到目标进入图像采集区域时，发送第一拍摄参数，以使所述图像传感器根据所述第一拍摄参数进行拍摄，生成包括所述第一像素数据在内的像素数据，所述第一拍摄参数包括所述第一图像帧的曝光开始时间。11.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：向补光灯发送第一光照参数，使得所述补光灯和所述图像传感器同时曝光。12.根据权利要求1至11任一项所述的方法，其特征在于，所述第一像素数据是所述图像传感器在第一时间段曝光生成，所述第二像素数据是所述图像传感器在第二时间段曝光生成，所述第二时间段的终止时间晚于所述第一像素数据的读出完成时间。13.根据权利要求1至12任一项所述的方法，其特征在于，所述图像帧中的目标包括运动物体。14.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取第一图像帧以及第二图像帧，所述第一图像帧根据从图像传感器中读取的第一像素数据获得，所述第二图像帧根据从所述图像传感器中读取的第二像素数据获得，所述第一像素数据的数据量小于第二像素数据的数据量；处理单元，用于根据所述第一图像帧和所述第二图像帧，获得第三图像帧，所述第三图像帧的质量高于所述第一图像帧的质量或所述第二图像帧的质量。15.根据权利要求14所述的装置，其特征在于，所述第一像素数据为像素阵列中感兴趣区域ROI的像素数据，所述第二像素数据为所述像素阵列中全部区域的像素数据。16.根据权利要求14或15所述的装置，其特征在于，所述第三图像帧通过利用所述第一图像帧替换所述第二图像帧的对应区域获得。17.根据权利要求16所述的装置，其特征在于，所述第一图像...

【专利技术属性】
技术研发人员：朱青，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：