图像去反光的方法、装置制造方法及图纸

本申请提供一种图像去反光的方法、装置，可应用于自动驾驶(automated driving)或者智能驾驶(intelligent driving)等领域。其中，该方法包括：获取同一时刻，针对同一目标，基于不同方位拍摄得到的至少两幅图像，其中，所述至少两幅图像中包括待去除反光的图像和至少一幅参考图像，所述参考图像与所述待去除反光的图像不同；对于每一幅所述参考图像，根据所述参考图像和所述待去除反光的图像的重合图像区域生成估计图像；根据至少一幅所述估计图像，对所述待去除反光的图像进行处理，得到去除反光后的图像。本申请可以去除图像中的反光区域。

Method and device of image de reflecting

【技术实现步骤摘要】
图像去反光的方法、装置
本申请涉及图像处理领域，并且更具体地，涉及图像去反光的方法、装置。
技术介绍
摄像头在拍摄图像时，由于反光现象会使得图像中出现反光区域，导致图像中部分区域被遮挡。以自动驾驶(automateddriving)或智能驾驶(intelligentdriving)场景为例，智能汽车(smart/intelligentcar)在执行自动驾驶(automateddriving)的过程中，受太阳照射以及夜间远近光等照射的影响，在车辆的车身、装饰以及在行驶的路面上会形成反射，成为反光区域。在反光区域中，图像的颜色、纹理结构受到严重破坏。在检测图像中的车辆、行人、交通信号、道路边界、车道线、障碍物等时会发生检测和跟踪错误。现有技术中基于双目摄像头去除图像中的反光，通过对边缘图像中的每一个像素点计算得分，并通过阈值确定图像中的背景点和反光点。现有技术中需要计算每一个像素点的得分，其计算复杂度较高。
技术实现思路
本申请提供一种图像去反光的方法、装置，可以去除图像中的反光区域，实现的复杂度较低。第一方面，提供了一种图像去反光的方法，包括：获取同一时刻，针对同一目标，基于不同方位拍摄得到的至少两幅图像，其中，在这至少两幅图像中包括待去除反光的图像和至少一幅参考图像。对于每一幅该参考图像，根据参考图像和待去除反光的图像的重合图像区域生成一幅估计图像；再根据生成的至少一幅估计图像，对待去除反光的图像进行处理，得到去除反光后的图像。应理解，参考图像与待去除反光的图像不同。>上述技术方案中，参考图像是和待去除反光的图像是在同一时刻，针对同一目标，基于不同方位拍摄得到的，因此，在至少一幅参考图像中，和待去除反光的图像中的反光区域相对应的区域很可能不会存在反光，利用至少一幅参考图像和待去除反光的图像对反光区域进行估计，能够更有效地定位出该反光区域的位置，进而根据估计出的该反光区域对待去除反光的图像进行处理，得到去除反光后的图像。在自动驾驶领域中，利用摄像头或者摄像头组获取同一时刻，针对同一目标，基于不同方位拍摄得到多幅图像，将其中一些图像作为参考图像对待去除反光的图像进行处理，能够有效地避免图像中的反光区域对检测和跟踪目标的影响，可以从而有效减少自动驾驶发生事故的概率，提高自动驾驶的安全性。在第一方面的一种可能的实现方式中，根据待去除反光的图像和至少一幅估计图像，确定待去除反光的图像中与至少一幅参考图像的重合图像区域的至少一个反光区域；在待去除反光的图像中，对至少一个反光区域中的图像进行恢复，得到去除反光后的图像。上述技术方案中，反光区域是在图像中，由反光像素点聚集成的一块图像的区域。实际场景中，反光图像往往包含有一个或多个反光区域。具体实现中，可以结合至少一幅参考图像确定待去除反光的图像中的至少一个反光区域，并直接对至少一个反光区域进行处理，得到去除反光后的图像。其实现的复杂度较低，效率较高。在第一方面的另一种可能的实现方式中，分别对每一幅该参考图像以及该待去除反光的图像进行特征点提取；建立每一幅该参考图像中和该待去除反光的图像中共有的特征点之间的映射关系；根据该映射关系，对每一幅该参考图像和该待去除反光的图像进行配准，生成一幅该估计图像。上述技术方案中，特征点属于图像的局部特征，往往具有一定的鲁棒性，能够适应一定程度的图像拉伸、图像旋转等变形操作，采用特征点来对图像进行配准，能够确保配准的准确率。在第一方面的另一种可能的实现方式中，根据该映射关系，以该待去除反光的图像为基准，对每一幅该参考图像进行以下操作中的至少一种：平移、旋转、伸缩，生成一幅所述估计图像。根据映射关系，通过对参考图像进行平移、旋转、伸缩等操作，能够确保参考图像和待去除反光的图像的配准效果。在第一方面的另一种可能的实现方式中，通过尺度不变特征变换SIFT算法分别对每一幅该参考图像以及该待去除反光的图像进行特征点提取。上述技术方案中，尺度不变特征变换(scale-invariantfeaturetransform，SIFT)算法可以对视角变化、仿射变换、噪声也保持一定程度的稳定性，其区分性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配，即使少数的几个物体也可以产生大量的SIFT特征向量，SIFT匹配算法甚至可以达到实时的要求。在第一方面的另一种可能的实现方式中，对于每一幅该参考图像，分别将该参考图像和该待去除反光的图像输入视角转换模型，得到一幅该估计图像。上述技术方案中，视角转换模型作为一个神经网络模型，具有自主学习的能力，因此，通过视角转换模型的训练和使用，使得得到的估计图像较为准确。其中，该视角转换模型用于将该参考图像转换为在该待去除反光的图像的视角下的该估计图像。在第一方面的另一种可能的实现方式中，对于每一幅该参考图像，分别将该参考图像，该待去除反光的图像以及该待去除反光的图像对应的深度信息输入到该视角转换模型，得到一幅该估计图像。上述技术方案中引入了该待去除反光图像对应的深度信息，由于图像对应的深度信息可以更准确的反应图像的三维立体信息，因此，将参考图像，待去除反光的图像以及待去除反光的图像对应的深度信息输入到视角转换模型，使得视角转换模型可以根据待去除反光的图像对应的深度信息得到较为准确的估计图像。在第一方面的另一种可能的实现方式中，在分别将该参考图像和该待去除反光的图像输入视角转换模型之前，该方法还包括：对于每一幅该参考图像，根据该参考图像和该待去除反光的图像训练得到该视角转换模型。上述技术方案中，可以利用神经网络模型的自主学习能力，对神经网络模型进行训练，得到可以将该参考图像转换为在该待去除反光的图像的视角下的该估计图像的网络模型。在第一方面的另一种可能的实现方式中，根据该待去除反光的图像中像素点的像素值和至少一幅该估计图像中像素点的像素值，确定该待去除反光的图像中与至少一幅该参考图像的重合图像区域的至少一个反光区域。上述技术方案中，可以通过待去除反光的图像中像素点的像素值和至少一幅该估计图像中像素点的像素值确定待去除反光的图像中的至少一个反光区域，计算的复杂度较低。在第一方面的另一种可能的实现方式中，若该待去除反光的图像与至少一幅该参考图像的重合图像区域中对应像素点的像素值的差值大于预设阈值，该像素点组成该待去除反光的图像中的至少一个反光区域。在反光区域中，像素点具有较高亮度值，甚至超出摄像头成像元件的感光范围而达到饱和。因此，通过检测待去除反光的图像和至少一幅参考图像的重合图像区域中的对应像素点的像素值(譬如：图像的亮度分量)的差值，如果其差值大于预设的阈值，则认定这个像素点属于反光点，由这些反光点组成的区域就构成了反光区域。在第一方面的另一种可能的实现方式中，若该待去除反光的图像与至少一幅该参考图像的重合图像区域中对应像素点的像素值的差值小于预设阈值，在该待去除反光的图像中对该像素点进行滤波处理。上述技术方案中，待去除反光的图像与至少一幅该参考图像的本文档来自技高网...

【技术保护点】
1.一种图像去反光的方法，其特征在于，所述方法包括：/n获取同一时刻，针对同一目标，基于不同方位拍摄得到的至少两幅图像，其中，所述至少两幅图像中包括待去除反光的图像和至少一幅参考图像，所述至少一幅参考图像与所述待去除反光的图像不同；/n对于每一幅所述参考图像，根据所述参考图像和所述待去除反光的图像的重合图像区域生成一幅估计图像；/n根据生成的至少一幅所述估计图像，对所述待去除反光的图像进行处理，得到去除反光后的图像。/n

【技术特征摘要】
1.一种图像去反光的方法，其特征在于，所述方法包括：
获取同一时刻，针对同一目标，基于不同方位拍摄得到的至少两幅图像，其中，所述至少两幅图像中包括待去除反光的图像和至少一幅参考图像，所述至少一幅参考图像与所述待去除反光的图像不同；
对于每一幅所述参考图像，根据所述参考图像和所述待去除反光的图像的重合图像区域生成一幅估计图像；
根据生成的至少一幅所述估计图像，对所述待去除反光的图像进行处理，得到去除反光后的图像。


2.根据权利要求1所述的方法，所述根据生成的至少一幅所述估计图像，对所述待去除反光的图像进行处理，得到去除反光后的图像，包括：
根据所述待去除反光的图像和所述生成的至少一幅所述估计图像，确定所述待去除反光的图像中与所述至少一幅所述参考图像的重合图像区域的至少一个反光区域；
在所述待去除反光的图像中，对所述至少一个反光区域中的图像进行恢复，得到所述去除反光后的图像。


3.根据权利要求1或2所述的方法，其特征在于，所述对于每一幅所述参考图像，根据所述参考图像和所述待去除反光的图像的重合图像区域生成一幅估计图像，包括：
分别对每一幅所述参考图像以及所述待去除反光的图像进行特征点提取；
建立每一幅所述参考图像中和所述待去除反光的图像中共有的特征点之间的映射关系；
根据所述映射关系，对每一幅所述参考图像和所述待去除反光的图像进行配准，生成一幅所述估计图像。


4.根据权利要求3所述的方法，其特征在于，所述根据所述映射关系，对每一幅所述参考图像和所述待去除反光的图像进行配准，生成一幅所述估计图像，包括：
根据所述映射关系，以所述待去除反光的图像为基准，对每一幅所述参考图像进行以下操作中的至少一种：平移、旋转和伸缩，生成一幅所述估计图像。


5.根据权利要求3或4所述的方法，其特征在于，所述分别对每一幅所述参考图像以及所述待去除反光的图像进行特征点提取，包括：
通过尺度不变特征变换SIFT算法分别对每一幅所述参考图像以及所述待去除反光的图像进行特征点提取。


6.根据权利要求1至5中任一项所述的方法，其特征在于，所述对于每一幅所述参考图像，根据所述参考图像和所述待去除反光的图像的重合图像区域生成一幅估计图像，包括：
对于每一幅所述参考图像，分别将所述参考图像和所述待去除反光的图像输入视角转换模型，得到一幅所述估计图像，其中，所述视角转换模型用于将所述参考图像转换为在所述待去除反光的图像的视角下的所述估计图像。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
对于每一幅所述参考图像，分别将所述参考图像，所述待去除反光的图像以及所述待去除反光的图像对应的深度信息输入到所述视角转换模型，得到一幅所述估计图像。


8.根据权利要求6或7所述方法，其特征在于，在分别将所述参考图像和所述待去除反光的图像输入视角转换模型之前，所述方法还包括：
对于每一幅所述参考图像，根据所述参考图像和所述待去除反光的图像训练得到所述视角转换模型。


9.根据权利要求2至8中任一项所述的方法，其特征在于，所述根据所述待去除反光的图像和所述生成的至少一幅所述估计图像，确定所述待去除反光的图像中与至少一幅所述参考图像的重合图像区域的至少一个反光区域，包括：
根据所述待去除反光的图像中像素点的像素值和至少一幅所述估计图像中像素点的像素值，确定所述待去除反光的图像中与至少一幅所述参考图像的重合图像区域的至少一个反光区域。


10.根据权利要求9所述的方法，其特征在于，所述根据所述待去除反光的图像中像素点的像素值和至少一幅所述估计图像中像素点的像素值，确定所述待去除反光的图像中与至少一幅所述参考图像的重合图像区域的至少一个反光区域，包括：
若所述待去除反光的图像与至少一幅所述参考图像的重合图像区域中对应像素点的像素值的差值大于预设阈值，所述像素点组成所述待去除反光的图像中的至少一个反光区域。


11.根据权利要求10所述的方法，所述方法还包括：
若所述待去除反光的图像与所述至少一幅所述参考图像的重合图像区域中对应像素点的像素值的差值小于预设阈值，在所述待去除反光的图像中对所述像素点进行滤波处理。


12.根据权利要求1至11中任一项所述的方法，其特征在于，所述根据生成的至少一幅所述估计图像，对所述待去除反光的图像进行处理，得到去除反光后的图像，包括：
根据所述待去除反光的图像中与所述至少一幅所述参考图像的重合图像区域的至少一个反光区域中对应像素点的像素值之差，对所述待去除反光的图像进行处理，得到所述去除反光后的图像。
...

【专利技术属性】
技术研发人员：郭剑艇，孙航，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44