图像处理方法、图像处理装置、存储介质和电子设备制造方法及图纸

本发明专利技术公开了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，涉及图像处理领域。该图像处理方法包括：获取待处理的激光点云数据和对应的拍摄图像；利用激光点云数据生成待处理的激光图像；将拍摄图像和激光图像输入训练后的模型，确定激光特征图；确定激光特征图中各特征点的深度信息，并基于激光特征图中各特征点的深度信息得到处理后的激光点云数据。本公开可以增强激光点云数据的质量。

【技术实现步骤摘要】
图像处理方法、图像处理装置、存储介质和电子设备
本公开涉及图像处理领域。具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。
技术介绍
在图像处理领域中，具有环境探测和感知设备功能的激光雷达设备得到了重视。激光雷达通过激光测量原理得到的点云称为激光点云，具有三维坐标和激光反射强度等信息。当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。激光器对于一目标对象发出激光束，并按照某种轨迹进行扫描，边扫描边记录反射的激光点信息，通过极为精细的扫描，可以获取大量的激光点信息，因而就可形成激光点云。然而，在环境较差的场景中，激光雷达即使采用精密设备和极为精细的扫描获取激光点信息，形成的激光点云质量依旧很差。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致激光点云数据质量差的问题。根据本公开的第一个方面，提供了一种图像处理方法，包括：获取待处理的激光点云数据和对应的拍摄图像；利用激光点云数据生成待处理的激光图像；将拍摄图像和激光图像输入训练后的模型，确定激光特征图；确定激光特征图中各特征点的深度信息，并基于激光特征图中各特征点的深度信息得到处理后的激光点云数据。根据本公开的第二个方面，提供一种图像处理装置，包括：对象获取模块，用于获取待处理的激光点云数据和对应的拍摄图像；图像生成模块，用于利用激光点云数据生成待处理的激光图像；特征图确定模块，用于将拍摄图像和激光图像输入训练后的模型，确定激光特征图；激光点云确定模块，用于确定激光特征图中各特征点的深度信息，并基于激光特征图中各特征点的深度信息得到处理后的激光点云数据。可选地，对象获取模块包括：点云数据获取单元，用于利用激光雷达获取待处理的激光点云数据；图像获取单元，用于利用相机获取与激光点云数据对应的拍摄图像；其中，激光雷达和相机位置对准，以使激光雷达扫描的场景与相机拍摄的场景一致。激光雷达和相机还可配置为：激光雷达和相机之间的俯仰角小于第一预设阈值，且激光雷达和相机之间的距离小于第二预设阈值。可选地，激光点云确定模块包括：特征采样单元，用于对激光特征图进行采样，得到中间特征图；特征点确定单元，用于确定中间特征图中各特征点的深度信息，并基于中间特征图中各特征点的深度信息，得到处理后的激光点云数据。可选地，图像处理装置还包括：图像去噪模块，用于利用训练后的模型对拍摄图像进行去噪处理，以得到去噪后的拍摄图像。可选地，特征图确定模块包括：图像确定单元，用于确定激光图像的采集范围，并获取与采集范围匹配的拍摄图像作为待处理拍摄图像；图像对准单元，用于若激光图像的尺寸小于待处理拍摄图像的尺寸，对激光图像进行插值处理，以使激光图像和所述待处理拍摄图像的分辨率对准；特征图确定单元，用于将对准后的激光图像和待处理拍摄图像输入训练后的模型，确定激光特征图。可选地，图像处理装置还包括：模型训练模块，可以被配置为执行：获取多组训练样本，每组训练样本包括存在异常对象的同一场景下获取的样本激光点云数据和样本拍摄图像，以及不包含异常对象的正常图像；利用样本激光点云数据、样本拍摄图像以及正常图像对一待训练模型进行训练，以得到训练后的模型。可选地，模型训练模块还可以被配置为执行：利用样本激光点云数据生成样本激光图像；对样本拍摄图像和样本激光图像进行下采样，确定中间图像特征；从中间图像特征中分别提取透射率特征、图像辐射特征和样本激光特征；利用图像辐射特征、样本拍摄图像以及透射率特征确定出目标预测图像；根据目标预测图像与正常图像的比较结果以及样本激光特征对一待训练模型进行训练，以得到训练后的模型。可选地，模型训练模块还可以被配置为执行：根据目标预测图像和基准拍摄图像计算得出第一损失函数；根据样本激光特征和基准激光图像计算得出第二损失函数；基于样本激光特征和图像辐射特征计算得出第三损失函数；基于目标预测图像获取图像灰度特征，并根据图像灰度特征和样本激光特征计算得出第四损失函数；基于目标预测图像和正常图像计算得出第五损失函数；基于第一损失函数、第二损失函数、第三损失函数、第四损失函数以及第五损失函数确定出总损失函数；利用目标预测图像与正常图像的比较结果以及确定出的总损失函数对一待训练模型进行训练，以得到训练后的模型。其中，每组训练样本还包括与样本拍摄图像对应的不存在异常对象的基准拍摄图像和基准激光图像。可选地，模型训练模块还可以被配置为执行：确定样本激光图像的采集范围，并获取与采集范围匹配的样本拍摄图像作为中间拍摄图像；若样本激光图像的尺寸小于中间拍摄图像的尺寸，对样本激光图像进行插值处理，以使样本激光图像和中间拍摄图像的分辨率对准；针对对准后的样本激光图像和中间拍摄图像进行下采样，确定中间图像特征。根据本公开的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述的图像处理方法。根据本公开的第四个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述的图像处理方法。本公开的示例性实施例具有以下有益效果：在本公开的一些实施例所提供的技术方案中，首先，获取待处理的激光点云数据和对应的拍摄图像；接下来，利用激光点云数据生成待处理的激光图像；然后，将拍摄图像和激光图像输入训练后的模型，确定激光特征图；随后，确定激光特征图中各特征点的深度信息，并基于激光特征图中各特征点的深度信息得到处理后的激光点云数据。一方面，将待处理的激光点云数据生成激光图像，并将激光图像和拍摄图像输入训练后的模型进行图像处理后，得到处理后激光图像，进而基于激光图像各特征点的深度信息得出处理后的激光点云数据，提高了获取激光点云数据的深度信息的能力，进而可以增强激光点云的质量。另一方面，利用激光点云数据生成待处理的激光图像，使得输入训练后模型的对象的类型相同，提高了激光点云数据的处理效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示意性示出了雾霾天气下的图像合成原理示意图；图2示意性示出了根据本公开的示例性实施方式的生成对抗网络的结构示意图；图3示意性示出了根据本公开的示例性实施方式的图像处理方法的流程图；图4示意性示出了根据本公开的示例性实施方式的图像处理装置本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理的激光点云数据和对应的拍摄图像；/n利用所述激光点云数据生成待处理的激光图像；/n将所述拍摄图像和所述激光图像输入训练后的模型，确定激光特征图；/n确定所述激光特征图中各特征点的深度信息，并基于所述激光特征图中各特征点的深度信息得到处理后的激光点云数据。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理的激光点云数据和对应的拍摄图像；
利用所述激光点云数据生成待处理的激光图像；
将所述拍摄图像和所述激光图像输入训练后的模型，确定激光特征图；
确定所述激光特征图中各特征点的深度信息，并基于所述激光特征图中各特征点的深度信息得到处理后的激光点云数据。


2.根据权利要求1所述的图像处理方法，其特征在于，获取待处理的激光点云数据和对应的拍摄图像包括：
利用激光雷达获取待处理的激光点云数据；
利用相机获取与所述激光点云数据对应的拍摄图像；
其中，所述激光雷达与所述相机位置对准，以使所述激光雷达扫描的场景与所述相机拍摄的场景一致。


3.根据权利要求2所述的图像处理方法，其特征在于，所述激光雷达和所述相机位置对准包括：
所述激光雷达和所述相机之间的俯仰角小于第一预设阈值，所述激光雷达和所述相机之间的距离小于第二预设阈值。


4.根据权利要求1至3任一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
利用所述训练后的模型对所述拍摄图像进行去噪处理，以得到去噪后的拍摄图像。


5.根据权利要求1至3任一项所述的图像处理方法，其特征在于，将所述拍摄图像和所述激光图像输入训练后的模型，确定激光特征图包括：
确定所述激光图像的采集范围，并获取与所述采集范围匹配的所述拍摄图像作为待处理拍摄图像；
若所述激光图像的尺寸小于所述待处理拍摄图像的尺寸，对所述激光图像进行插值处理，以使所述激光图像和所述待处理拍摄图像的分辨率对准；
将对准后的所述激光图像和所述待处理拍摄图像输入训练后的模型，确定激光特征图。


6.根据权利要求1至3任一项所述的图像处理方法，其特征在于，确定所述激光特征图中各特征点的深度信息，并基于所述激光特征图中各特征点的深度信息得到处理后的激光点云数据包括：
对所述激光特征图进行特征点采样，得到中间特征图；
确定所述中间特征图中各特征点的深度信息，并基于所述中间特征图中各特征点的深度信息，得到处理后的激光点云数据。


7.根据权利要求1至3任一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
获取多组训练样本，每组训练样本包括存在异常对象的同一场景下获取的样本激光点云数据和样本拍摄图像，以及不包含所述异常对象的正常图像；
利用所述样本激光点云数据、所述样本拍摄图像以及所述正常图像对一待训练模型进行训练，以得到所述训练后的模型。


8.根据权利要求7所述的图像处理方法，其特征在于，利用所述样本激光点云数据、所述样本拍摄图像以及所述正常图像对一待训练模型进行训练，以得到所述训练后的模型包括：
利用所述样本激光点云数据生成样本激光图像；
对所述样本拍摄图像和所述样本激光图像进...

【专利技术属性】
技术研发人员：李艳丽，陈伟，孙旋，赫桂望，蔡金华，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：北京;11