目标场景图像融合方法和装置制造方法及图纸

本发明专利技术公开了一种目标场景图像融合方法和装置，包括：获取目标场景的深度图像；获取目标场景在激光照明下的第一灰度图像；获取目标场景在无激光照明下的第二灰度图像；获取深度图像、第一灰度图像和第二灰度图像的共同图像特征，和各自的特有图像特征；根据共同图像特征和特有图像特征，重构目标场景图像。本发明专利技术通过深度图像与灰度图像的融合，能够优化图像精度，提高识别效率。

Image Fusion Method and Device for Target Scene

The invention discloses a target scene image fusion method and device, which includes: acquiring the depth image of the target scene; acquiring the first gray image of the target scene under laser illumination; acquiring the second gray image of the target scene without laser illumination; acquiring the common image features of the depth image, the first gray image and the second gray image, and respective unique image features. According to common image features and special image features, the target scene image is reconstructed. The method can optimize the image accuracy and improve the recognition efficiency by fusing the depth image with the gray image.

【技术实现步骤摘要】
目标场景图像融合方法和装置
本专利技术涉及探测领域，特别涉及目标场景图像融合方法和装置。
技术介绍
激光三维成像作为数据获取的一种重要手段，在许多
都有着广泛的应用，如航空航天、仿形加工、机器视觉、自动驾驶汽车、无人机、安全监视等领域。基于飞行时间(TimeofFlight，TOF)测距法的激光三维成像设备是获取三维信息的常用设备，获得越来越广泛的应用。现有技术中，激光三维成像设备存在图像精度差，识别效率低的问题。
技术实现思路
本专利技术实施例提供了目标场景图像融合方法和装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。第一方面，本专利技术实施例提供了一种目标场景图像融合方法，包括：获取目标场景的深度图像；获取目标场景在激光照明下的第一灰度图像；获取目标场景在无激光照明下的第二灰度图像；获取深度图像、第一灰度图像和第二灰度图像的共同图像特征，和各自的特有图像特征；根据共同图像特征和特有图像特征，重构目标场景图像。可选的，获取共同图像特征和特有图像特征，包括：获取深度图像、第一灰度图像和第二灰度图像的稀疏化图像特征；根据稀疏化图像特征，获取共同图像特征和特有图像特征。可选的，获取稀疏化图像特征，包括：对深度图像、第一灰度图像和第二灰度图像进行稀疏编码，获取原子集和系数矩阵，原子集和系数矩阵用于表征稀疏化图像特征。可选的，根据稀疏化图像特征，获取共同图像特征和特有图像特征，包括：根据原子集和系数矩阵，获取共同原子集和特有原子集，共同原子集与共同图像特征相关，特有原子集与特有图像特征相关。可选的，根据共同图像特征和特有图像特征，重构目标场景图像，包括：根据共同原子集和特有原子集，获取重构原子集；根据重构原子集和系数矩阵，重构目标场景图像。可选的，根据共同原子集和特有原子集，获取重构原子集，包括：获取特征权重；根据共同原子集和特有原子集，和特征权重，获取重构原子集。可选的，还包括：根据最优原子数目原则，确定原子数；根据最小冗余最大相关原则和原子数，对原子集进行优化，获取优化原子集。可选的，获取共同图像特征和特有图像特征之前，还包括：滤除深度图像中高于信号强度上限阈值和低于信号强度下限阈值的部分图像。第二方面，本专利技术实施例提供了一种目标场景图像融合装置，其特征在于，包括深度传感器、灰度传感器、激光器和处理器，其中：激光器，用于对目标场景进行激光照明；深度传感器，用于获取目标场景的深度图像；灰度传感器，用于获取目标场景在激光照明下的第一灰度图像；获取目标场景在无激光照明下的第二灰度图像；处理器，用于获取深度图像、第一灰度图像和第二灰度图像的共同图像特征，和各自的特有图像特征；根据共同图像特征和特有图像特征，重构目标场景图像。可选的，灰度传感器包括第一灰度传感器和第二灰度传感器，其中：第一灰度传感器，用于获取目标场景在激光照明下的第一灰度图像；第二灰度传感器，用于获取目标场景在无激光照明下的第二灰度图像。本专利技术实施例公开的技术方案，用于对目标场景深度信息与灰度信息进行融合，能够融合深度图像和灰度图像中的有效信息，滤除无关和冗余信息，进而得到可包含更多目标场景识别信息的融合图像。同时，通过深度图像与灰度图像的融合，能够优化图像精度，提高识别效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是一示例性实施例中目标场景图像融合装置的流程图；图2是一示例性实施例中目标场景图像融合装置的示意图；图3是一示例性实施例中目标场景图像融合装置的示意图。具体实施方式以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本专利技术的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“专利技术”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的专利技术，不是要自动地限制该应用的范围为任何单个专利技术或专利技术构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。本专利技术实施例公开了一种目标场景图像融合方法，如图1所示，包括：S101、获取目标场景的深度图像；S102、获取目标场景在激光照明下的第一灰度图像；S103、获取目标场景在无激光照明下的第二灰度图像；S104、获取深度图像、第一灰度图像和第二灰度图像的共同图像特征，和各自的特有图像特征；S105、根据共同图像特征和特有图像特征，重构目标场景图像。深度图像可以用于表达三维场景信息，其每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近。获取深度图像的方法可以分为两类：被动测距和主动测距。被动测距可以包括三角原理测距法，即通过双目立体视觉方式获取视差信息，并将视差信息转换为可用于表征场景中物体的深度信息。主动测距可以包括飞行时间(TimeofFlight，TOF)测距法，结构光测距法和激光雷达等，对目标场景进行测距，获取目标场景的深度图像。在S101中，可以采用任一种或多种测距方式的组合，获取目标场景的深度图像。灰度图像是每个像素点的颜色存在变化的图像，可以是单一颜色，可以是多种颜色，如红、绿、蓝等，可以是亮度，也可以是热辐射等。灰度图像用以表征目标的反射或辐射特性，携带目标的特征。灰度传感器是用于获取灰度图像的器件，典型的包括黑白摄像头、彩色摄像头、红外热像仪或像增强器等。在S102中，第一灰度图像可以用于表征在激光照明下的回波强度或反射率。在S103中，第一灰度图像可以用于表征在散射光照明下的回波强度或反射率。深度图像和灰度图像是对同一目标场景的不同模态的表达，两种图像之间存在重复的信息，具有大量的空间相关冗余和结构相关冗余。空间相关冗余是指相邻位置之间的像素具有很大的相关性，结构相关冗余是指图像中反复出现相同或相近的纹理特征。在目标场景的识别检测过程中，冗余信息会使图像数据量增加，进而增加提取特征向量的维度，影响后续使用过程中的匹配效率和精度。在S104中，获取深度图像、第一灰度图像和第二灰度图像的共同图像特征θC，和各自的特有图像特征，分别记为θ1、θ2和θ3，由此，深度图像的特征θD可以表示为θD＝θC+θ1，第一灰度图像的特征θL可以表示为θL＝θC+θ2，第二灰度图像的特征θH可以表示为θH＝θC+θ3。在S本文档来自技高网...

【技术保护点】
1.一种目标场景图像融合方法，其特征在于，包括：获取所述目标场景的深度图像；获取所述目标场景在激光照明下的第一灰度图像；获取所述目标场景在无激光照明下的第二灰度图像；获取所述深度图像、所述第一灰度图像和所述第二灰度图像的共同图像特征，和各自的特有图像特征；根据所述共同图像特征和所述特有图像特征，重构目标场景图像。

【技术特征摘要】
1.一种目标场景图像融合方法，其特征在于，包括：获取所述目标场景的深度图像；获取所述目标场景在激光照明下的第一灰度图像；获取所述目标场景在无激光照明下的第二灰度图像；获取所述深度图像、所述第一灰度图像和所述第二灰度图像的共同图像特征，和各自的特有图像特征；根据所述共同图像特征和所述特有图像特征，重构目标场景图像。2.如权利要求1所述的方法，其特征在于，获取所述共同图像特征和所述特有图像特征，包括：获取所述深度图像、所述第一灰度图像和所述第二灰度图像的稀疏化图像特征；根据所述稀疏化图像特征，获取所述共同图像特征和所述特有图像特征。3.如权利要求2所述的方法，其特征在于，获取所述稀疏化图像特征，包括：对所述深度图像、所述第一灰度图像和所述第二灰度图像进行稀疏编码，获取原子集和系数矩阵，所述原子集和所述系数矩阵用于表征所述稀疏化图像特征。4.如权利要求3所述的方法，其特征在于，根据所述稀疏化图像特征，获取所述共同图像特征和所述特有图像特征，包括：根据所述原子集和所述系数矩阵，获取共同原子集和特有原子集，所述共同原子集与所述共同图像特征相关，所述特有原子集与所述特有图像特征相关。5.如权利要求4所述的方法，其特征在于，根据所述共同图像特征和所述特有图像特征，获取所述目标场景图像，包括：根据所述共同原子集和所述特有原子集，获取重构原子集；根据所述重构原子集和所述系数矩阵，获取所述目标场景图像。6....

【专利技术属性】
技术研发人员：杜晨光，
申请(专利权)人：洛伦兹北京科技有限公司，
类型：发明
国别省市：北京,11