一种图像处理方法、设备、无人机、系统及存储介质技术方案

一种图像处理方法、设备、无人机、系统及存储介质，其中，方法包括：获取第一波段图像和第二波段图像(S201)；对所述第一波段图像和所述第二波段图像进行配准(S202)；对配准后的第二波段图像进行边缘检测，获得边缘图像(S203)；将配准后的第一波段图像和边缘图像进行融合处理，得到目标图像(S204)。采用该方法，可获取到质量较高的图像。

An image processing method, equipment, UAV, system and storage medium

【技术实现步骤摘要】
【国外来华专利技术】一种图像处理方法、设备、无人机、系统及存储介质
本专利技术涉及图像处理
，尤其涉及一种图像处理方法、设备、无人机、系统及存储介质。
技术介绍
随着飞行技术的发展，无人机成为了当前比较热门的研究话题，且被广泛应用于植物保护、航空拍摄、森林火警监控等领域，给人们的生活及工作带来许多便利。在航空拍摄应用中，通常采用一个摄像头对拍摄对象进行拍摄，实践中发现，这样拍摄所得的图像包括的信息单一，例如，采用红外拍摄镜头对拍摄对象进行拍摄，红外拍摄镜头采用红外探测可以获取拍摄对象的红外辐射信息，该红外辐射信息能够较好地反映拍摄对象的温度信息，但是红外拍摄镜头对拍摄场景的亮度变化不敏感，成像的分辨率较低，拍摄得到的图像不能反映拍摄对象的细节特征信息。再例如，采用可见光拍摄镜头对拍摄对象进行拍摄，可见光拍摄镜头可以获取到较高分辨率的图像，能够反映拍摄对象的细节特征信息，但是可见光拍摄镜头不能获取到拍摄对象的红外辐射信息，拍摄得到的图像不能反映拍摄对象的温度信息。因此，如何获取质量较高、所含信息更加丰富的图像成为了研究的热点。
技术实现思路
本专利技术实施例提供了一种图像处理方法、设备、无人机、系统及存储介质，可以获取到较高质量的图像。第一方面，本专利技术实施例提供了一种图像处理方法，该方法包括：获取第一波段图像和第二波段图像；对所述第一波段图像和所述第二波段图像进行配准；对配准后的第二波段图像进行边缘检测，获得边缘图像；将配准后的第一波段图像和所述边缘图像进行融合处理，得到目标图像。第二方面，本专利技术实施例提供了一种图像处理设备，包括存储器和处理器：所述存储器，用于存储程序指令；所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：获取第一波段图像和第二波段图像；对所述第一波段图像和所述第二波段图像进行配准；对配准后的第二波段图像进行边缘检测，获得边缘图像；将配准后的第一波段图像和所述边缘图像进行融合处理，得到目标图像。第三方面，本专利技术实施例提供了一种无人机，包括：机身；设置在机身上的动力系统，用于提供飞行动力；处理器，用于获取第一波段图像和第二波段图像；对所述第一波段图像和所述第二波段图像进行配准；对配准后的第二波段图像进行边缘检测，获得边缘图像；将配准后的第一波段图像和所述边缘图像进行融合处理，得到目标图像。第四方面，本专利技术实施例提供了一种无人机系统，该系统包括：智能终端、图像拍摄装置和无人机；所述智能终端，用于发送飞行控制指令，所述飞行控制指令用于指示无人机按照确定的飞行轨迹进行飞行；所述无人机，用于响应所述飞行控制指令，控制无人机按照所述飞行轨迹进行飞行并控制所述无人机上挂载的所述图像拍摄装置进行拍摄；所述图像拍摄装置，用于通过图像拍摄装置包括的红外拍摄模块获取第一波段图像，通过图像拍摄装置包括的可见光拍摄模块获取第二波段图像；对所述第一波段图像和所述第二波段图像进行配准；对配准后的第二波段图像进行边缘检测，获得边缘图像；将配准后的第一波段图像和所述边缘图像进行融合处理，得到目标图像。第五方面，本专利技术实施例提供一种计算机存储介质，该计算机存储介质存储有计算机程序指令，该计算机程序指令被执行时用于实现上述的第一方面所述的图像处理方法。本专利技术实施例中，通过对获取到的第一波段图像和第二波段图像进行配准，然后对配准后的第二波段图像进行边缘检测得到边缘图像，将配准后的第一波段图像和边缘图像进行融合处理，得到目标图像，该目标图像是配准后的第一波段图形和配准后的第二波段图像的边缘图像融合得到的，因此该目标图像中包括了第一波段图像的信息以及第二波段图像的边缘信息，从该目标图像中可以获取到更多信息量，提高了拍摄图像的质量。附图说明图1为本专利技术实施例提供的一种无人机系统的结构示意图；图2为本专利技术实施例提供的一种图像处理方法的流程示意图；图3为本专利技术实施例提供的另一种图像处理方法的流程示意图；图4为本专利技术实施提供的一种获取待融合图像的梯度场的流程示意图；图5为本专利技术实施例提供的一种获取待融合图像的梯度场的示意图；图6为本专利技术实施例提供的一种计算待融合图像中像素点的颜色值的方法流程示意图；图7为本专利技术实施例提供的一种图像处理设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施提出一种图像处理方法，所述图像处理方法可应用在无人机系统中，所述无人机系统中的无人机上挂载有图像拍摄装置，所述图像处理方法对所述图像拍摄装置所拍摄的第一波段图像和第二波段图像进行配准后，提取配准后的第二波段图像的边缘图像，将边缘图像和配准后的第一波段图像进行融合得到目标图像，该目标图像中既包括了第一波段图像的信息又包括了第二波段图像的边缘信息，从目标图像中可以获取到更多信息量，提高了拍摄图像的质量。本专利技术实施例可以应用于军事国防、遥感探测、环境保护、交通检测或灾情检测等领域，这些领域主要是基于无人机的航拍拍摄得到环境图像，对环境图像进行分析处理得到相应的数据。例如，在环境保护领域中，通过无人机针对某个区域进行拍摄得到该区域的环境图像，如该区域为一个河流所在的区域，对该区域的环境图像进行分析，得到关于该河流水质的数据，根据该河流水质的数据可以判断该河流是否被污染。为了便于理解本专利技术实施所述的图像处理方法，首先介绍本专利技术实施例的一种无人机系统，请参见图1，为本专利技术实施例提供的一种无人机系统的结构示意图，所述无人机系统包括：智能终端101、无人机102以及图像拍摄装置103。所述智能终端101可以是无人机的控制终端，具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的一种或多种。所述无人机102可以是旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机。无人机102包括动力系统，动力系统用于为无人机提供飞行动力，其中，动力系统可包括螺旋桨、电机、电调中的一种或多种。所述图像拍摄装置103用于在接收到拍摄指令时拍摄图像，所述图像拍摄装置配置于所述无人机102上，在一个实施例中，所述无人机102还可以包括云台，所述图像拍摄装置103通过云台挂载于所述无人机102上。所述云台为多轴传动及增稳系统，云台电机通过调整转动轴的转动角度来对图像拍摄装置的拍摄角度进行补偿，并通过设置适当的缓冲机构来防止或减小图像拍摄装置的抖动。在一个实施例中，所述图像拍摄装置103至少包括红外拍摄模块1031和可见光拍摄模块1032，其中，所述红外拍摄模块1031和可见光拍摄本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取第一波段图像和第二波段图像；/n对所述第一波段图像和所述第二波段图像进行配准；/n对配准后的第二波段图像进行边缘检测，获得边缘图像；/n将配准后的第一波段图像和所述边缘图像进行融合处理，得到目标图像。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，其特征在于，包括：
获取第一波段图像和第二波段图像；
对所述第一波段图像和所述第二波段图像进行配准；
对配准后的第二波段图像进行边缘检测，获得边缘图像；
将配准后的第一波段图像和所述边缘图像进行融合处理，得到目标图像。


2.如权利要求1所述的方法，其特征在于，所述对配准后的第二波段图像进行边缘检测，获得边缘图像，包括：
将所述配准后的第二波段图像转换为灰度图像；
对所述灰度图像进行边缘检测，获得边缘图像。


3.如权利要求2所述的方法，其特征在于，所述对所述灰度图像进行边缘检测，获得边缘图像，包括：
对所述灰度图像进行去噪处理，得到去噪后的灰度图像；
对所述去噪后的灰度图像进行边缘增强处理，得到待处理灰度图像；
对所述待处理灰度图像进行边缘检测，获得边缘图像。


4.如权利要求1-3任一项所述的方法，其特征在于，所述将所述第一波段图像和所述边缘图像进行融合处理，得到目标图像，包括：
将所述配准后的第一波段图像和所述边缘图像进行叠加处理，得到待融合图像；
获取所述待融合图像中每个像素点的颜色值；
基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染，并将渲染后的待融合图像确定为目标图像。


5.如权利要求4所述的方法，其特征在于，所述获取所述待融合图像中每个像素点的颜色值，包括：
获取所述待融合图像的梯度场；
基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值；
基于所述待融合图像中每个像素点的散度值以及颜色值计算规则，计算所述待融合图像中每个像素点的颜色值。


6.如权利要求5所述的方法，其特征在于，所述获取所述待融合图像的梯度场，包括：
对所述配准后的第一波段图像进行梯度处理，得到第一中间梯度场；
对所述边缘图像进行梯度处理，得到第二中间梯度场；
分别对所述第一中间梯度场和所述第二中间梯度场进行遮罩处理，得到第一梯度场和第二梯度场；
将所述第一梯度场和所述第二梯度场进行叠加，得到所述待融合图像的梯度场。


7.如权利要求6所述的方法，其特征在于，所述基于所述待融合图像中每个像素点的散度值以及颜色值计算规则，计算所述待融合图像中每个像素点的颜色值，包括：
确定融合约束条件；
获取所述待融合图像的系数矩阵；
将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中，结合所述融合约束条件，计算所述待融合图像中每个像素点的颜色值。


8.如权利要求1-3任一项所述的方法，其特征在于，
所述第一波段图像为红外图像，所述第二波段图像为可见光图像；
所述红外图像是由图像拍摄装置上设置的红外拍摄模块获取的，所述可见光图像是由所述图像拍摄装置上设置的可见光拍摄模块获取的。


9.如权利要求8所述的方法，其特征在于，所述对所述第一波段图像和所述第二波段图像进行配准，包括：
基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。


10.如权利要求9所述的方法，其特征在于，所述基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准，包括：
获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数；
根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作，和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作；
其中，所述调整操作包括以下一种或多种：旋转、缩放、平移、裁剪。


11.如权利要求8所述的方法，其特征在于，所述获取第一波段图像和所述第二波段图像之前，所述方法还包括：
基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外模块与所述可见光拍摄模块进行配准。


12.如权利要求11所述的方法，其特征在于，所述基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外模块与所述可见光拍摄模块进行配准，包括：
根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置，计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值；
若所述位置差值大于或等于预设位置差值，则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置，以使得所述位置差值小于所述预设位置差值。


13.如权利要求11或12所述的方法，其特征在于，所述基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准，包括：
判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件；
若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件，则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置，以使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。


14.如权利要求1所述的方法，其特征在于，所述对配准后的第二波段图像进行边缘检测，得到边缘图像之后，所述方法还包括：
基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息，对所述配准后的第一波段图像和所述边缘图像进行对齐处理。


15.如权利要求14所述的方法，其特征在于，所述基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息，对所述配准后的第一波段图像和所述边缘图像进行对齐处理，包括：
获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息；
确定所述配准后的第一波段图像的特征信息相对所述边缘图像的特征信息的第一偏移量；
根据所述第一偏移量对所述配准后的第一波段图像进行调整。


16.如权利要求15所述的方法，其特征在于，所述基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息，对所述配准后的第一波段图像和所述边缘图像进行对齐处理，包括：
获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息；
确定所述边缘图像的特征信息相对所述配准后的第一波段图像的特征信息的第二偏移量；
根据所述第二偏移对所述边缘图像进行调整。


17.一种图像处理设备，其特征在于，所述图像处理设备包括处理器和存储器，所述处理器和所述存储器相连：
所述存储器，用于存储计算机程序，所述计算机程序包括程序指令；
所述处理器，调用所述程序指令时用于执行：
获取第一波段图像和第二波段图像；
对所述第一波段图像和所述第二波段图像进行配准；
对配准后的第二波段图像进行边缘检测，获得边缘图像；
将配准后的第一波段图像和所述边缘图像进行融合处理，得到目标图像。


18.如权利要求17所述的图像处理设备，其特征在于，所述处理器在对配准后的第二波段图像进行边缘检测，获得边缘图像时，执行如下操作：
将所述配准后的第二波段图像转换为灰度图像；
对所述灰度图像进行边缘检测，获得边缘图像。


19.如权利要求18所述的图像处理设备，其特征在于，所述处理器在对所述灰度图像进行边缘检测，获得边缘图像时，执行如下操作：
对所述灰度图像进行去噪处理，得到去噪后的灰度图像；
对所述去噪后的灰度图像进行边缘增强处理，得到待处理灰度图像；
对所述待处理灰度图像进行边缘检测，获得边缘图像。


20.如权利要求17-19任一项所述的图像处理设备，其特征在于，所述处理器在将所述第一波段图像和所述边缘图像进行融合处理，得到目标图像时，执行如下操作：
将所述配准后的第一波段图像和所述边缘图像进行叠加处理，得到待融合图像；
获取所述待融合图像中每个像素点的颜色值；
基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染，并将渲染后的待融合图像确定为目标图像。


21.如权利要求20所述的图像处理设备，其特征在于，所述处理器在获取所述待融合图像中每个像素点的颜色值时，执行如下操作：
获取所述待融合图像的梯度场；
基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值；
基于所述待融合图像中每个像素点的散度值以及颜色值计算规则，计算所述待融合图像中每个像素点的颜色值。


22.如权利要求21所述的图像处理设备，其特征在于，所述处理器在获取所述待融合图像的梯度场时，执行如下操作：
对所述配准后的第一波段图像进行梯度处理，得到第一中间梯度场；
对所述边缘图像进行梯度处理，得到第二中间梯度场；
分别对所述第一中间梯度场和所述第二中间梯度场进行遮罩处理，得到第一梯度场和第二梯度场；
将所述第一梯度场和所述第二梯度场进行叠加，得到所述待融合图像的梯度场。


23.如权利要求22所述的图像处理设备，其特征在于，所述处理器在基于所述待融合图像中每个像素点的散度值以及颜色值计算规则，计算所述待融合图像中每个像素点的颜色值时，执行如下操作：
确定融合约束条件；
获取所述待融合图像的系数矩阵；
将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中，结合所述融合约束条件，计算所述待融合图像中每个像素点的颜色值。

【专利技术属性】
技术研发人员：翁超，鄢蕾，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44