图像处理方法、设备、可移动平台、无人机及存储介质技术

本发明专利技术实施例提供了一种图像处理方法、设备、可移动平台、无人机及存储介质，其中，方法包括：获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；对目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；根据所述置信度特征图，确定所述目标图像数据中目标区域的位置。通过这种方式，可自动生成置信度特征图，实现了快速、高效地识别目标图像数据中的目标区域。

Image processing method, equipment, mobile platform, UAV and storage medium

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、设备、可移动平台、无人机及存储介质
本专利技术涉及控制
，尤其涉及一种图像处理方法、设备、可移动平台、无人机及存储介质。
技术介绍
目前可移动平台(如无人机、无人车、无人船)的发展越来越重要，发展速度越来越快。可移动平台的应用非常多，其中，以挂载有拍摄装置的无人机为例，无人机在航拍技术上的应用尤为广泛。然而，传统的无人机的航拍技术在拍摄过程中无法自动识别所拍摄图像中某图像区域中目标对象的数量，需依靠人工来判断拍摄图像中该图像区域中目标对象的数量，这种方法操作繁琐，效率较低。因此如何更高效、快速地识别目标对象成为研究的重点。
技术实现思路
本专利技术实施例提供了一种图像处理方法、设备、可移动平台、无人机及存储介质，可高效、快速地自动识别出目标图像数据中的目标区域。第一方面，本专利技术实施例提供了一种图像处理方法，包括：获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；对目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；根据所述置信度特征图，确定所述目标图像数据中目标区域的位置。第二方面，本专利技术实施例提供了另一种图像处理方法，包括：获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；对所述目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；根据所述置信度特征图，确定所述目标图像数据上具有相同语义类别的目标对象的数量。第三方面，本专利技术实施例提供了一种图像处理设备，包括存储器和处理器；所述存储器，用于存储程序指令；所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；对目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；根据所述置信度特征图，确定所述目标图像数据中目标区域的位置。第四方面，本专利技术实施例提供了另一种图像处理设备，包括存储器和处理器；所述存储器，用于存储程序指令；所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；对所述目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；根据所述置信度特征图，确定所述目标图像数据上具有相同语义类别的点数据的数量。第五方面，本专利技术实施例提供了一种可移动平台，包括：存储器和处理器；所述存储器，用于存储程序指令；所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；对目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；根据所述置信度特征图，确定所述目标图像数据中目标区域的位置。第六方面，本专利技术实施例提供了另一种可移动平台，包括：存储器和处理器；所述存储器，用于存储程序指令；所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；对所述目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；根据所述置信度特征图，确定所述目标图像数据上具有相同语义类别的目标对象的数量。第七方面，本专利技术实施例提供了一种无人机，所述无人机包括：机身；设置于所述机身上的动力系统，用于提供飞行动力；如上述第三方面或第四方面所述的图像处理设备。第八方面，本专利技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面或第二方面所述的图像处理方法。本专利技术实施例中，图像处理设备可以获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据，并对目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图，以及根据所述置信度特征图，确定所述目标图像数据中目标区域的位置。通过这种实施方式，实现了快速、高效地识别目标图像数据中的目标区域，从而提高图像处理效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种图像处理系统的结构示意图；图2是本专利技术实施例提供的一种图像处理方法的流程示意图；图3a是本专利技术实施例提供的一种置信度特征图的示意图；图3b是本专利技术实施例提供的一种目标图像数据的界面示意图；图4是本专利技术实施例提供的一种标记目标对象的示意图；图5是本专利技术实施例提供的另一种图像处理方法的流程示意图；图6是本专利技术实施例提供的目标场景三维重建方法一实施例中参考帧选取的示意图；图7是本专利技术实施例提供的一种图像处理设备的结构示意图；图8是本专利技术实施例提供的另一种图像处理设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合附图，对本专利技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。在本专利技术实施例提供的图像处理方法可以由一种图像处理系统执行，所述图像处理系统包括图像处理设备和可移动平台。在某些实施例中，所述图像处理设备可以设置在配置有负载(如拍摄装置、红外探测装置、测绘仪等)的可移动平台(如无人机)上。在其他实施例中，所述图像处理设备还可以设置在其他可移动设备上，如能够自主移动的机器人、无人车、无人船等可移动设备。在某些实施例中，所述图像处理设备可以是可移动平台的部件，即所述可移动平台包括所述图像处理设备；在其他实施例中，所述图像处理设备还可以在空间上独立于可移动平台。下面结合附图对本专利技术实施例中的图像处理系统进行举例说明。具体请参见图1，图1是本专利技术实施例提供的一种图像处理系统的结构示意图，如图1所示的图像处理系统包括：图像处理设备11和可移动平台12，所述图像处理设备11可以为可移动平台12的控制终端，具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的任意一种或多种本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；/n对目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；/n根据所述置信度特征图，确定所述目标图像数据中目标区域的位置。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，其特征在于，包括：
获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；
对目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；
根据所述置信度特征图，确定所述目标图像数据中目标区域的位置。


2.根据权利要求1所述的方法，其特征在于，对所述目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图，包括：
基于语义识别模型处理所述目标图像数据，以获得所述目标图像数据中每个像素点所具有的语义类别和语义的置信度；
根据所述目标图像数据对应的位置数据、高度数据以及所述目标图像数据中每个像素点所具有的语义类别和语义的置信度，生成包含语义类别和语义的置信度的点云数据；
根据所述包含语义类别和语义的置信度的点云数据，生成所述置信度特征图。


3.根据权利要求2所述的方法，其特征在于，
所述点云数据和所述置信度特征图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义类别。


4.根据权利要求3所述的方法，其特征在于，所述对所述目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图之后，还包括：
根据所述置信度特征图中每个点数据的语义的置信度，对所述置信度特征图进行后处理；
根据后处理的结果更新所述置信度特征图。


5.根据权利要求4所述的方法，其特征在于，所述根据所述置信度特征图中每个点数据的语义的置信度，对所述置信度特征图进行后处理，包括：
检测所述置信度特征图中每个点数据的语义的置信度；
对所述置信度特征图中语义的置信度小于或等于预设置信度阈值的点数据进行删除处理；
所述根据后处理的结果更新所述置信度特征图，包括：
基于所述删除处理后的点云数据，更新所述置信度特征图。


6.根据权利要求5所述的方法，其特征在于，所述根据所述置信度特征图，确定所述目标图像数据中目标区域的位置，包括：
获取所述置信度特征图中每个点数据的位置数据和语义类别；
根据所述置信度特征图中每个点数据的位置数据和语义类别，确定所述置信度特征图中具有相同语义类别的图像区域；
根据所述置信度特征图中具有相同语义类别的图像区域，确定所述目标图像数据中目标区域的位置数据。


7.根据权利要求6所述的方法，其特征在于，所述根据所述置信度特征图，确定所述目标图像数据中目标区域的位置之后，还包括：
根据所述目标图像数据中目标区域的位置和语义类别，规划航线；
控制可移动平台按照所述航线移动。


8.根据权利要求6所述的方法，其特征在于，所述根据所述目标图像数据中目标区域的位置和语义类别，规划航线，包括：
根据所述置信度特征图上具有不同语义类别的图像区域，对不同语义类别的图像区域进行分类；
根据不同类别的图像区域，规划各类别的图像区域对应的航线。


9.根据权利要求7所述的方法，其特征在于，所述控制可移动平台按照所述航线移动，包括：
在控制所述可移动平台按照所述航线移动的过程中，判断所述可移动平台的当前位置在所述置信度特征图中所对应的语义类别是否与目标任务的语义类别相匹配；
如果判断结果为是，则控制所述可移动平台执行所述目标任务。


10.根据权利要求7-9任一项所述的方法，其特征在于，
所述可移动平台包括无人机或者按照航线自动行驶的无人车。


11.根据权利要求9所述的方法，其特征在于，还包括：
在控制所述可移动平台按照所述航线移动的过程中，控制所述可移动平台在所述航线中的标记点停留，以执行与目标任务对应的预定操作。


12.根据权利要求11所述的方法，其特征在于，所述预定操作包括农药喷洒操作。


13.根据权利要求12所述的方法，其特征在于，所述农药喷洒操作包括围绕指定点进行环形喷洒的操作。


14.根据权利要求1所述的方法，其特征在于，
所述目标图像数据包括彩色图像；或者，
所述目标图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述目标图像数据包括正射影像；或者，
所述目标图像数据包括正射影像和所述正射影像对应的景深数据。


15.根据权利要求2所述的方法，其特征在于，所述基于语义识别模型处理所述目标图像数据之前，还包括：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。


16.根据权利要求15所述的方法，其特征在于，所述基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型，包括：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。


17.一种图像处理方法，其特征在于，包括：
获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；
对所述目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；
根据所述置信度特征图，确定所述目标图像数据上具有相同语义类别的目标对象的数量。


18.根据权利要求17所述的方法，其特征在于，所述根据所述置信度特征图，确定所述目标图像数据上具有相同语义的目标对象的数量，包括：
根据所述置信度特征图上各点数据的语义类别，对所述置信度特征图上不同语义类别的点数据进行分类；
计算所述置信度特征图上不同类别的点数据的数量；
确定所述置信度特征图上不同类别的点数据的数量为所述目标图像数据上具有相同语义的目标对象的数量。


19.根据权利要求17所述的方法，其特征在于，所述对所述目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图，包括：
基于语义识别模型处理所述目标图像数据，以获得所述目标图像数据中每个像素点所具有的语义类别和语义的置信度；
根据所述目标图像数据对应的位置数据、高度数据以及所述目标图像数据中每个像素点所具有的语义类别和语义的置信度，生成包含语义类别和语义的置信度的点云数据；
根据所述包含语义类别和语义的置信度的点云数据，生成所述置信度特征图。


20.根据权利要求19所述的方法，其特征在于，
所述点云数据和所述置信度特征图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义类别；
所述点云数据包含的每个点数据与所述目标图像数据中的每个像素点对应。


21.根据权利要求20所述的方法，其特征在于，所述对所述目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图之后，还包括：
根据所述置信度特征图中每个点数据的语义的置信度，对所述置信度特征图进行后处理；
根据后处理的结果更新所述置信度特征图。


22.根据权利要求21所述的方法，其特征在于，所述根据所述置信度特征图中每个点数据的语义的置信度，对所述置信度特征图进行后处理，包括：
检测所述置信度特征图中每个点数据的语义的置信度；
对所述置信度特征图中语义的置信度小于或等于预设置信度阈值的点数据进行删除处理；
所述根据后处理的结果更新所述置信度特征图，包括：
基于所述删除处理后的点云数据，更新所述置信度特征图。


23.根据权利要求17所述的方法，其特征在于，
所述目标图像数据包括彩色图像；或者，
所述目标图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述目标图像数据包括正射影像；或者，
所述目标图像数据包括正射影像和所述正射影像对应的景深数据。


24.根据权利要求19所述的方法，其特征在于，所述基于语义识别模型处理所述目标图像数据之前，还包括：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。


25.根据权利要求24所述的方法，其特征在于，所述基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型，包括：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。


26.一种图像处理设备，其特征在于，所述设备包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，调用存储器中存储的程序指令，用于执行如下步骤：
获取目标图像数据，所述目标图像数据包括目标图像以及所述目标图像中各像素点对应的景深数据；
对目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图；
根据所述置信度特征图，确定所述目标图像数据中目标区域的位置。


27.根据权利要求26所述的设备，其特征在于，所述处理器对所述目标图像数据进行处理，得到所述目标图像数据的语义的置信度特征图时，具体用于：

【专利技术属性】
技术研发人员：任创杰，李鑫超，李思晋，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44