无人机航线自动校正方法和装置制造方法及图纸

本申请提供一种无人机航线自动校正方法和装置，在基于获取的规划航线飞行的过程中，获得摄像设备在各个航拍点按预设的云台角度拍摄得到的图像。利用预先训练得到的识别模型得到各张图像中目标对象的定位信息，并基于定位信息判定云台超限时，对拍摄图像时的航拍点进行校正，进而基于校正后的航拍点对规划航线进行校正得到更新航线。本方案中，采用预先训练得到识别模型的方式，可以对规划航线中各个航拍点的图像进行识别检测，进而自动修正航线，避免了人工识别调整所存在的效率低下的问题。题。题。

【技术实现步骤摘要】
无人机航线自动校正方法和装置


[0001]本申请涉及无人机
，具体而言，涉及一种无人机航线自动校正方法和装置。

技术介绍

[0002]当前，无人驾驶软件和云台之间通过数据通讯，实现了无人机在规划的航行任务中，云台根据所设置的航拍点并按预设的俯仰角度自动进行拍摄，将拍摄到的图像数据进行下一步应用处理。但航线验证过程中可能存在航拍点云台超限的现象，目前通常的处理方式是，在航线验证阶段通过逐点人工编辑来调整云台角度，避免无效航拍点。现有技术中，缺少一种自动计算调整角度的方法，来有效避免云台旋转角度超限带来的对云台的破坏。

技术实现思路

[0003]本申请的目的包括，例如，提供了一种无人机航线自动校正方法和装置，其能够自动修正航线，避免了人工识别调整所存在的效率低下的问题。
[0004]本申请的实施例可以这样实现：
[0005]第一方面，本申请提供一种无人机航线自动校正方法，应用于搭载有摄像设备的无人机，所述摄像设备搭载于云台上，所述方法包括：
[0006]获取规划航线，所述规划航线包括多个航拍点，各所述航拍点对应有预设的云台角度；
[0007]在所述无人机基于所述规划航线飞行的过程中，获得所述摄像设备在各个航拍点按照预设的云台角度拍摄得到的图像；
[0008]将各张图像导入预先训练得到的识别模型中，在所述识别模型输出结果表征所述图像中包括目标对象时，获得所述目标对象的定位信息；
[0009]基于所述目标对象的定位信息判断所述摄像设备拍摄所述图像时所述云台是否处于超限状态，若处于超限状态，则对拍摄所述图像时的航拍点进行校正；
[0010]基于校正后的航拍点对规划航线进行校正，得到更新航线。
[0011]在可选的实施方式中，所述无人机还配置有激光设备；
[0012]所述获取规划航线的步骤，包括：
[0013]获取所述激光设备采集的目标对象的三维点云数据；
[0014]结合所述摄像设备采集的目标对象的图像信息及所述三维点云数据，构建三维点云模型；
[0015]根据所述三维点云模型及选择的巡检模式，自动生成多个航拍点，基于所述多个航拍点获得规划航线。
[0016]在可选的实施方式中，所述方法还包括预先基于深度残差网络模型构建识别模型的步骤，所述深度残差网络模型包括残差子网络、注意力机制子网络和分类器；
[0017]所述步骤包括：
[0018]采集多张样本图像，各所述样本图像中具有目标对象，各所述样本图像携带有目标对象的定位标签和分类标签；
[0019]将各所述样本图像导入所述深度残差网络模型中的残差子网络，输出各所述样本图像的特征图；
[0020]将所述特征图导入所述注意力机制子网络进行空间位置定位处理及冗余信息去除处理，输出各所述特征图中目标对象的定位信息以及冗余处理后的各特征图；
[0021]将冗余处理后的各特征图导入所述分类器中，输出各所述特征图中的目标对象的分类信息；
[0022]基于各所述样本图像的定位标签、分类标签、定位信息和分类信息，对所述深度残差网络模型进行调整后继续训练，直至满足预设要求时得到所述识别模型。
[0023]在可选的实施方式中，所述残差子网络包括多个残差模块，每个残差模块包括多层残差学习单元及非线性变化层；
[0024]所述将各所述样本图像导入所述深度残差网络模型中的残差子网络，输出各所述样本图像的特征图的步骤，包括：
[0025]针对各所述样本图像，将所述样本图像导入所述深度残差网络模型中，依次利用各个残差模块中的各层残差学习单元对所述样本图像进行处理得到特征图；
[0026]利用所述非线性变化层并基于预设阈值对特征图进行收缩处理。
[0027]在可选的实施方式中，所述利用所述非线性变化层并基于预设阈值对特征图进行收缩处理的步骤，包括：
[0028]针对导入所述非线性变化层中的各所述特征图，将所述特征图中特征值的绝对值小于或等于预设阈值的通道的特征值置于0，将所述特征图中特征值的绝对值大于所述预设阈值的通道的特征值向0的方向进行收缩。
[0029]在可选的实施方式中，所述非线性变化层包括依次连接的全局平均池化层、第一全连接层、第二全连接层；
[0030]所述预设阈值通过以下方式获得：
[0031]利用所述全局平均池化层对导入的特征图进行全局平均池化处理，得到一维特征向量；
[0032]利用所述第一全连接层和第二全连接层对所述一维特征向量进行处理，并对处理结果进行归一化得到缩放参数；
[0033]根据所述缩放参数和所述全局平均池化层输出的一维特征向量，计算得到所述预设阈值。
[0034]在可选的实施方式中，所述注意力机制子网络包括通道注意力模块和空间注意力模块；
[0035]所述将所述特征图导入所述注意力机制子网络进行空间位置定位处理及冗余信息去除处理的步骤，包括：
[0036]将所述特征图输入到所述通道注意力模块，以抑制所述特征图中的噪声信息，去除冗余信息；
[0037]将所述特征图分别再输入所述通道注意力模块和所述空间注意力模块进行处理，
将处理结果再一并导入到空间注意力模块，结合该空间注意力模块的输出结果和输入的特征进行残差结合处理，基于残差结合处理结果得到空间位置定位信息。
[0038]在可选的实施方式中，所述方法还包括测试所述识别模型的步骤，该步骤包括：
[0039]采集多张测试图像，各所述测试图像中具有目标对象，各所述测试图像携带有目标对象的真实定位信息和真实分类信息；
[0040]将各张测试图像导入所述识别模型中，输出各张测试图像的输出定位信息和输出分类信息；
[0041]基于多张测试图像的真实定位信息、真实分类信息、输出定位信息和输出分类信息，计算得到所述识别模型的识别准确率。
[0042]在可选的实施方式中，所述对拍摄所述图像时的航拍点进行校正的步骤，包括：
[0043]基于在所述航拍点拍摄的图像中目标对象的定位信息，计算新的航拍距离和拍摄角度；
[0044]根据所述航拍距离和拍摄角度所述航拍点进行校正。
[0045]第二方面，本申请提供一种无人机航线自动校正装置，应用于搭载有摄像设备的无人机，所述摄像设备搭载于云台上，所述装置包括：
[0046]获取模块，用于获取规划航线，所述规划航线包括多个航拍点，各所述航拍点对应有预设的云台角度；
[0047]获得模块，用于在所述无人机基于所述规划航线飞行的过程中，获得所述摄像设备在各个航拍点按照预设的云台角度拍摄得到的图像；
[0048]识别模块，用于将各张图像导入预先训练得到的识别模型中，在所述识别模型输出结果表征所述图像中包括目标对象时，获得所述目标对象的定位信息；
[0049]第一校正模块，用于基于所述目标对象的定位信息判断所述摄像设备拍摄所述图像时所述云台是否处于超限状态，若本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机航线自动校正方法，其特征在于，应用于搭载有摄像设备的无人机，所述摄像设备搭载于云台上，所述方法包括：获取规划航线，所述规划航线包括多个航拍点，各所述航拍点对应有预设的云台角度；在所述无人机基于所述规划航线飞行的过程中，获得所述摄像设备在各个航拍点按照预设的云台角度拍摄得到的图像；将各张图像导入预先训练得到的识别模型中，在所述识别模型输出结果表征所述图像中包括目标对象时，获得所述目标对象的定位信息；基于所述目标对象的定位信息判断所述摄像设备拍摄所述图像时所述云台是否处于超限状态，若处于超限状态，则对拍摄所述图像时的航拍点进行校正；基于校正后的航拍点对规划航线进行校正，得到更新航线。2.根据权利要求1所述的无人机航线自动校正方法，其特征在于，所述无人机还配置有激光设备；所述获取规划航线的步骤，包括：获取所述激光设备采集的目标对象的三维点云数据；结合所述摄像设备采集的目标对象的图像信息及所述三维点云数据，构建三维点云模型；根据所述三维点云模型及选择的巡检模式，自动生成多个航拍点，基于所述多个航拍点获得规划航线。3.根据权利要求1所述的无人机航线自动校正方法，其特征在于，所述方法还包括预先基于深度残差网络模型构建识别模型的步骤，所述深度残差网络模型包括残差子网络、注意力机制子网络和分类器；所述步骤包括：采集多张样本图像，各所述样本图像中具有目标对象，各所述样本图像携带有目标对象的定位标签和分类标签；将各所述样本图像导入所述深度残差网络模型中的残差子网络，输出各所述样本图像的特征图；将所述特征图导入所述注意力机制子网络进行空间位置定位处理及冗余信息去除处理，输出各所述特征图中目标对象的定位信息以及冗余处理后的各特征图；将冗余处理后的各特征图导入所述分类器中，输出各所述特征图中的目标对象的分类信息；基于各所述样本图像的定位标签、分类标签、定位信息和分类信息，对所述深度残差网络模型进行调整后继续训练，直至满足预设要求时得到所述识别模型。4.根据权利要求3所述的无人机航线自动校正方法，其特征在于，所述残差子网络包括多个残差模块，每个残差模块包括多层残差学习单元及非线性变化层；所述将各所述样本图像导入所述深度残差网络模型中的残差子网络，输出各所述样本图像的特征图的步骤，包括：针对各所述样本图像，将所述样本图像导入所述深度残差网络模型中，依次利用各个残差模块中的各层残差学习单元对所述样本图像进行处理得到特征图；利用所述非线性变化层并基于预设阈值对特征图进行收缩处理。
5.根据权利要求4所述的无人机航线自动校正方法，其特征在于，所述利用所述非线性变化层并基于预设阈值对特征图进行收缩处理的步骤，包括：针对导入所述非线性变化层中的各所述特征图，将所述特征图中特征值的绝对值小于或等于预设阈值的通道的特征值...

【专利技术属性】
技术研发人员：李勇，潘屹峰，黄吴蒙，余冰，周成虎，
申请(专利权)人：广州中科云图智能科技有限公司，
类型：发明
国别省市：