基于双级联深度网络的无人机多特征点检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于双级联深度网络的无人机多特征点检测方法及装置。所述方法包括：在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像；将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框；根据每一所述特征区域预测框提取对应的感兴趣区域，将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练；通过由训练后的所述边界框定位网络和所述特征点回归网络组成的双级联深度网络对待检测图像进行多特征点检测，得到多个特征点坐标。本发明专利技术能够实时稳定且准确地检测无人机的多个特征点。

【技术实现步骤摘要】
基于双级联深度网络的无人机多特征点检测方法及装置
本专利技术涉及图像处理
，尤其涉及一种基于双级联深度网络的无人机多特征点检测方法及装置。
技术介绍
在无人机自主着陆过程中，无人机的姿态是重要的控制指标。现有的无人机姿态估计技术主要依靠惯性测量元件和视觉合作标志定位等手段。基于惯性测量元件的导航系统虽在其应用领域内具有明显优势，但其只能安装在无人机载体上才可使用，使得在通信链路被干扰的情况下地面人员无法获得准确的无人机姿态信息。而基于合作标志的姿态解算方法需要事先布置，对环境光照也有一定要求，且仍依赖于无人机和地面站之间的主动通信。为促进无人机姿态估计的发展，目前主要研究如何在地面基于视觉直接获取无人机姿态信息，其中所要面对的一大挑战便是无人机多特征点检测。传统的无人机多特征点检测方法一般通过提取形状、颜色、边缘等底层特征，分别建立形状模型，纹理模型来提取特征点，在检测速度和鲁棒性方面都难以满足应用需求。
技术实现思路
为了克服现有技术的缺陷，本专利技术提供一种基于双级联深度网络的无人机多特征点检测方法及装置，能够实时稳定且准确地检测无人机的多个特征点。为了解决上述技术问题，第一方面，本专利技术一实施例提供一种基于双级联深度网络的无人机多特征点检测方法，包括：在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像；将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框；根据每一所述特征区域预测框提取对应的感兴趣区域，将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练；通过由训练后的所述边界框定位网络和所述特征点回归网络组成的双级联深度网络对待检测图像进行多特征点检测，得到多个特征点坐标。进一步地，所述在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像，具体为：采集所述无人机图像，并通过边界框标注工具在每一所述无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的所述训练图像；其中，所述特征区域包括无人机机体、左机翼、右机翼、左尾翼、右尾翼、中脚架区域。进一步地，所述将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框，具体为：构建所述边界框定位网络，将一所述训练图像输入所述边界框定位网络进行训练，使所述边界框定位网络输出多个所述特征区域预测框；其中，所述特征区域预测框包括无人机机体、左机翼、右机翼、左尾翼、右尾翼、中脚架区域预测框；根据所述边界框定位网络的网络损失反向更新所述边界框定位网络的网络参数，并在所述边界框定位网络的网络损失小于第一预设阈值时结束训练所述边界框定位网络，否则继续将下一所述训练图像输入所述边界框定位网络进行训练。进一步地，所述根据每一所述特征区域预测框提取对应的感兴趣区域，具体为：基于所述特征区域预测框的中心点提取预设尺寸的图像区域，将所述图像区域作为对应的所述感兴趣区域。进一步地，所述将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练，具体为：构建所述特征点回归网络，将一所述训练图像对应的所有所述感兴趣区域输入所述特征点回归网络进行训练；根据所述特征点回归网络的网络损失反向更新所述特征点回归网络的网络参数，并在所述特征点回归网络的网络损失小于第二预设阈值时结束训练所述特征点回归网络，否则将下一所述训练图像对应的所有所述感兴趣区域输入所述特征点回归网络进行训练。第二方面，本专利技术一实施例提供一种基于双级联深度网络的无人机多特征点检测装置，包括：训练图像获取模块，用于在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像；边界框定位网络训练模块，用于将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框；特征点回归网络训练模块，用于根据每一所述特征区域预测框提取对应的感兴趣区域，将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练；多特征点检测模块，用于通过由训练后的所述边界框定位网络和所述特征点回归网络组成的双级联深度网络对待检测图像进行多特征点检测，得到多个特征点坐标。进一步地，所述在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像，具体为：采集所述无人机图像，并通过边界框标注工具在每一所述无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的所述训练图像；其中，所述特征区域包括无人机机体、左机翼、右机翼、左尾翼、右尾翼、中脚架区域。进一步地，所述将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框，具体为：构建所述边界框定位网络，将一所述训练图像输入所述边界框定位网络进行训练，使所述边界框定位网络输出多个所述特征区域预测框；其中，所述特征区域预测框包括无人机机体、左机翼、右机翼、左尾翼、右尾翼、中脚架区域预测框；根据所述边界框定位网络的网络损失反向更新所述边界框定位网络的网络参数，并在所述边界框定位网络的网络损失小于第一预设阈值时结束训练所述边界框定位网络，否则继续将下一所述训练图像输入所述边界框定位网络进行训练。进一步地，所述根据每一所述特征区域预测框提取对应的感兴趣区域，具体为：基于所述特征区域预测框的中心点提取预设尺寸的图像区域，将所述图像区域作为对应的所述感兴趣区域。进一步地，所述将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练，具体为：构建所述特征点回归网络，将一所述训练图像对应的所有所述感兴趣区域输入所述特征点回归网络进行训练；根据所述特征点回归网络的网络损失反向更新所述特征点回归网络的网络参数，并在所述特征点回归网络的网络损失小于第二预设阈值时结束训练所述特征点回归网络，否则将下一所述训练图像对应的所有所述感兴趣区域输入所述特征点回归网络进行训练。本专利技术的实施例，具有如下有益效果：通过在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像，进而将每一训练图像输入预先构建的边界框定位网络进行训练，使边界框定位网络输出多个特征区域预测框，并根据每一特征区域预测框提取对应的感兴趣区域，将所有感兴趣区域输入预先构建的特征点回归网络进行训练，从而通过由训练后的边界框定位网络和特征点回归网络组成的双级联深度网络对待检测图像进行多特征点检测，得到多个特征点坐标，实现检测无人机的多个特征点。相比于现有技术，本专利技术的实施例通过利用训练图像训练边界框定位网络，使得边界框定位网络直接根据训练图像输出多个特征区域预测框，通过利用特征区域预测框对应的感兴趣区域训练特征点回归网络，使得特征点回归网络根据感兴趣区域输出多个特征点坐标，从而能够通过训练后的边界框定位网络和特征点回归本文档来自技高网...

【技术保护点】
1.一种基于双级联深度网络的无人机多特征点检测方法，其特征在于，包括：/n在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像；/n将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框；/n根据每一所述特征区域预测框提取对应的感兴趣区域，将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练；/n通过由训练后的所述边界框定位网络和所述特征点回归网络组成的双级联深度网络对待检测图像进行多特征点检测，得到多个特征点坐标。/n

【技术特征摘要】
1.一种基于双级联深度网络的无人机多特征点检测方法，其特征在于，包括：
在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像；
将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框；
根据每一所述特征区域预测框提取对应的感兴趣区域，将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练；
通过由训练后的所述边界框定位网络和所述特征点回归网络组成的双级联深度网络对待检测图像进行多特征点检测，得到多个特征点坐标。


2.如权利要求1所述的基于双级联深度网络的无人机多特征点检测方法，其特征在于，所述在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像，具体为：
采集所述无人机图像，并通过边界框标注工具在每一所述无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的所述训练图像；其中，所述特征区域包括无人机机体、左机翼、右机翼、左尾翼、右尾翼、中脚架区域。


3.如权利要求1所述的基于双级联深度网络的无人机多特征点检测方法，其特征在于，所述将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框，具体为：
构建所述边界框定位网络，将一所述训练图像输入所述边界框定位网络进行训练，使所述边界框定位网络输出多个所述特征区域预测框；其中，所述特征区域预测框包括无人机机体、左机翼、右机翼、左尾翼、右尾翼、中脚架区域预测框；
根据所述边界框定位网络的网络损失反向更新所述边界框定位网络的网络参数，并在所述边界框定位网络的网络损失小于第一预设阈值时结束训练所述边界框定位网络，否则继续将下一所述训练图像输入所述边界框定位网络进行训练。


4.如权利要求1所述的基于双级联深度网络的无人机多特征点检测方法，其特征在于，所述根据每一所述特征区域预测框提取对应的感兴趣区域，具体为：
基于所述特征区域预测框的中心点提取预设尺寸的图像区域，将所述图像区域作为对应的所述感兴趣区域。


5.如权利要求1或4所述的基于双级联深度网络的无人机多特征点检测方法，其特征在于，所述将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练，具体为：
构建所述特征点回归网络，将一所述训练图像对应的所有所述感兴趣区域输入所述特征点回归网络进行训练；
根据所述特征点回归网络的网络损失反向更新所述特征点回归网络的网络参数，并在所述特征点回归网络的网络损失小于第二预设阈值时结束训练所述特征点回归网络，否则将下一所述训练图像对应的所有所述感兴趣区域输入所述特征点回归网络进行训练。


6.一种基于双级联深度网络的无人机多特...

【专利技术属性】
技术研发人员：胡天江，李铭慧，郑勋臣，张嘉榕，朱波，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44