【技术实现步骤摘要】
雾天低照度场景下端到端无人机视觉目标跟踪方法及装置
[0001]本专利技术涉及无人机目标跟踪
，尤其涉及一种雾天低照度场景下端到端无人机视觉目标跟踪方法及装置。
技术介绍
[0002]近年来随着技术的发展进步，推动着工业技术的变革，无人机的应用范围越来越广，如无人机表演，无人机巡逻，无人机获取电网信息等。尽管无人机应用范围较广，现阶段无人机的应用主要是依赖于人机自身，由于无人机受限续航、性能的限制，当无人机执行任务时，受限于无人机平台的起飞重量，且机载算力相对较低、可利用内存资源相对较少。同时，有别于其他机器人平台，无人机平台往往具有机动性强等特点，这使得对算法部署的实时性能要求严苛。由于无人机视角下拍摄的雾天低照度复杂动态图像极易受到雾气散射作用和人造光源的影响，亮度降低，对比度下降，具有严重的颜色失真、曝光过度等问题，且含有的物体尺寸分布不齐，且点光源和块光源较多，同时高噪声也会破坏图像纹理细节，进一步降低跟踪性能，雾天低照度场景下不稳定的跟踪性能严重阻碍了无人机应用的拓展，因此有效提取和增强目标特征，最终得到准确...
【技术保护点】
【技术特征摘要】
1.一种雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，包括：获取雾天低照度无人机图像，利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对所述雾天低照度无人机图像进行特征提取，得到无人机图像特征；对所述无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征；从所述高清全彩增强图像特征中选取跟踪目标和搜索区域，对所述跟踪目标和搜索区域进行特征提取和增强，得到鲁棒搜索区域目标特征；对所述鲁棒搜索区域目标特征进行分类回归，得到无人机目标跟踪位置与尺度信息。2.如权利要求1所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架包括级联式稀疏连接骨干网络、新型多层级特征聚合瓶颈模块、新型深度自相关去雾头、新型多分支低照度增强头及新型环境感知鲁棒跟踪头。3.如权利要求1所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用预设的大规模图像数据集构建的渐进式无人机雾天低照度复杂动态图像去雾增强框架对所述雾天低照度无人机图像进行特征提取，得到无人机图像特征，包括：利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的级联式稀疏连接骨干网络的卷积层对所述雾天低照度无人机图像进行卷积处理，得到浅层图像特征；根据所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的级联式稀疏连接骨干网络的卷积层提取所述雾天低照度无人机图像的输出特征；利用新型残差式特征融合模块对所述浅层图像特征及所述输出特征进行特征融合处理，得到无人机图像特征。4.如权利要求3所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用新型残差式特征融合模块对所述浅层图像特征及所述输出特征进行特征融合处理，得到无人机图像特征，包括：对所述浅层图像特征进行卷积和下采样处理，得到深层图像特征；利用预设的第一公式对所述浅层图像特征进行求解，得到深层图像特征，所述第一公式表示为：其中，F4表示所述深层图像特征，F2表示所述浅层图像特征，RSRConv表示残差式结构重参数化卷积，Conv表示1
×
1卷积，Downsample表示下采样；对所述深层图像特征及所述输出特征进行卷积和上采样处理，得到上采样图像特征；利用预设的第二公式对所述深层图像特征进行求解，得到上采样图像特征，所述第二公式表示为：其中，F5表示所述上采样图像特征，F0表示所述输出特征，F4表示所述深层图像特征，RSRConv表示残差式结构重参数化卷积，Upsample表示上采样，Conv表示1
×
1卷积；
对所述浅层图像特征及所述上采样图像特征进行加和计算，得到无人机图像特征；利用预设的第三公式对所述浅层图像特征及所述上采样图像特征进行加和计算，得到无人机图像特征，所述第三公式表示为：其中，F3表示所述无人机图像特征，F2表示所述浅层图像特征，F5表示所述上采样图像特征。5.如权利要求3所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，对所述无人机图像特征进行图像特征去雾和低照度增强，得到高清全彩增强图像特征，包括：利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的新型多层级特征聚合瓶颈模块对所述无人机图像特征进行池化处理，得到池化图像特征；从所述无人机图像特征中选取第一输出特征及第二输出特征，利用所述新型多层级特征聚合瓶颈模块对所述池化图像特征、所述第一输出特征及所述第二输出特征进行细节特征增强处理，得到细节图像特征；利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的新型深度自相关去雾头对所述细节图像特征进行去雾处理，得到去雾图像特征；利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的新型多分支低照度增强头对所述去雾图像特征进行全彩增强处理，得到高清全彩增强图像特征。6.如权利要求5所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述对所述无人机图像特征进行池化处理，得到池化图像特征，包括：对所述无人机图像特征进行残差式结构重参数化卷积处理，得到卷积图像特征；利用预设的第四公式对所述无人机图像特征进行求解，得到卷积图像特征，所述第四公式表示为：其中，表示所述卷积图像特征，F3表示所述无人机图像特征，RSRConv表示残差式结构重参数化卷积；对所述卷积图像特征进行平均池化处理，得到第一卷积图像特征、第二卷积图像特征及第三卷积图像特征；利用预设的第五公式对所述卷积图像特征进行求解，得到第一卷积图像特征、第二卷积图像特征及第三卷积图像特征，所述第五公式表示为：其中，表示所述卷积图像特征，表示所述第一卷积图像特征，表示所述第二卷积图像特征，表示所述第三卷积图像特征，Avgpool表示平均池化；对所述第一卷积图像特征、所述第二卷积图像特征及所述第三卷积图像特征进行连接操作，得到连接图像特征；对所述连接图像特征进行卷积处理，得到第四卷积图像特征；对所述第四卷积图像特征及所述卷积图像特征进行乘法计算，得到第五卷积图像特
征；利用预设的第六公式对所述第一卷积图像特征、所述第二卷积图像特征及所述第三卷积图像特征进行求解，得到第五卷积图像特征，所述第六公式表示为：其中，表示所述卷积图像特征，表示所述第一卷积图像特征，表示所述第二卷积图像特征，表示所述第三卷积图像特征，表示所述第五卷积图像特征，Cat表示通道维度上连接操作，Conv表示1
×
1卷积；对所述第五卷积图像特征进行残差式结构重参数化卷积处理，得到目标卷积图像特征；对所述目标卷积图像特征及所述无人机图像特征进行加和计算，得到池化图像特征；利用预设的第七公式对所述第五卷积图像特征进行求解，得到池化图像特征，所述第七公式表示为：其中，F6表示所述池化图像特征，F3表示所述无人机图像特征，表示所述第五卷积图像特征，RSRConv表示残差式结构重参数化卷积。7.如权利要求5所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用所述新型多层级特征聚合瓶颈模块对所述池化图像特征、所述第一输出特征及所述第二输出特征进行细节特征增强处理，得到细节图像特征，包括：获取所述新型多层级特征聚合瓶颈模块中的新型细节信息感知特征增强网络；利用所述新型细节信息感知特征增强网络中的新型细节信息聚合模块对所述浅层图像特征及所述池化图像特征进行融合，得到强化特征；利用所述新型细节信息感知特征增强网络中的新型细节信息聚合模块对所述强化特征进行残差式结构重参数化卷积处理，得到第一卷积强化特征；利用预设的第八公式对所述强化特征进行求解，得到第一卷积强化特征，所述第八公式表示为：其中，F
10
表示所述强化特征，F
11
表示所述第一卷积强化特征，RSRConv表示残差式结构重参数化卷积；利用所述新型细节信息聚合模块对所述卷积强化特征及所述第一输出特征或所述第二输出特征进行通道连接及卷积处理，得到第一连接强化特征；利用预设的第九公式对所述卷积强化特征及所述第一输出特征或所述第二输出特征进行求解，得到第一连接强化特征，所述第九公式表示为：其中，F
11
表示所述第一卷积强化特征，F7表示所述第一输出特征，F8表示所述第二输出特征，F
12
表示所述第一连接强化特征，/表示根据不同所述新型细节信息聚合模块输入为所述第一输出特征或所述第二输出特征，Cat表示通道维度上连接操作，Conv表示1
×
1卷积；利用所述新型细节信息聚合模块对所述第一连接强化特征进行卷积处理，得到第二卷
积强化特征；利用预设的第十公式对所述第一连接强化特征进行求解，得到第二卷积强化特征，所述第十公式表示为：其中，F
12
表示所述第一连接强化特征，F
13
表示所述第二卷积强化特征，Conv表示1
×
1卷积；利用所述新型细节信息聚合模块对所述第一卷积强化特征进行非对称卷积处理，得到第三卷积强化特征；利用预设的第十一公式对所述第一卷积强化特征进行求解，得到第三卷积强化特征，所述第十一公式表示为：其中，F
11
表示所述第一卷积强化特征，F
14
表示所述第三卷积强化特征，ACConv表示非对称卷积操作；利用所述新型细节信息聚合模块对所述第二卷积强化特征及所述第三卷积强化特征进行通道连接及卷积处理，得到第二连接强化特征；利用预设的第十二公式对所述第二卷积强化特征及所述第三卷积强化特征进行求解，得到第二连接强化特征，所述第十二公式表示为：其中，F
13
表示所述第二卷积强化特征，F
14
表示所述第三卷积强化特征，F
15
表示所述第二连接强化特征，Cat表示通道维度上连接操作，Conv表示1
×
1卷积；利用所述新型细节信息聚合模块对所述强化特征及所述第二连接强化特征进行加和计算，得到细节图像特征；利用预设的第十三公式对所述强化特征及所述第二连接强化特征进行求解，得到细节图像特征，所述第十三公式表示为：其中，F
16
表示所述细节图像特征，F
10
表示所述强化特征，F
15
表示所述第二连接强化特征。8.如权利要求7所述的雾天低照度场景下端到端无人机视觉目标跟踪方法，其特征在于，所述利用所述渐进式无人机雾天低照度复杂动态图像去雾增强框架中的新型深度自相关去雾头对所述细节图像特征进行去雾处理，得到去雾图像特征，包括：利用所述新型深度自相关去雾头中的新型深度自相关注意力对所述细节图像特征进行深度自相关操作，得到深度相关图像特征，其中，所述新型深度自相关去雾头包括新型深度自相关注意力及后续全局去雾处理结构；利用预设的第十四公式对所述细节图像特征进行求解，得到深度相关图像特征，所述第十四公式表示为：其中，F
16
表示所述细节图像特征，F
17
表示所述深度相关图像特征，DAA表示新型深度自
相关注意力；利用所述后续全局去雾处理结构对所述深度相关图像特征进行残差式结构重参数化卷积处理，得到深度卷积图像特征；利用预设的第十五公式对所述深度相关图像特征进行求解，得到深度卷积图像特征，所述第十五公式表示为：其中，F
17
表示所述深度相关图像特征，F
18
表示所述深度卷积图像特征，RSRConv表示残差式结构重参数化卷积；利用所述后续全局去雾处理结构对所述深度卷积图像特征进行池化及全连接处理，得到全连接图像特征；利用所述后续全局去雾处理结构对所述全连接图像特征进行卷积及激活处理，得到全连接卷积图像特征；利用预设...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。