一种无人机图像处理方法、系统及介质技术方案

本发明专利技术提供了一种无人机图像处理方法、系统及介质，该方法包括：获取无人机拍摄到的遥感图像数据，作为输入图像；基于双分支网络对所述图像进行处理，得到所述图像的空间域特征和频域特征，其中，所述双分支网络包括空间域分支和频域分支；将所述图像的空间域特征和频域特征进行融合，得到所述图像的空间域特征和频域特征的统一表示。本发明专利技术采用自适应的双分支网络，可以更好地应对遥感图像小目标检测的挑战，减少缺乏足够空间域的信息，增强语义信息的表示。另外，本发明专利技术通过一种融合机制，结合图像增强网络实现语义增强，挖掘空间和频域元素的联合表示，从而提高了小目标检测的精度。从而提高了小目标检测的精度。从而提高了小目标检测的精度。

【技术实现步骤摘要】
一种无人机图像处理方法、系统及介质


[0001]本专利技术涉及图像处理
，尤其涉及一种融合频域信息的无人机图像处理方法、系统及介质。

技术介绍

[0002]遥感目标检测可以应用于通信网络巡检的场景，以提高巡检的效率和准确性。通信网络无人机巡检可以用于监测和巡视电信基站、塔桅、光缆等基础设施的状态和安全性。它可以通过图像识别和传感器数据分析来检测潜在的故障、损坏或异常情况，帮助提前发现和解决问题，提高基础设施的可靠性和可用性。
[0003]通信网络安全巡检是保障通信网络正常运行的重要环节，也是建设智能电网的重要内容。随着无人机技术的发展，选用无人机巡检成为当前最主要的方向之一。因此，通过计算机视觉技术对无人机遥感图像进行高准确率检测是必要的。
[0004]目前，无人机遥感图像检测主要分为两类：
[0005]第一类是基于经典机器学习算法，主要通过人工特征和线性分类器结合进行检测，一般应用于背景简单类目标检测。这类技术所消耗的时间较长且比较难以推广。
[0006]第二类是使用深度学习算法对遥感图像进行检测。这类技术在目标单一且背景简单的图像检测效果最好，但现在的遥感图像大多背景复杂且种类多样，而且由于遥感图像具有小目标繁多的特点，导致检测效果大打折扣。

技术实现思路

[0007]本专利技术的主要目的在于提供一种融合频域信息的无人机图像处理方法、系统及介质，旨在提高小目标检测的精度。
[0008]为了达到上述目的，本专利技术提出一种无人机图像处理方法，所述方法包括以下步骤：
[0009]步骤S10，获取无人机拍摄到的遥感图像数据，作为输入图像；
[0010]步骤S20，基于双分支网络对所述图像进行处理，得到所述图像的空间域特征和频域特征，其中，所述双分支网络包括空间域分支和频域分支；
[0011]步骤S30，将所述图像的空间域特征和频域特征进行融合，得到所述图像的空间域特征和频域特征的统一表示。
[0012]本专利技术的进一步技术方案是，所述基于双分支网络对所述图像进行处理，得到所述图像的空间域特征和频域特征的步骤包括：
[0013]将所述图像从空间域移动到频域，采用二维离散余弦变换对所述图像进行频域转换，得到所述图像的频域特征。
[0014]本专利技术的进一步技术方案是，所述采用二维离散余弦变换对所述图像进行频域转换，得到所述图像的频域特征的步骤中所采用的公式为：
[0015][0016][0017][0018]其中，表示二维离散余弦变换的结果，C(u)是一个与变量u相关的系数，用于调整变换的幅度，C(u)是一个与变量v相关的系数，用于调整变换的幅度，f(i，j)表示信号在空间域中的取样值；
[0019]表示两个余弦函数的乘积，表示了两个余弦函数在给定的频率和位置上的取值。
[0020]本专利技术的进一步技术方案是，所述将所述图像从空间域移动到频域，采用二维离散余弦变换对所述图像进行频域转换，得到所述图像的频域特征的步骤之后还包括：
[0021]基于特征增强模块消除所述频域特征中多余的语义信息和噪声干扰。
[0022]本专利技术的进一步技术方案是，所述基于特征增强模块消除所述频域特征中多余的语义信息和噪声干扰的步骤包括：
[0023]对所述图像进行下采样生成多尺度图像x
f
＝{x1，x2，...，x
n
}，其中，n是指4；
[0024]采用特征增强模块构建多尺度特征图，其中，所述特征增强模块的一部分写成：
[0025][0026][0027]其中，表示输入图像，是最终的增强图像，GELU代表GELU激活函数。
[0028]本专利技术的进一步技术方案是，所述基于特征增强模块消除所述频域特征中多余的语义信息和噪声干扰的步骤还包括：
[0029]将特征传递给前馈网络FFN以增强信道信息，其中，前馈网络FFN可以写成：
[0030][0031][0032]其中，DW
‑
Conv
3x3
表示内核大小为3x3的深度卷积层。
[0033]本专利技术的进一步技术方案是，所述步骤S30，将所述图像的空间域特征和频域特征进行融合，得到所述图像的空间域特征和频域特征的统一表示的步骤包括：
[0034]基于注意力机制将所述图像的空间域特征和频域特征进行融合，其中，所述空间域特征通过通道注意力自动捕获重要的区域特征，所述频域特征通过空间注意力增强其局部细节并抑制冗余语义信息。
[0035]本专利技术的进一步技术方案是，所述步骤S30，将所述图像的空间域特征和频域特征进行融合，得到所述图像的空间域特征和频域特征的统一表示的步骤还包括：
[0036]通过点乘法将所述空间域特征和所述频域特征进行融合，其中，三个反向特征可以写成：
[0037][0038][0039]M
sf
＝Conv1×1(Conv1×1(X
s
)
·
Conv1×1(Y
f
))；
[0040]其中，X
′
s
，Y
′
f
和M
sf
表示三个反向特征，X
s
和Y
f
分别表示空间域特征和频域特征，FC表示两个线性层，GN表示群范数，sigmoid表示激活函数；
[0041]将三个反向特征添加到最终的注意力模块中，以获得所述空间域特征和所述频域特征的统一表示A
i
，其中，统一表示A
i
可以写成：
[0042]A
i
＝atten(Conv1×1(X
′
s
+Y
′
f
+M
sf
))；
[0043]其中，atten表示普通注意力模块。
[0044]本专利技术的进一步技术方案是，所述将三个反向特征添加到最终的注意力模块中，以获得所述空间域特征和所述频域特征的统一表示A
i
的步骤之后还包括：
[0045]借助特征金字塔PAFPN将所述空间域特征和所述频域特征的统一表示A
i
融合得到遥感图像以进一步丰富语义信息；
[0046]将所述空间域特征和所述频域特征的统一表示A
i
输入检测头得到最后的检测结果。
[0047]为实现上述目的，本专利技术还提出一种无人机图像处理系统，所述系统包括存储器、处理器以及存储在所述处理器上的无人机图像处理程序，所述无人机图像处理程序被所述处理器运行时执行如上所述的方法的步骤。
[0048]为实现上述目的，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质存储有无人机图像处理程序，所述无人机图像处理程序被处理器运行时执行如上所述的方法的步骤。
[0049]本专利技术无人机图像处理方法、系统及介质的有益效果是：本专利技术通过上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机图像处理方法，其特征在于，所述方法包括以下步骤：步骤S10，获取无人机拍摄到的遥感图像数据，作为输入图像；步骤S20，基于双分支网络对所述图像进行处理，得到所述图像的空间域特征和频域特征，其中，所述双分支网络包括空间域分支和频域分支；步骤S30，将所述图像的空间域特征和频域特征进行融合，得到所述图像的空间域特征和频域特征的统一表示。2.根据权利要求1所述的无人机图像处理方法，其特征在于，所述基于双分支网络对所述图像进行处理，得到所述图像的空间域特征和频域特征的步骤包括：将所述图像从空间域移动到频域，采用二维离散余弦变换对所述图像进行频域转换，得到所述图像的频域特征。3.根据权利要求2所述的无人机图像处理方法，其特征在于，所述采用二维离散余弦变换对所述图像进行频域转换，得到所述图像的频域特征的步骤中所采用的公式为：换对所述图像进行频域转换，得到所述图像的频域特征的步骤中所采用的公式为：其中，表示二维离散余弦变换的结果，C(u)是一个与变量u相关的系数，用于调整变换的幅度，C(u)是一个与变量v相关的系数，用于调整变换的幅度，f(i，j)表示信号在空间域中的取样值；表示两个余弦函数的乘积，表示了两个余弦函数在给定的频率和位置上的取值。4.根据权利要求2所述的无人机图像处理方法，其特征在于，所述将所述图像从空间域移动到频域，采用二维离散余弦变换对所述图像进行频域转换，得到所述图像的频域特征的步骤之后还包括：基于特征增强模块消除所述频域特征中多余的语义信息和噪声干扰；所述基于特征增强模块消除所述频域特征中多余的语义信息和噪声干扰的步骤包括：对所述图像进行下采样生成多尺度图像x
f
＝{x1，x2，...，x
n
}，其中，n是指4；采用特征增强模块构建多尺度特征图，其中，所述特征增强模块的一部分写成：采用特征增强模块构建多尺度特征图，其中，所述特征增强模块的一部分写成：其中，表示输入图像，是最终的增强图像，GELU代表GELU激活函数。
5.根据权利要求4所述的无人机图像处理方法，其特征在于，所述基于特征增强模块消除所述频域特征中多余的语义信息和噪声干扰的步骤还包括：将特和传递给前馈网络FFN以增强信道信息，其中，前馈网络FFN可以写成：传递给前馈网络FFN以增强信道信息，其中，前馈网络FFN可以写成：其中，DW
‑
Conv
3x3
表示内核大小为3x3的深度卷积层。6.根据权利要求5所述的无人机图像处理方法，其特征在于，所述步骤S30，将所述图像的空间域特征和频域特征进行融...

【专利技术属性】
技术研发人员：易旭良，李先校，赵宇，武正敏，
申请(专利权)人：广东长实通信科技有限公司，
类型：发明
国别省市：