【技术实现步骤摘要】
本专利技术涉及图像处理，更具体的，涉及一种适用于无人机图像语义特征多尺度融合与分割的方法。
技术介绍
1、图像像素级密集预测在计算机视觉中得到广泛应用。语义分割就是其中之一，它涉及为每个像素分配标签。自动驾驶、医学图像、点云分割和卫星场景是其主要应用领域。近年来，由于无人机和机器人等智能技术的发展，无人机得到了广泛的应用，为远程位置捕获图像提供了一种简单且便宜的解决方案。无人机设备捕获的图像包含大量信息，可用于场景理解、交通估计、基础设施规划、基础设施规划，以及使用深度学习的道路或建筑物提取等。无人机等无人机设备应用的不断增加，航空图像分割为城市场景理解带来了新的机会与挑战。
2、现有技术基于卷积神经网络(cnn)的设计始终主导图像分割。也有大多数现有框架使用基于全卷积网络(fcn)的不同编码器变体。基于fcn的主干网往往会产生粗略的预测，并且感受野在特定限制后通常会变得恒定。由于cnn中的内核较小，感受野本质上是局部的，这使得它能够提取细粒度的局部上下文细节，很难捕捉全局上下文细节。
3、但是航拍图像通常包含复杂的背景、场景。物体外观和比例存在多种变化，这使得细分任务具有挑战性。专为航空场景分割而设计的现有网络可以产生令人满意的结果，但其特征提取器网络难以捕获航空图像的真实固有特征。其特征提取器网络很难分割少数类别，特别是像人类这样的微小物体，它们在图像中像素最少。对于分割高度复杂的无人机图像，捕获全局和局部细节是获得精确结果的重要因素。
4、航空图像在尺度、物体外观和复杂背景方面具有很大的
技术实现思路
1、本专利技术为了解决以上现有技术存在的不足与缺陷的问题，提供了一种适用于无人机图像语义特征多尺度融合与分割的方法。
2、为实现上述本专利技术目的，采用的技术方案如下：
3、一种适用于无人机图像语义特征多尺度融合与分割的方法，所述方法包括步骤如下：
4、构建编码器-解码器网络模型，将获取的无人机图像输入编码器-解码器网络模型以获得最终的分割输出；
5、其中，所述编码器-解码器网络模型包括以无人机图像作为输入并产生4个不同尺度特征的编码器网络、使用逐元素加法对编码器网络产生的4个不同尺度特征进行融合并生成无人机图像每个类的语义图的解码器网络；
6、所述编码器网络包括4个依次连接用于生成不同尺度特征的特征模块；每个特征模块均包括用于生成融合相邻像素之间的局部空间上下文细节的不同尺度特征的令牌模块、用于捕获无人机图像中全局上下文细节和细粒度局部上下文细节信息的全局聚合模块；
7、所述解码器网络包括上采样模块、逐元素加法模块、1x1卷积运算模块；
8、所述上采样模块将4个特征模块产生的不同尺度特征进行上采样处理，得到4个与输入的无人机图像相同尺度的特征；
9、所述逐元素加法模块利用逐元素加法将上采样模块输出4个与输入的无人机图像相同尺度的特征进行逐元素相加处理；
10、1x1卷积运算模块将逐元素加法模块输出的特征的维度投影到类别数量n，以获得最终的分割输出。
11、优选地，所述令牌模块对输入无人机图像或对上一阶段的特征模块输出的特征执行重叠标记化；在标记化过程中，标记的特征空间被投影到嵌入维度。
12、进一步地，所述的标记化表示为将特征的特征维度[h,w,c]转换为2维的标记序列[m,t2×e]，其中m是特征上生成的令牌的总数，m＝(h×w)/t2，每个令牌的维度是[t,t]，e是嵌入维度。
13、再进一步地，4个特征模块使用大小为[m1，m2，m3，m4]的令牌；每个特征模块对应阶段的嵌入维度分别设置为[e1,e2,e3,e4]。
14、优选地，所述的全局聚合模块包括依次连接的第一归一化层、多头自注意力机制层、第二归一化层、多层感知器；
15、其中，第一归一化层的输入还与多头自注意力层的输出跳跃连接；
16、第二归一化层的输入还与多层感知器的输出跳跃连接。
17、进一步地，所述多头自注意力机制层包括多个自注意力操作，将序列标记[m,e]被投影到qkv向量中，qkv的维度是[m,c]，自注意力的公式如下：
18、
19、其中，g(x)＝layernorm(convr×r(x))；wq,wk,wv分别对应于q、k和v向量的线性投影权重；g(x)中x表示k或v向量，使用rxr卷积运算和归一化来层实现的，r表示序列缩减比率。
20、再进一步地，将q、k、v向量分成h份，并行进行多头注意力操作，其中h表示头数，每个头的输出连接在一起并投影到嵌入维度。
21、再进一步地，所述多层感知器包括两个全连接层以及两个全连接层之间的卷积层，激活函数采用relu。
22、进一步地，所述上采样模块包括3x3卷积层、批量归一化层、relu激活函数层和上采样乘数因子操作层。
23、一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述适用于无人机图像语义特征多尺度融合与分割的方法
24、本专利技术的有益效果如下：
25、本专利技术所述编码器网络中的全局聚合模块具有捕获无人机图像中全局上下文细节和细粒度局部上下文细节信息的优势。编码器网络中的令牌模块用于生成融合相邻像素之间的局部空间上下文细节的不同尺度特征，这种多个不同尺度特征表示有助于以不同的复杂度捕获相邻像素周围的局部上下文。解码器网络使用逐元素加法对不同尺度特征融处理，以获得最终的分割输出。使用逐元素加法进行融合使得丰富了语义的表达，对于无人机图像，能够获得相比常用的通用方案，更加精确分割的效果。
本文档来自技高网...【技术保护点】
1.一种适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述方法包括步骤如下：
2.根据权利要求1所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述令牌模块对输入无人机图像或对上一阶段的特征模块输出的特征执行重叠标记化；在标记化过程中，标记的特征空间被投影到嵌入维度。
3.根据权利要求2所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述的标记化表示为将特征的特征维度[h,w,c]转换为2维的标记序列[M,t2×E]，其中M是特征上生成的令牌的总数，M＝(h×w)/t2，每个令牌的维度是[t,t]，E是嵌入维度。
4.根据权利要求3所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：4个特征模块使用大小为[m1，m2，m3，m4]的令牌；每个特征模块对应阶段的嵌入维度分别设置为[E1,E2,E3,E4]。
5.根据权利要求1所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述的全局聚合模块包括依次连接的第一归一化层、多头自注意力机制层、第二归一化层、多
6.根据权利要求5所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述多头自注意力机制层包括多个自注意力操作，将序列标记[M,E]被投影到QKV向量中，QKV的维度是[M,C]，自注意力的公式如下：
7.根据权利要求6所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：将Q、K、V向量分成h份，并行进行多头注意力操作，其中h表示头数，每个头的输出连接在一起并投影到嵌入维度。
8.根据权利要求5所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述多层感知器包括两个全连接层以及两个全连接层之间的卷积层，激活函数采用RELU。
9.根据权利要求1所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述上采样模块包括3x3卷积层、批量归一化层、Relu激活函数层和上采样乘数因子操作层。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1～9任一项所述适用于无人机图像语义特征多尺度融合与分割的方法。
...【技术特征摘要】
1.一种适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述方法包括步骤如下：
2.根据权利要求1所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述令牌模块对输入无人机图像或对上一阶段的特征模块输出的特征执行重叠标记化；在标记化过程中，标记的特征空间被投影到嵌入维度。
3.根据权利要求2所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述的标记化表示为将特征的特征维度[h,w,c]转换为2维的标记序列[m,t2×e]，其中m是特征上生成的令牌的总数，m＝(h×w)/t2，每个令牌的维度是[t,t]，e是嵌入维度。
4.根据权利要求3所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：4个特征模块使用大小为[m1，m2，m3，m4]的令牌；每个特征模块对应阶段的嵌入维度分别设置为[e1,e2,e3,e4]。
5.根据权利要求1所述的适用于无人机图像语义特征多尺度融合与分割的方法，其特征在于：所述的全局聚合模块包括依次连接的第一归一化层、多头自注意力机制层、第二归一化层、多层感知器；
<...【专利技术属性】
技术研发人员：章广梅，罗涛，袁冬梅，王均春，许鹏，刘德生，王斌，计文斌，
申请(专利权)人：中国电子科技集团公司第七研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。