一种基于交通道路影像的图像信息提取方法技术

本发明专利技术公开一种基于交通道路影像的图像信息提取方法，属于电数字数据处理、图形数据读取和图像数据处理技术领域，用于提取交通道路影像的图像信息，包括获得交通道路影像、构建基于交通道路影像的图像信息提取网络、将训练集、验证集、测试集中的交通道路影像分别输入构建好的基于交通道路影像的图像信息提取网络中。本发明专利技术通过对不同通道进行不同的卷积，增强模型对遥感图像中复杂场景和多样性目标的建模能力，更有利于局部特征的提取，提高准确性和泛化能力；多层的平均池化操作在缩小特征图尺寸的同时，也将局部信息进行了整合，得到了整个特征图的平均值，并引入近似的低频信息。这有助于提取全局信息，捕捉图像中的整体结构和上下文关系。体结构和上下文关系。体结构和上下文关系。

【技术实现步骤摘要】
一种基于交通道路影像的图像信息提取方法


[0001]本专利技术公开一种基于交通道路影像的图像信息提取方法，属于电数字数据处理、图形数据读取和图像数据处理


技术介绍

[0002]在道路提取、城市规划、环境检测等领域中，图像信息提取发挥着至关重要的作用。由于图像信息存在类别丰富、空间分布广泛、空间关联性强、背景复杂、类内方差大的特点，这使得对应的图像信息提取充满挑战。传统的图像信息提取方法主要基于图像处理和机器学习技术，这些方法通常依赖于手动提取特征和设置分类器的参数，对于复杂的地物类别和背景噪声较多的情况效果可能有限，在面对大尺度、高分辨率的图像时往往难以给出精确的提取结果。另外传统的提取方法并不能很好的处理图像的频率信息、细节信息、全局信息。

技术实现思路

[0003]本专利技术的目的在于提供一种基于交通道路影像的图像信息提取方法，以解决现有技术中，交通道路影像的图像信息提取精度差的问题。
[0004]一种基于交通道路影像的图像信息提取方法，包括：S1.获得交通道路影像，将交通道路影像按照2：1：1的比例划分为训练集、测试集和验证集，将划分后的交通道路影像进行裁剪，等待下一步处理；将训练集、测试集和验证集的影像，人为进行图像信息提取，将图像信息提取结果保存留作后续对照；S2.构建基于交通道路影像的图像信息提取网络，具体是将U
‑
Net神经网络中的所有卷积模块替换为综合转换器模块DT，DT包括两个归一化层、一个多重信息融合模块HLP和一个多层感知机模块MLP；归一化层不保存训练批次的均值和方差，取同一个样本的不同通道做归一化；HLP是基于小波变换的转换器模块、多层卷积模块和多层池化模块的并行操作，采用桥连接方法加强全局和局部之间的联系；MLP先将数据先映射到高维空间再映射到低维空间；S3.将训练集中的交通道路影像输入S2构建好的基于交通道路影像的图像信息提取网络中，得到基于交通道路影像的图像信息提取结果，将图像信息提取结果和训练集人为进行图像信息提取的结果进行误差计算，如果误差大于设置的阈值，反向传播更新参数，反复迭代直至误差小于设置的阈值，停止更新参数并保存网络参数；S4.将验证集中的交通道路影像输入S2构建好的基于交通道路影像的图像信息提取网络中，网络的输出为基于交通道路影像的图像信息提取网络的信息提取结果，将图像信息提取结果和验证集人为进行图像信息提取的结果进行误差计算，如果误差大于设置的阈值，返回S3，如果误差小于设置的阈值，执行S5；S5.把测试集中的交通道路影像输入S2构建好的基于交通道路影像的图像信息提
取网络中，网络的输出为基于交通道路影像的图像信息提取网络的最终信息提取结果。
[0005]S2中的HLP的结构包括一个基于小波变换的转换器模块、一个多层卷积模块和一个多层池化模块并行结构、一个成比例的合并层、两个交叉的桥连接和一个1X1的卷积层。
[0006]S2中的HLP运行过程为：B1.HLP的输入为特征数据块X，设X的行数为H、列数为W，通道数为C，X同时输入到基于小波变换的转换器模块、多层卷积模块和多层池化模块，对应三个模块的输出为Y1、Y2、Y3，维度均为H
×
W
×
C：Y1、Y2、Y3=DWT
‑
CSWTF(X)，ML
‑
CNN(X)，ML
‑
PL(X)；式中，DWT
‑
CSWTF是基于小波变换的转换器模块架构，由小波变换和十字交叉注意力串联产生，DWT
‑
CSWTF(X)表示让X通过基于小波变换的转换器模块，ML
‑
CNN是多层卷积模块，由三个并行的卷积层、一个拼接层和一个归一化层构成，ML
‑
CNN(X)表示让X通过多层卷积模块，ML
‑
PL是多层池化模块，由4个并行的平局池化层、一个上采样层、一个拼接层和一个激活函数层构成，ML
‑
PL(X)表示让X通过多层池化模块；B2.通过桥连接求Y1和Y2的结果的交叉注意力，设输出为Z1和Z2：Z1，Z2=GB(Y1)，LB(Y2)；GB表示全局桥，是由全局到局部的信息连接桥；LB表示局部桥，是由局部到全局的信息连接桥，GB(Y1)表示对小波变换的转换器输出和多层卷积的输出求解交叉注意力机制，将多层卷积的结果引入到小波变换的转换器中在全局信息中引入细节信息；LB(Y2)表示将在细节信息中引入全局信息；B3.将Z1、Z2和Y3按2:2:1比例相加，通过1X1卷积进行通道交互，将经过桥连接优化后的Z1和Z2与多层池化输出进行融合，将全局信息、局部信息频率信息进行交互，HLP的最终输出M：M=con1
×
1(2Z1+2Z2+Y3)；其中con1
×
1是卷积核大小为1
×
1的卷积运算函数。
[0007]基于小波变换的转换器模块包括基于小波变换和逆小波变换的补偿模块、基于小波变换的频率重组模块、基于十字交叉注意力的转换器模块；基于小波变换和逆小波变换的补偿模块为于残差结构，基于小波变换的频率重组模块将高低频率进行重新组合，产生适合提取的频率组合，再从频率重组后的信息获取K'和V'矩阵，从输入特征获得Q矩阵，将其Q、K'和V'三个矩阵输入到基于十字交叉注意力的转换器模块：Y2=Attention(Q、K'、V')+IDWT(DWT(X))；其中Q是来自X的映射矩阵，小波变换重组后的X记为X0，K'和V'是来自的X0映射矩阵，DWT表示小波变换，IDWT表示逆小波变换，Attention是十字交叉注意力全局注意力图的函数。
[0008]基于小波变换的频率重组模块包括：两个1X1的卷积层、一个3X3的卷积层、一个细化的小波变换过程和两个可学习的权重A和B；将特征输入到小波变换的频率重组模块中，先经过1
×
1的卷积将整体的通道数调整为C/2，再将变化后的特征输入到细化的小波变换过程中，小波输出产生三个高频信号：低高频XLH，高低频XHL，高高频XHH，一个低频信号：低低频XLL，每个高频信号和低频信号张
量大小为H/2
×
W/2
×
C/2；将三个高频信号按照通道进行拼接此时维度为H/2
×
W/2
×
3C/2，再通过1
×
1卷积对其进行通道降维将维度变为H/2
×
W/2
×
C/2，此时获取到合并后的高频信息，分别对获得高低频信息乘以两个权重A和B，再输入给一个3X3的卷积：XHL，XHH，XLH，XLL=DWT(con1
×
1(X))；X0=con3
×
3(concat(con1
×
1(conact(XHL，XHH，XLH))，XLL))；其中concat表示按通道进行拼接操作，con3X3表示进行3X3卷积运算，con1X1表示经过1X1卷积运算。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交通道路影像的图像信息提取方法，其特征在于，包括：S1.获得交通道路影像，将交通道路影像按照2：1：1的比例划分为训练集、测试集和验证集，将划分后的交通道路影像进行裁剪，等待下一步处理；将训练集、测试集和验证集的影像，人为进行图像信息提取，将图像信息提取结果保存留作后续对照；S2.构建基于交通道路影像的图像信息提取网络，具体是将U
‑
Net神经网络中的所有卷积模块替换为综合转换器模块DT，DT包括两个归一化层、一个多重信息融合模块HLP和一个多层感知机模块MLP；归一化层不保存训练批次的均值和方差，取同一个样本的不同通道做归一化；HLP是基于小波变换的转换器模块、多层卷积模块和多层池化模块的并行操作，采用桥连接方法加强全局和局部之间的联系；MLP先将数据先映射到高维空间再映射到低维空间；S3.将训练集中的交通道路影像输入S2构建好的基于交通道路影像的图像信息提取网络中，得到基于交通道路影像的图像信息提取结果，将图像信息提取结果和训练集人为进行图像信息提取的结果进行误差计算，如果误差大于设置的阈值，反向传播更新参数，反复迭代直至误差小于设置的阈值，停止更新参数并保存网络参数；S4.将验证集中的交通道路影像输入S2构建好的基于交通道路影像的图像信息提取网络中，网络的输出为基于交通道路影像的图像信息提取网络的信息提取结果，将图像信息提取结果和验证集人为进行图像信息提取的结果进行误差计算，如果误差大于设置的阈值，返回S3，如果误差小于设置的阈值，执行S5；S5.把测试集中的交通道路影像输入S2构建好的基于交通道路影像的图像信息提取网络中，网络的输出为基于交通道路影像的图像信息提取网络的最终信息提取结果。2.根据权利要求1所述的一种基于交通道路影像的图像信息提取方法，其特征在于，S2中的HLP的结构包括一个基于小波变换的转换器模块、一个多层卷积模块和一个多层池化模块并行结构、一个成比例的合并层、两个交叉的桥连接和一个1X1的卷积层。3.根据权利要求2所述的一种基于交通道路影像的图像信息提取方法，其特征在于，S2中的HLP运行过程为：B1.HLP的输入为特征数据块X，设X的行数为H、列数为W，通道数为C，X同时输入到基于小波变换的转换器模块、多层卷积模块和多层池化模块，对应三个模块的输出为Y1、Y2、Y3，维度均为H
×
W
×
C：Y1、Y2、Y3=DWT
‑
CSWTF(X)，ML
‑
CNN(X)，ML
‑
PL(X)；式中，DWT
‑
CSWTF是基于小波变换的转换器模块架构，由小波变换和十字交叉注意力串联产生，DWT
‑
CSWTF(X)表示让X通过基于小波变换的转换器模块，ML
‑
CNN是多层卷积模块，由三个并行的卷积层、一个拼接层和一个归一化层构成，ML
‑
CNN(X)表示让X通过多层卷积模块，ML
‑
PL是多层池化模块，由4个并行的平局池化层、一个上采样层、一个拼接层和一个激活函数层构成，ML
‑
PL(X)表示让X通过多层池化模块；B2.通过桥连接求Y1和Y2的结果的交叉注意力，设输出为Z1和Z2：Z1，Z2=GB(Y1)，LB(Y2)；GB表示全局桥，是由全局到局部的信息连接桥；LB表示局部桥，是由局部到全局的信息连接桥，GB(Y1)表示对小波变换的转换器输出和多层卷积的输出求解交叉注意力机制，将
多层卷积的结果引入到小波变换的转换器中在全局信息中引入细节信息；LB(Y2)表示将在细节信息中引入全局信息；B3.将Z1、Z2和Y3按2:2:1比例相加，通过1X1卷积进行通道交互，将经过桥连接优化后的Z1和Z2与多层池化输出进行融合，将全局信息、局部信息频率信息进行交互，HLP的最终输出M：M=con1
×
1(2Z1+2Z2+Y3)；其中con1
×
1是卷积核大小为1
×
1的卷积运算函数。4.根据权利要求3所述的一种基于交通道路影像的图像信息提取方法，其特征在于，基于小波变换的转换器模块包括基于小波变换和逆小波变换的补偿模块、基于小波变换的频率重组模块、基于十字交叉注意力的转换器模块；基于小波变换和逆小波变换的补偿模块为于残差结构，基于小波变换的频率重组模块将高低频率进行重新组合，产生适合提取的频率组合，再从频率重组后的信息获取K'和V'矩阵，从输入特征获得Q矩阵，将其Q、K'和V'三个矩阵输入到基于十字交叉注意力的转换器模块：Y2=Attention(Q、K'、V')+IDWT(DWT(X))；其中Q是来自X的映射矩阵，小波变换重组后的X记为X0，K'和V'是来自的X0映射矩阵，DWT表示小波变换，IDWT表示逆小波变换，Attention是十字交叉注意力全局注意力图的函数。5.根据权利要求4所述的一种基于交通道路影像的图像信息提取方法，其特征在于，基于小波变换的频率重组模块包括：两个1X1的卷积层、一个3X3的卷积层、一个细化的小波变换过...

【专利技术属性】
技术研发人员：伍友周，王珺，刘伟锋，刘宝弟，杨兴浩，张冰峰，王英杰，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：