一种用于旋转体图像超分辨率网络模型的构建方法技术

本发明专利技术公开了一种用于旋转体图像超分辨率网络模型的构建方法，属于旋转体图像超分辨率重建领域。本发明专利技术利用浅层特征提取模块、深层特征提取模块、特征重建模块，构建图像超分辨率网络模型。本发明专利技术浅层特征提取模块通过对输入低分辨率图像进行多次特征处理，可更有效地对图像内重要特征进行处理；深度特征提取模块，可对一帧图像进行多尺度下特征信息提取，并且在深度特征提取模块中通过使用特征融合块用以聚合不同尺度下的特征信息，以达到更优的特征重建效果；通过特征重建模块能更好地细化及重建图像特征；通过该模型能获得足够的图像特征信息，并进一步用于提取位移信号，且振动位移信号相对平滑。动位移信号相对平滑。动位移信号相对平滑。

【技术实现步骤摘要】
一种用于旋转体图像超分辨率网络模型的构建方法


[0001]本专利技术涉及一种用于旋转体图像超分辨率网络模型的构建方法，属于旋转体图像超分辨率重建领域。

技术介绍

[0002]在工业生产中，旋转机械结构占所有机械结构的40％以上，因此对旋转体进行安全检测必不可少。基于视觉的结构体振动位移监测方法因其远距离、无接触、多点测量等诸多优势受到越来越多的关注。但在在实际工程应用中，基于视觉的旋转体振动测量往往因采集硬件性能过低或采集现场环境的约束，导致采集得到的旋转体振动图像数据存在低分辨率、失真、噪点等现象，而这些现象会导致在后续振动位移视觉测量步骤所回归出的旋转体位移数据与真实数据产生严重的偏差。如何有效的增强低分辨率旋转体振动位移图像数据特征新界信息，减少因外部因素导致的图像数据分辨率低的问题，对基于视觉的工程测量项目有重大意义。

技术实现思路

[0003]本专利技术提供了一种用于旋转体图像超分辨率网络模型的构建方法，通过浅层特征提取模块、深层特征提取模块和特征重建模块，构建图像超分辨率网络模型，并进一步用于实现图像超分辨率重建。
[0004]本专利技术的技术方案是：一种用于旋转体图像超分辨率网络模型的构建方法，利用浅层特征提取模块、深层特征提取模块、特征重建模块，构建图像超分辨率网络模型。
[0005]所述浅层特征提取模块，包括：利用一个卷积操作作为浅层特征提取模块，将输入至网络的原始低分辨率图像作为浅层特征提取模块的输入，获得浅层特征。
[0006]所述深层特征提取模块由m个Transformer块串联构成，第一个Transformer块的输入为经浅层特征提取模块输出后的浅层特征，而后m
‑
1个Transformer块的输入均为前一个Transformer块的输出。
[0007]所述Transformer块包括：对输入特征进行Swin
‑
Transformer操作得到特征S1，再对特征S1进行下采样操作得到特征D1，同时将特征S1输入至注意力块进行操作得到特征C1；对下采样得到的特征D1进行Swin
‑
Transformer操作得到特征S2，对特征S2进行下采样操作得到特征D2，同时将特征S2输入至注意力块中操作得到特征C2；对下采样得到的特征D2进行Transformer操作得到特征T1，再对特征T1进行Transformer操作得到特征T2，将特征T2与特征D2输入至特征融合块得到特征F1，再对特征F1进行上采样操作得到特征U1；将经过上采样得到的特征U1与注意力块输出特征C2进行相加得到特征A2，再将特征A2进行Swin
‑
Transformer操作得到特征S3，将特征S3与特征D1输入至特征融合块得到特征F2，再对特征F2进行上采样操作得到特征U2；将经过上采样得到的特征U2与注意力块输出特征C1进行相加得到特征A1，再将特征A1进行Swin
‑
Transformer操作得到特征S4，特征S4即为单个Transformer块的输出特征。
[0008]所述注意力块，包括：注意力块对输入特征依次经过卷积操作、PReLU激活函数操作、卷积操作，得到特征P1，对特征P1依次进行全局平均池化操作、卷积操作、PReLU激活函数操作、卷积操作、Sigmoid激活函数操作，得到特征P2，将特征P2与注意力块原始输入特征进行相乘得到特征P3，再将特征P3与特征P1相加即为输出特征；
[0009]所述特征融合块，包括：对单个Transformer块中经过下采样操作的输出特征D1、D2，经过Swin
‑
Transformer操作的输出特征S3，以及经过Transformer操作的输出特征T2进行组合，按(S3，D1)和(T2，D2)的方式，两两组合为两对输入，以每对输入中排在前的为特征融合块的输入特征1，排在后的为特征融合块的输入特征2；将输入特征1分别进行两次相同的卷积核大小的卷积操作，得到特征Co1和特征Co2，将特征Co2与输入特征2相加得到特征Ad1，对特征Ad1依次进行卷积操作以及Sigmoid激活函数操作得到特征Si1，将特征Si1与特征Co1进行相乘得到特征Mu1，再将特征Mu1与输入特征1相加即可得到特征融合块的输出特征。
[0010]所述特征重建模块，包括：将深层特征提取模块输出的特征作为特征重建模块的输入特征，对特征重建模块的输入特征依次进行，卷积操作、LeakyReLU激活函数操作、卷积操作、PixelShuffle操作、卷积操作，输出即为特征重建模块的输出。
[0011]本专利技术的有益效果是：本专利技术针对视觉测振任务的痛点，提出了对采集图像数据进行超分辨率重建的概念，很好的缓解了因图像分辨率过低导致的视觉测振任务的偏差过大的问题；进一步的本专利技术提出了一种适用于旋转体的图像超分辨率网络，通过对采集的旋转体低分辨率图像数据进行超分辨率重建，可以很好的缓解因采集设备或采集环节干扰导致的采集图像数据分辨率过低的问题。具体地：本专利技术将图像超分辨率过程分为三个模块，浅层特征提取模块、深层特征提取模块、特征重建模块，通过对输入低分辨率图像进行多次特征处理，可更有效地对图像内重要特征进行处理；进一步地，本专利技术提出的基于编码
‑
解码架构的深度特征提取模块，可对一帧图像进行多尺度下特征信息提取，并且在深度特征提取模块中通过使用特征融合块用以聚合不同尺度下的特征信息，以达到更优的特征重建效果；再者通过选用Transformer代替传统卷积操作可以更充分地学习图像特征信息，而通过采用两种Transformer能更充分的提取图像种的特征细节信息；再进一步地，通过特征重建模块能更好地细化及重建图像特征；通过该模型能获得足够的图像特征信息，并进一步用于提取位移信号，且振动位移信号相对平滑。基于上述将本专利技术提出的模型用于视觉测振的数据收集阶段，有效降低了数据采集所需相机的分辨率等性能；通过对比经过本专利技术处理后的数据生成的振动信号图和未经处理的数据生成的振动信号图，证明了本专利技术的实际工程应用价值。
附图说明
[0012]图1为本专利技术的模型及应用过程框图；
[0013]图2为深层特征提取模块结构图；
[0014]图3为单个Transformer块结构图；
[0015]图4为单个Transformer块中注意力块结构图；
[0016]图5为单个Transformer块中特征融合块结构图；
[0017]图6为特征重建模块结构图；
[0018]图7为本专利技术模型的应用流程图；
[0019]图8为经过不同算法重建后的转子高分辨率图像对比图；
[0020]图9为经过超分辨率重建的图像数据和模糊图像数据回归出的转子在X轴上的位移数据；
[0021]图10为经过超分辨率重建的图像数据和模糊图像数据回归出的转子在Y轴上的位移数据。
具体实施方式
[0022]下面结合附图和实施例，对专利技术做进一步的说明，但本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于旋转体图像超分辨率网络模型的构建方法，其特征在于：利用浅层特征提取模块、深层特征提取模块、特征重建模块，构建图像超分辨率网络模型。2.根据权利要求1所述的用于旋转体图像超分辨率网络模型的构建方法，其特征在于：所述浅层特征提取模块，包括：利用一个卷积操作作为浅层特征提取模块，将输入至网络的原始低分辨率图像作为浅层特征提取模块的输入，获得浅层特征。3.根据权利要求1所述的用于旋转体图像超分辨率网络模型的构建方法，其特征在于：所述深层特征提取模块由m个Transformer块串联构成，第一个Transformer块的输入为经浅层特征提取模块输出后的浅层特征，而后m
‑
1个Transformer块的输入均为前一个Transformer块的输出。4.根据权利要求3所述的用于旋转体图像超分辨率网络模型的构建方法，其特征在于：所述Transformer块包括：对输入特征进行Swin
‑
Transformer操作得到特征S1，再对特征S1进行下采样操作得到特征D1，同时将特征S1输入至注意力块进行操作得到特征C1；对下采样得到的特征D1进行Swin
‑
Transformer操作得到特征S2，对特征S2进行下采样操作得到特征D2，同时将特征S2输入至注意力块中操作得到特征C2；对下采样得到的特征D2进行Transformer操作得到特征T1，再对特征T1进行Transformer操作得到特征T2，将特征T2与特征D2输入至特征融合块得到特征F1，再对特征F1进行上采样操作得到特征U1；将经过上采样得到的特征U1与注意力块输出特征C2进行相加得到特征A2，再将特征A2进行Swin
‑
Transformer操作得到特征S3，将特征S3与特征D1输入至特征融合块得到特征F2，再对特征F2进行上采样操作得到特征U2；将经过上采样得到的特征U2与注意力块输...

【专利技术属性】
技术研发人员：王森，祝阳，王庆健，张印辉，何自芬，霍琳，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：