基于多注意力机制的磨损表面损伤深度估计方法及系统技术方案

本发明专利技术公开了一种基于多注意力机制的磨损表面损伤深度估计方法及系统，以ResNet

【技术实现步骤摘要】
基于多注意力机制的磨损表面损伤深度估计方法及系统


[0001]本专利技术属于机器故障诊断领域的磨损表面分析
，具体涉及一种基于多注意力机制的磨损表面损伤深度估计方法及系统。

技术介绍

[0002]摩擦副的磨损会降低机械装备的运行可靠性和稳定性，甚至会导致严重故障。磨损表面作为磨损过程的直接产物，其损伤区域的形貌可以表征磨损演化机理和磨损严重程度。因此，磨损表面分析技术被视为关键摩擦学系统状态监测和故障诊断的最直接、可靠的技术手段。在机械装备“预知、预防”维护理念的推动下，磨损表面分析技术正向着原位、三维的方向快速发展，而基于工业内窥镜的原位在机检测技术则成为主要技术手段。然而，损伤形状复杂、尺寸不一制约了磨损表面分析的精度及效率，如何从单张二维表面图像中获取三维形貌信息则成为了磨损表面分析技术的研究难点。
[0003]基于机器视觉的磨损表面形貌分析技术实现了以二维磨损表面图像为基础的三维形貌信息提取。例如，以扫描电子显微镜获得的磨损表面图像为研究对象，利用多视图几何约束方法实现了表面三维重构。阴影形状恢复与立体视觉的融合技术实现了磨损表面深度信息的估计。基于复小波的增强阴影形状恢复变换方法被用于获取铣削机械零件的表面三维粗糙度。此外，光度立体视觉被创新性地用于原位磨损表面三维形貌信息提取中。然而，上述方法依赖于多个视图、多个理想假设和多个光源等辅助信息，但是复杂的机械装备工业环境以及内窥镜成像系统导致多目视觉系统搭建及图像采集困难，限制了上述方法在基于内窥镜的磨损表面检测中的应用场景。为此，三维形貌重建仍然是磨损表面分析的一项重要任务。
[0004]近年来，单目深度估计方法通过建立单张二维图像的像素值与深度值之间的映射关系，为单张磨损表面深度估计提供了更好的研究前景。然而在磨损表面损伤区域深度估计中仍存在着损伤区域边缘模糊、损伤形貌估计不准的问题。其关键原因在于现有的单目深度估计模型以相同的权重处理磨损表面整体区域，但损伤区域仅仅是其中小部分，导致了无法有效地重建损伤区域的三维形貌。
[0005]总体而言，目前磨损表面三维重建技术在状态监测及故障诊断中取得了一定的工程效果。但是，由于受内窥镜体积及机械设备内部复杂的成像环境限制，基于多视图、多光源辅助的三维形貌获取技术应用受限，而基于单图像深度估计模型存在磨损损伤区域边缘模糊、损伤形貌估计不准等问题，降低了磨损表面损伤区域三维形貌提取的精度。

技术实现思路

[0006]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于多注意力机制的磨损表面损伤深度估计方法及系统，通过将多重注意力机制引入至U
‑
net网络架构，以提取磨损表面更关注磨损区域的特征图，从单张磨损表面图像中实现损伤深度信息估计，为磨损表面分析技术提供更有效的三维形貌信息获取方法。
[0007]本专利技术采用以下技术方案：
[0008]基于多注意力机制的磨损表面损伤深度估计方法，包括以下步骤：
[0009]S1、以ResNet
‑
50编码层中的四层卷积块为主干，结合两层Conv
‑
ReLU的卷积块构建磨损表面基础特征提取层；
[0010]S2、结合U
‑
Net结构架构和磨损表面特性，基于步骤S1构建的磨损表面基础特征提取层构建损伤区域分割分支网络及深度信息估计分支网络，将损伤区域分割分支网络及深度信息估计分支网络融合作为磨损表面深度估计模型；
[0011]S3、基于损伤区域分割网络及深度信息估计网络构建深度信息均方误差损失、损伤检测交叉熵损失、边缘检测均方误差损失以及结构一致性损失函数，并通过加权方式得到步骤S2构建的磨损表面深度估计模型的损失函数；
[0012]S4、获取二维磨损表面图像，制作对应的损伤区域标记图及深度图；选择具有典型损伤区域的磨损表面图像作为训练样本，以步骤S3构建的损失函数作为优化目标，采用适应性矩估计法训练步骤S2构建的磨损表面深度估计模型，以单张磨损表面图像作为训练好的磨损表面深度估计模型的输入，得到磨损表面的损伤区域分割结果图及深度信息结果图。
[0013]具体的，步骤S1具体为：
[0014]S101、构建两个标准结构为Conv
‑
ReLU的卷积块，实现对磨损表面图像的初级特征提取；
[0015]S102、提取ResNet
‑
50特征提取网络中的Res1、Res2、Res3及Res4共4层卷积块作为磨损表面的高级语义特征提取块，结合步骤S101中两个Conv
‑
ReLU卷积块建立基础特征提取网络，实现磨损表面图像的基础特征提取。
[0016]进一步的，步骤S101中，构建两个标准结构为Conv
‑
ReLU的卷积块具体为：
[0017]第一个卷积块和第二个卷积块采用结构为Conv
‑
ReLU的卷积块做初步的图像特征提取，每个卷积块包含两层卷积操作；第一个卷积块每层采用3个3
×
3大小的卷积核及步长stride＝1进行卷积操作，接着采用ReLU激活函数进行特征非线性化映射，得到F0特征图；第二个卷积块每层采用64个3
×
3大小的卷积核及步长分别为stride＝2、stride＝1进行卷积操作，接着采用ReLU激活函数进行特征非线性化映射，得到F1特征图，最终输出64通道的特征图给后续四个卷积块。
[0018]具体的，步骤S2中，采用结构为Conv
‑
BN
‑
ReLU及Convtransp
‑
BN
‑
ReLU的卷积块建立损伤区域分割分支网络，提取与二维磨损表面大小相对应的损伤区域分割结果图；基于U
‑
Net网络架构建立深度信息估计分支网络，估计损伤区域的深度信息。
[0019]进一步的，建立损伤区域分割分支网络具体为：
[0020]由结构为Conv
‑
BN
‑
ReLU及Convtransp
‑
BN
‑
ReLU的卷积层串联；对于第一个结构Conv
‑
BN
‑
ReLU，先通过3
×
3大小的卷积核及步长stride＝1进行卷积操作，接着采用BN批归一化操作，对特征进行归一化处理，加速网络收敛，最后采用ReLU激活函数进行特征非线性化映射，得到抑制噪声后的特征图；对于第二个结构Convtransp
‑
BN
‑
ReLU，其与结构Conv
‑
BN
‑
ReLU的差异在于采用了3
×
3大小的Convtransp反卷积操作，且步长stride＝2，最终实现将输入的特征图放大2倍；再将特征图与来自基础特征提取层的特征图进行级联；最后采用结构为Conv
‑
ReLU本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多注意力机制的磨损表面损伤深度估计方法，其特征在于，包括以下步骤：S1、以ResNet
‑
50编码层中的四层卷积块为主干，结合两层Conv
‑
ReLU的卷积块构建磨损表面基础特征提取层；S2、结合U
‑
Net结构架构和磨损表面特性，基于步骤S1构建的磨损表面基础特征提取层构建损伤区域分割分支网络及深度信息估计分支网络，将损伤区域分割分支网络及深度信息估计分支网络融合作为磨损表面深度估计模型；S3、基于损伤区域分割网络及深度信息估计网络构建深度信息均方误差损失、损伤检测交叉熵损失、边缘检测均方误差损失以及结构一致性损失函数，并通过加权方式得到步骤S2构建的磨损表面深度估计模型的损失函数；S4、获取二维磨损表面图像，制作对应的损伤区域标记图及深度图；选择具有典型损伤区域的磨损表面图像作为训练样本，以步骤S3构建的损失函数作为优化目标，采用适应性矩估计法训练步骤S2构建的磨损表面深度估计模型，以单张磨损表面图像作为训练好的磨损表面深度估计模型的输入，得到磨损表面的损伤区域分割结果图及深度信息结果图。2.根据权利要求1所述的基于多注意力机制的磨损表面损伤深度估计方法，其特征在于，步骤S1具体为：S101、构建两个标准结构为Conv
‑
ReLU的卷积块，实现对磨损表面图像的初级特征提取；S102、提取ResNet
‑
50特征提取网络中的Res1、Res2、Res3及Res4共4层卷积块作为磨损表面的高级语义特征提取块，结合步骤S101中两个Conv
‑
ReLU卷积块建立基础特征提取网络，实现磨损表面图像的基础特征提取。3.根据权利要求2所述的基于多注意力机制的磨损表面损伤深度估计方法，其特征在于，步骤S101中，构建两个标准结构为Conv
‑
ReLU的卷积块具体为：第一个卷积块和第二个卷积块采用结构为Conv
‑
ReLU的卷积块做初步的图像特征提取，每个卷积块包含两层卷积操作；第一个卷积块每层采用3个3
×
3大小的卷积核及步长stride＝1进行卷积操作，接着采用ReLU激活函数进行特征非线性化映射，得到F0特征图；第二个卷积块每层采用64个3
×
3大小的卷积核及步长分别为stride＝2、stride＝1进行卷积操作，接着采用ReLU激活函数进行特征非线性化映射，得到F1特征图，最终输出64通道的特征图给后续四个卷积块。4.根据权利要求1所述的基于多注意力机制的磨损表面损伤深度估计方法，其特征在于，步骤S2中，采用结构为Conv
‑
BN
‑
ReLU及Convtransp
‑
BN
‑
ReLU的卷积块建立损伤区域分割分支网络，提取与二维磨损表面大小相对应的损伤区域分割结果图；基于U
‑
Net网络架构建立深度信息估计分支网络，估计损伤区域的深度信息。5.根据权利要求4所述的基于多注意力机制的磨损表面损伤深度估计方法，其特征在于，建立损伤区域分割分支网络具体为：由结构为Conv
‑
BN
‑
ReLU及Convtransp
‑
BN
‑
ReLU的卷积层串联；对于第一个结构Conv
‑
BN
‑
ReLU，先通过3
×
3大小的卷积核及步长stride＝1进行卷积操作，接着采用BN批归一化操作，对特征进行归一化处理，加速网络收敛，最后采用ReLU激活函数进行特征非线性化映射，得到抑制噪声后的特征图；对于第二个结构Convtransp
‑
BN
‑
ReLU，其与结构Conv
‑
BN
‑
ReLU的差异在于采用了3
×
3大小的Convtransp反卷积操作，且步长...

【专利技术属性】
技术研发人员：王硕，邵涛，武通海，王青华，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：