【技术实现步骤摘要】
本专利技术属于深度学习领域，涉及一种金属断口类型识别方法，更具体的说，涉及一种基于深度学习技术以及jetson nano b01嵌入式设备的金属断口类型智能识别方法及系统。
技术介绍
1、金属材料是一种由金属元素构成且具有特定物理和化学性质的材料，其广泛应用于工业生产及日常生活的不同领域，如航空航天、冶金制造、交通运输、市政设施等。在复杂工作环境的作用下，服役的金属材料往往会发生疲劳失效，在金属表面脆弱部位形成断口，进而造成巨大经济损失甚至人员伤亡。因此，为了有效防止金属失效发生，需对金属断口(metal fracture,mf)类型进行分析以探索失效原因，为改进金属材料的生产方式及使用环节提供有价值的信息。
2、目前，对于金属材料的断口识别通常由经验丰富的专家通过人工经验进行分析。首先需通过扫描电子显微镜(scanning electron microscope,sem)对金属断口部位进行扫描放大，得到金属断口电镜图像。然后根据金属断口扫描电镜图像及相应的特征对断口类型进行识别。然而，由于金属断口图像间存在较强的类内复杂性及类间相似性，不同的专家可能会给出不同的结果，乃至出现错分的情况。同时，由于需要人工参与，因此诊断过程需要消耗大量时间及人力且难以在复杂的工业现场进行实时诊断。虽已有部分研究基于传统机器学习方法对金属断口进行识别，但上述方法仍需基于专家经验设计特征提取规则和分类器，而特征提取规则的好坏和分类器的性能会严重影响识别精度，导致断口识别准确率无法达到需求。
3、近年来，随着深度学习技术的蓬勃
4、综上所述，如何减少人工识别以及传统机器学习方法带来的误判，解决深度学习算法在金属断口识别任务中面临的问题，进而提升金属断口类型的识别准确率，辅助判定断裂机理，是失效分析领域亟待解决的问题，具有实际应用价值。
技术实现思路
1、为了解决上述现有技术中存在的问题，本专利技术采用的技术方案是：根据本申请一些实施例中的基于深度学习的金属断口类型识别方法，包括：
2、s10.对金属断口扫描电子显微镜图像进行采集、收集及预处理，构建金属断口图像数据集；
3、s20.构建深度学习模型骨干网络结构，用于对金属断口扫描电子显微镜图像进行特征提取及分类；
4、s30.对构建的深度学习模型骨干网络结构的参数进行优化；
5、s40.在深度学习模型骨干网络结构加入注意力机制，得到深度学习模型；
6、s50.对深度学习模型进行训练；
7、s60.对训练后的深度学习模型轻量化部署；
8、s70.将轻量化部署的深度学习模型通过tensorrt转换为嵌入式系统上的推理引擎，并部署在工业环境下计算资源有限的嵌入式系统jetsonnanob01设备上，jetsonnanob01设备的推理引擎根据输入的金属断口扫描电子显微镜图像推理得到金属断口类型并输出。
9、根据本申请一些实施例中的基于深度学习的金属断口类型识别方法，所述步骤s70中的jetsonnanob01设备的推理引擎推理得到金属断口类型输出在现场显示器端进行显示，并保存在jetsonnanob01设备的内存中。
10、根据本申请一些实施例中的基于深度学习的金属断口类型识别方法，jetsonnanob01设备通过以太网将推理引擎推理得到金属断口类型上传至服务器端。
11、根据本申请一些实施例中的基于深度学习的金属断口类型识别方法，步骤s10具体包括：
12、(a)首先使用日立su-8010扫描电子显微镜，对不同温度下13cr不锈钢以及不同环境下x70管线钢的断口部位进行扫描，获得不同类型的金属断口扫描电子显微镜图像，采集图像的分辨率大小为1280×960；
13、(b)通过搜集不同断口类型和分辨率大小的金属断口扫描电子显微镜图像对数据量进行扩充；
14、(c)对采集和收集到的不同分辨率大小的金属断口扫描电子显微镜图像进行裁剪或填充，将图像分辨率大小统一为128×128，填充方式为对于不满足规定大小的图像，对缺少的像素值使用0元素进行填补；
15、(d)对获得的金属断口扫描电子显微镜图像进行数据预处理，预处理方式为使用pytorch深度学习库对图像进行平移、翻转、缩放、zca白化，以对图像进行增强，获得金属断口扫描电子显微镜图像数据集。
16、根据本申请一些实施例中的基于深度学习的金属断口类型识别方法，步骤s20中深度学习模型骨干网络结构的连接方式为直连型神经网络结构，无跳跃连接和跨层连接，每一层卷积层与其前后层间直接相连，深度为14层包含1个输入层，6个卷积层，1个flatten层，2个全连接层，3个池化层以及1个dropout层；
17、步骤s40中在深度学习模型骨干网络结构加入注意力机制，包括在深度学习模型骨干网络结构的最后一层卷积层位置插入混合注意力cbam结构，最后一层卷积层输出的特征图首先经过通道注意力模块，获得通道注意力特征图，由式(1)表示：
18、
19、式中，mc(f)表示通道注意力特征图，σ表示sigmoid函数，mlp为一个两层全连接网络，w0和w1分别表示权重值，avgpool和maxpool分别表示平均池化和最大值池化，f表示输入特征，表示沿通道维度的全局平均池化特征，表示沿通道维度的全局最大池化特征；
20、在通过通道注意力模块后的特征再输入到空间注意力模块，由式(2)表示：
21、
22、式中，ms(f)表示，f7×7表示大小为7×7的卷积核对特征进行卷积操作，表示沿空间维度的全局平均池化特征，表示沿空间维度的全局最大池化特征。
23、根据本申请一些实施例中的基于深度学习的金属断口类型识别方法，s30.对构建的深度学习模型骨干网络结构的参数进行优化，包括
24、(a)将深度学习模型骨干网络结构内包含的不同类型超参数进行一致性编码，将卷积层中卷积核数量及尺寸、全连接层中神经元数量、初始学习率值、dropout值、池化层类型和激活函数类型整体编码为一个24维参数矩阵，并根据各自取值范围随机初始化10组参数矩阵；
25、(b)对深度学习模型骨干网络结构分别载入初始化的10组参数矩阵获得候选深度学习模型，并在金属断口图像数据集上进行训练并计算对应的识别准确率，通过参数矩阵及对应的识别准确率构建初始高斯过程模型；
26、(c)使用ucb函数作为获取函数，根据高斯过程模型计算获取函数值，将获取函数值最大的参数矩阵作为下一轮候选模型的参数矩阵；
27本文档来自技高网...
【技术保护点】
1.一种基于深度学习的金属断口类型识别方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的金属断口类型识别方法，其特征在于，所述步骤S70中的Jetson Nano B01设备的推理引擎推理得到金属断口类型输出在现场显示器端进行显示，并保存在Jetson Nano B01设备的内存中。
3.根据权利要求2所述的基于深度学习的金属断口类型识别方法，其特征在于，JetsonNano B01设备通过以太网将推理引擎推理得到金属断口类型上传至服务器端。
4.根据权利要求1所述的基于深度学习的金属断口类型识别方法，其特征在于，步骤S10具体包括：
5.根据权利要求1-4任一项所述的基于深度学习的金属断口类型识别方法，其特征在于，步骤S20中深度学习模型骨干网络结构的连接方式为直连型神经网络结构，无跳跃连接和跨层连接，每一层卷积层与其前后层间直接相连，深度为14层包含1个输入层，6个卷积层，1个flatten层，2个全连接层，3个池化层以及1个dropout层；
6.根据权利要求5所述的基于深度学习的金属断口类型识别方法
7.根据权利要求6所述的基于深度学习的金属断口类型识别方法，其特征在于，步骤S50中对深度学习模型进行训练，包括：
8.根据权利要求7所述的基于深度学习的金属断口类型识别方法，其特征在于，步骤S70中将轻量化部署的深度学习模型通过TensorRT转换为嵌入式系统上的推理引擎，并部署在工业环境下计算资源有限的嵌入式系统Jetson Nano B01设备上，包括
...【技术特征摘要】
1.一种基于深度学习的金属断口类型识别方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的金属断口类型识别方法，其特征在于，所述步骤s70中的jetson nano b01设备的推理引擎推理得到金属断口类型输出在现场显示器端进行显示，并保存在jetson nano b01设备的内存中。
3.根据权利要求2所述的基于深度学习的金属断口类型识别方法，其特征在于，jetsonnano b01设备通过以太网将推理引擎推理得到金属断口类型上传至服务器端。
4.根据权利要求1所述的基于深度学习的金属断口类型识别方法，其特征在于，步骤s10具体包括：
5.根据权利要求1-4任一项所述的基于深度学习的金属断口类型识别方法，其特征在于，步骤s20中深度学习模型骨干网络结构的连接...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。