基于三维注意力和双边滤波的装配体变化检测方法技术

本发明专利技术涉及基于三维注意力和双边滤波的装配体变化检测方法，包括如下步骤：S1、获取第一图像和第二图像，所述第一图像为机械装配体前一时刻图像，第二图像为机械装配体第二时刻图像；S2、构建并训练变化检测模型，所述变化检测模型包括编码模块、解码模块、第一三维注意力模块、第二三维注意力模块，所述编码模块包括第一子编码网络和第二子编码网络；S3、将第一图像和第二图像输入至变化检测模型得到变化图像。化图像。化图像。

【技术实现步骤摘要】
基于三维注意力和双边滤波的装配体变化检测方法


[0001]本专利技术涉及基于三维注意力和双边滤波的装配体变化检测方法，属于机械装配体图像多视角变化检测领域。

技术介绍

[0002]装配是将机械零部件按照设计顺序组装在一起形成产品的生产过程，装配顺序是影响产品装配质量的关键。在复杂产品装配过程中，检测每个装配步骤新装零部件，有助于获取机械装配过程的相关信息，及时发现装配顺序错误，提高机械产品的生产效率。因此对机械类装配体的装配过程智能检测具有重要研究价值。但目前还缺乏精确监测产品装配顺序(亦即监测机械装配体变化情况)的有效方法。
[0003]图像的变化检测可以通过分析两幅不同时刻的图像，检测出图像中随时间发生变化的信息。图像的变化检测当前主要应用在遥感图像分析中，对土地利用变化检测，灾害评估和环境监测等方面具有重要的实用价值。传统的变化检测方法可以分为两类：基于像素的变化检测方法和基于对象的变化检测方法。基于像素的变化检测方法是根据图像的像素信息生成差异图像，并通过阈值分割或聚类得到变化图像，这种方法实现简单，但是忽略了空间信息，并且图像处理过程中会出现大量噪声。基于对象的变化检测方法是利用图像的纹理、结构和几何信息获得变化图像，这种方法虽然充分利用了图像的空间信息，但特征提取方法较为复杂，鲁棒性较差。
[0004]最近几年，深度学习方法被广泛应用在变化检测中，并取得了较好的效果。目前变化检测模型的输入多为彩色图像，这是由于深度图像的颜色和纹理信息单一，提取图像特征较为困难。机械装配体多视角变化检测用到的真实数据集标签需要人工标注，存在标注过程比较耗时，标签标注不精确的问题。
[0005]公开号为CN113269236A的专利中公开了基于多模型集成的装配体变化检测方法，包括以下步骤：建立装配体的三维模型，对三维模型中各零件添加标签，设定若干个装配节点，获取各装配节点下的三维模型在不同视角下的深度图像，并获取各装配节点新增零件的变化类别标签；选取前后时刻两时刻不同视角下的两张深度图像作为训练样本；对训练样本依次经过特征提取、选取目标候选区域、特征信息对比、分类预测、语义分割，对检测模型进行训练，保存训练过程中相似度最优的模型参数，完成训练；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中的变化零件的类别和图像。

技术实现思路

[0006]为了克服现有技术中存在的问题，本专利技术设计了基于三维注意力和双边滤波的装配体变化检测方法。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]技术方案一：
[0009]基于三维注意力和双边滤波的装配体变化检测方法，包括如下步骤：
[0010]S1、获取第一图像和第二图像，所述第一图像为机械装配体前一时刻图像，第二图像为机械装配体第二时刻图像；
[0011]S2、构建并训练变化检测模型，所述变化检测模型包括编码模块、解码模块、第一三维注意力模块、第二三维注意力模块，所述编码模块包括第一子编码网络和第二子编码网络；
[0012]S3、将第一图像和第二图像输入至变化检测模型得到变化图像，具体为：
[0013]S31、将第一图像输入至第一子编码网络，得到第一浅层特征和第一深层特征；将第二图像输入至第二子编码网络，得到第二浅层特征和第二深层特征；将第一深层特征和第二深层特征融合后得到第一融合特征输出至解码模块；将第一浅层特征和第二浅层特征分别输出至第一三维注意力模块和第二三维注意力模块；
[0014]S32、第一三维注意力模块输出第一三维注意力特征至编码网络；第二三维注意力模块输出第二三维注意力特征至编码网络；
[0015]S33、解码模块根据输入的第一融合特征、第一三维注意力特征和第二三维注意力特征，输出变化图像。
[0016]进一步的，还包括双向滤波模块；双向滤波模块用于对所述变化图像进行双向滤波。
[0017]进一步的，得到所述第一三维注意力特征的具体步骤为：
[0018]计算三维注意力权重，根据三维注意力权重，判断所述第一浅层特征映射的各神经元的重要性，对重要性高于阈值的神经元进行特征加强，得到第一三维注意力特征。
[0019]进一步的，所述步骤S33具体为：
[0020]解码模块对输入的第一融合特征进行若干次转置卷积操作，得到解码特征；
[0021]对解码特征、第一三维注意力特征和第二三维注意力特征进行特征融合，得到第二融合特征；
[0022]对第二融合特征进行若干次转置卷积操作，得到变化图像。
[0023]进一步的，所述训练变化检测模型具体为：
[0024]获取合成深度图像数据集和真实彩色图像数据集；利用合成深度图像数据集训练变化检测模型，保存得到的第一最优模型；通过迁移学习方法，利用真实彩色图像数据集对所述第一最优模型进行训练，保存得到的第二最优模型作为训练好的变化检测模型。
[0025]技术方案二：
[0026]基于三维注意力和双边滤波的装配体变化检测设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：
[0027]S1、获取第一图像和第二图像，所述第一图像为机械装配体前一时刻图像，第二图像为机械装配体第二时刻图像；
[0028]S2、构建并训练变化检测模型，所述变化检测模型包括编码模块、解码模块、第一三维注意力模块、第二三维注意力模块，所述编码模块包括第一子编码网络和第二子编码网络；
[0029]S3、将第一图像和第二图像输入至变化检测模型得到变化图像，具体为：
[0030]S31、将第一图像输入至第一子编码网络，得到第一浅层特征和第一深层特征；将
第二图像输入至第二子编码网络，得到第二浅层特征和第二深层特征；将第一深层特征和第二深层特征融合后得到第一融合特征输出至解码模块；将第一浅层特征和第二浅层特征分别输出至第一三维注意力模块和第二三维注意力模块；
[0031]S32、第一三维注意力模块输出第一三维注意力特征至编码网络；第二三维注意力模块输出第二三维注意力特征至编码网络；
[0032]S33、解码模块根据输入的第一融合特征、第一三维注意力特征和第二三维注意力特征，输出变化图像。
[0033]进一步的，还包括双向滤波模块；双向滤波模块用于对所述变化图像进行双向滤波。
[0034]进一步的，得到所述第一三维注意力特征的具体步骤为：
[0035]计算三维注意力权重，根据三维注意力权重，判断所述第一浅层特征映射的各神经元的重要性，对重要性高于阈值的神经元进行特征加强，得到第一三维注意力特征。
[0036]进一步的，所述步骤S33具体为：
[0037]解码模块对输入的第一融合特征进行若干次转置卷积操作，得到解码特征；
[0038]对解码特征、第一三维注意力特征和第二三维注意力特征进行特征融合，得到第二融合特征；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于三维注意力和双边滤波的装配体变化检测方法，其特征在于，包括如下步骤：S1、获取第一图像和第二图像，所述第一图像为机械装配体前一时刻图像，第二图像为机械装配体第二时刻图像；S2、构建并训练变化检测模型，所述变化检测模型包括编码模块、解码模块、第一三维注意力模块、第二三维注意力模块，所述编码模块包括第一子编码网络和第二子编码网络；S3、将第一图像和第二图像输入至变化检测模型得到变化图像，具体为：S31、将第一图像输入至第一子编码网络，得到第一浅层特征和第一深层特征；将第二图像输入至第二子编码网络，得到第二浅层特征和第二深层特征；将第一深层特征和第二深层特征融合后得到第一融合特征输出至解码模块；将第一浅层特征和第二浅层特征分别输出至第一三维注意力模块和第二三维注意力模块；S32、第一三维注意力模块输出第一三维注意力特征至编码网络；第二三维注意力模块输出第二三维注意力特征至编码网络；S33、解码模块根据输入的第一融合特征、第一三维注意力特征和第二三维注意力特征，输出变化图像。2.根据权利要求1所述的基于三维注意力和双边滤波的装配体变化检测方法，其特征在于，还包括双向滤波模块；双向滤波模块用于对所述变化图像进行双向滤波。3.根据权利要求1所述的基于三维注意力和双边滤波的装配体变化检测方法，其特征在于，得到所述第一三维注意力特征的具体步骤为：计算三维注意力权重，根据三维注意力权重，判断所述第一浅层特征映射的各神经元的重要性，对重要性高于阈值的神经元进行特征加强，得到第一三维注意力特征。4.根据权利要求1所述的基于三维注意力和双边滤波的装配体变化检测方法，其特征在于：所述步骤S33具体为：解码模块对输入的第一融合特征进行若干次转置卷积操作，得到解码特征；对解码特征、第一三维注意力特征和第二三维注意力特征进行特征融合，得到第二融合特征；对第二融合特征进行若干次转置卷积操作，得到变化图像。5.根据权利要求1所述的基于三维注意力和双边滤波的装配体变化检测方法，其特征在于，所述训练变化检测模型具体为：获取合成深度图像数据集和真实彩色图像数据集；利用合成深度图像数据集训练变化检测模型，保存得到的第一最优模型；通过迁移学习方法，利用真实彩色图像数据集对所述第一最优模型进行训练，保存得到的第二最优模型作为训练好的变化检测模型。6.基于三维注意力和双边滤波的装配体变化检测设备...

【专利技术属性】
技术研发人员：陈成军，岳耀帅，翟伟伟，霍胜军，赵正旭，张庆海，王爱玲，郑鑫，崔吉福，何瑛，王超，官源林，郭阳，李东年，
申请(专利权)人：青岛鹏海软件有限公司青岛檬豆网络科技有限公司，
类型：发明
国别省市：