一种基于双流孪生网络的装配防错检测方法技术

本发明专利技术公开了一种基于双流孪生网络的装配防错检测方法，包括：提取正确装配局部图像；对提取的正确装配局部图像进行旋转变换，各图像与模板图像组成一组正确装配图像与模板图像的图像组对；模拟错误装配场景并构建错误装配图像与模板图像的图像组对，结合正确装配图像与模板图像的图像组对形成产品装配要素防错检测预训练数据集合；构建用于产品装配要素防错检测的双流孪生检测网络模型；基于预训练数据集合对双流孪生检测网络模型进行训练，并生成训练权重模型；将训练生成的网络权重模型进行迁移，输入待检测图像和模板图像实现多类产品装配过程要素防错检测

【技术实现步骤摘要】
一种基于双流孪生网络的装配防错检测方法


[0001]本专利技术属于工业制造产品装配质量检测
，具体涉及一种基于双流孪生网络的装配防错检测方法
。

技术介绍

[0002]工业制造正从传统离散的制造模式向着自动化
、
智能化的方向发展，产品功能丰富化
、
质量优越化
、
信息智能化
。
产品生产过程主要包括材料
、
零件制造
、
装配
、
检验
、
出厂等环节，产品装配作为影响产品最终质量的关键一环，其装配质量对产品最终的出厂质量具有至关重要的作用
。
为了保障产品生产质量，装配质量检测是产品生产制造过程中必不可少
。
[0003]现阶段工业产品装配质量检测主要依靠人工目视的方式进行检查，检测效率低
、
精度差且主观性强，难以执行统一的装配质量检验标准，导致产品出厂质量一致性难保证，对产品最终的质量具有一定的影响
。
产品装配要素多，人工检测效率低下，一直严重阻碍着较为复杂产品制造质量与效率的提升
。
[0004]随着机器视觉
、
图像处理
、
人工智能等技术的快速发展，此类技术已广泛应用于汽车
、
航空航天
、
轨道交通
、
电子信息等众多生产制造行业中，大大提升了生产制造领域的自动化与智能化水平，保障了产品生产质量/>、
效率与可靠性，为制造业高质量快速发展提供了技术支撑
。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于双流孪生网络的装配防错检测方法，构建的双流孪生网络模型可提取模板图像和待检测图像的高维语义特征，通过抽象表征和对比度量，可准确度量待检测装配要素的相似性程度，从而判断待检测对象的装配准确性与可靠性，避免了因人工目视检查导致的漏检
、
错检等问题，有效提升了装配要素防错检测的准确性
、
效率与可靠性，精确
、
高效的解决了产品制造装配过程中因要素错误导致的产品质量问题，保障了产品制造质量的稳定性与可靠性
。
[0006]为实现上述技术目的，本专利技术采取的技术方案为：
[0007]一种基于双流孪生网络的装配防错检测方法，包括：
[0008]步骤1：对全局图像进行局部区域搜索以及局部区域与模板图像的特征相似性度量，提取正确装配局部图像；
[0009]步骤2：对步骤1中提取的正确装配局部图像进行旋转变换，各图像与模板图像组成一组正确装配图像与模板图像的图像组对；
[0010]步骤3：模拟错误装配场景并构建错误装配图像与模板图像的图像组对，结合正确装配图像与模板图像的图像组对形成产品装配要素防错检测预训练数据集合；
[0011]步骤4：构建用于产品装配要素防错检测的双流孪生检测网络模型；
[0012]步骤5：基于步骤3构建的预训练数据集合对步骤4构建的双流孪生检测网络模型
进行训练，并生成训练权重模型；
[0013]步骤6：将步骤5训练生成的网络权重模型进行迁移，输入待检测图像和模板图像实现多类产品装配过程要素防错检测
。
[0014]为优化上述技术方案，采取的具体措施还包括：
[0015]上述的步骤1包括：
[0016]步骤
1.1
：获取待检测局部装配要素的模板图像
I
t
，在全局图像
I
中进行粗粒度局部区域搜索，采用改进的局部归一化评价模型
N
cc
进行
I
t
与粗粒度局部区域图像的特征相似性度量，提取与模板图像
I
t
特征相似性最高的粗粒度局部区域图像，作为装配要素粗定位的局部区域图像
I
i
；
[0017]其中模板图像为装配要素正确装配的图像；
[0018]步骤
1.2
：针对装配要素粗定位的局部区域图像
I
i
，在
I
i
中进行细粒度局部区域搜索，采用相似度评价模型
N
cc2
进行细粒度局部区域图像与
I
t
特征相似性度量，最终提取与图像
I
t
相似度最高的细粒度局部区域图像，实现装配要素精确定位，与图像
I
t
相似度最高的细粒度局部区域图像即为正确装配局部图像
I
d
。
[0019]上述的步骤
1.1
中改进的局部归一化评价模型
N
cc1
如下：
[0020][0021]其中，
Cov(X
r
,Y
r
)
表示
r
通道下
X
r
,Y
r
图像的协方差；
[0022]Cov(X
g
,Y
g
)
表示
g
通道下
X
g
,Y
g
图像协方差；
[0023]Cov(X
b
,Y
b
)
表示
b
通道下
X
b
,Y
b
图像的协方差；
[0024]Var(
·
)
表示图像自身方差；
[0025]X
r
,Y
r
分别表示
X
和
Y
图像的
r
通道分离图像结果；
X
g
,Y
g
分别表示
X
和
Y
图像的
g
通道下分离图像结果；
X
b
,Y
b
分别表示
X
和
Y
图像的
b
通道下分离图像结果；
[0026]X
和
Y
图像为待特征相似性度量的图像；
[0027]δ
r
、
δ
g
和
δ
b
表示图像在
r、g、b
通道下相似数量权重分量
。
[0028]上述的步骤
1.2
中相似度评价模型
N
cc2
如下：
[0029][0030]其中，
[0031]Cov(X
h
,Y
h
)
表示
h
通道下
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于双流孪生网络的装配防错检测方法，其特征在于，包括：步骤1：对全局图像进行局部区域搜索以及局部区域与模板图像的特征相似性度量，提取正确装配局部图像；步骤2：对步骤1中提取的正确装配局部图像进行旋转变换，各图像与模板图像组成一组正确装配图像与模板图像的图像组对；步骤3：模拟错误装配场景并构建错误装配图像与模板图像的图像组对，结合正确装配图像与模板图像的图像组对形成产品装配要素防错检测预训练数据集合；步骤4：构建用于产品装配要素防错检测的双流孪生检测网络模型；步骤5：基于步骤3构建的预训练数据集合对步骤4构建的双流孪生检测网络模型进行训练，并生成训练权重模型；步骤6：将步骤5训练生成的网络权重模型进行迁移，输入待检测图像和模板图像实现多类产品装配过程要素防错检测
。2.
根据权利要求1所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤1包括：步骤
1.1
：获取待检测局部装配要素的模板图像
I
t
，在全局图像
I
中进行粗粒度局部区域搜索，采用改进的局部归一化评价模型
N
cc
进行
I
t
与粗粒度局部区域图像的特征相似性度量，提取与模板图像
I
t
特征相似性最高的粗粒度局部区域图像，作为装配要素粗定位的局部区域图像
I
i
；其中模板图像为装配要素正确装配的图像；步骤
1.2
：针对装配要素粗定位的局部区域图像
I
i
，在
I
i
中进行细粒度局部区域搜索，采用相似度评价模型
N
cc2
进行细粒度局部区域图像与
I
t
特征相似性度量，最终提取与图像
I
t
相似度最高的细粒度局部区域图像，实现装配要素精确定位，与图像
I
t
相似度最高的细粒度局部区域图像即为正确装配局部图像
I
d
。3.
根据权利要求2所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤
1.1
中改进的局部归一化评价模型
N
cc1
如下：其中，
Cov(X
r
,Y
r
)
表示
r
通道下
X
r
,Y
r
图像的协方差；
Cov(X
g
,Y
g
)
表示
g
通道下
X
g
,Y
g
图像协方差；
Cov(X
b
,Y
b
)
表示
b
通道下
X
b
,Y
b
图像的协方差；
Var(
·
)
表示图像自身方差；
X
r
,Y
r
分别表示
X
和
Y
图像的
r
通道分离图像结果；
X
g
,Y
g
分别表示
X
和
Y
图像的
g
通道下分离图像结果；
X
b
,Y
b
分别表示
X
和
Y
图像的
b
通道下分离图像结果；
X
和
Y
图像为待特征相似性度量的图像；
δ
r
、
δ
g
和
δ
b
表示图像在
r、g、b
通道下相似数量权重分量
。4.
根据权利要求2所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤
1.2
中相似度评价模型
N
cc2

【专利技术属性】
技术研发人员：李大伟，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：