一种基于特征匹配的装配体多视角变化检测方法及设备技术

本发明专利技术涉及一种基于特征匹配的装配体多视角变化检测方法，包括如下步骤：S1、获取第一图像与第二图像；S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；S4、对所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；S5、根据所述若干个匹配结果，输出装配体变化类型。本发明专利技术获取装配体在不同装配过程不同视角下的图像，通过识别图像中的变化区域，判断装配体的变化类型，能及时发现装配过程中的错误，从而降低产品的不合格率，缩短产品的生产周期。

【技术实现步骤摘要】
一种基于特征匹配的装配体多视角变化检测方法及设备
本专利技术涉及一种基于特征匹配的装配体多视角变化检测方法及设备，属于图像处理领域。
技术介绍
装配是产品制造的重要生产过程，是指按照设计要求将机械零部件组装连接的过程。随着产品类型的不断变化，装配难度也不断增加。在复杂机械产品装配过程中，一旦未能及时检测出装配过程中出现的错误(如装配顺序错误、漏装、错装等)，将会直接影响机械产品的装配效率和使用寿命。故需要对机械装配体变化状态进行检测，及时发现装配过程中的错误。现有技术，如公开号为CN109816049A的专利《一种基于深度学习的装配监测方法、设备及可读存储介质》，构建并训练深度学习模型，深度学习模型输出物理装配体的像素分割图像，所述像素分割图像通过像素颜色表征不同零件，识别出物理装配体的各零件。该专利能够识别装配体的各零件、监测装配步骤以及各零件是否装配出错、出错类型。但深度学习模型需要收集大量训练集并需要大量的训练时间，计算量大，对运行设备的硬件要求较高。现有技术，如公开号为CN106897995A的专利《一种面向机械装配过程的零部件自动识别方法》将零部件装配序列库中将要装配的零部件特征与零散环境中的零部件堆的图像特征进行配准识别，实现对零部件自动识别。该专利没能实现对装配过程中装配错误及装配错误类型的识别。
技术实现思路
为了解决上述现有技术中存在的问题，本专利技术提供一种基于特征匹配的装配体多视角变化检测方法，通过识别图像中的变化区域，判断装配体的变化类型，能及时发现装配过程中的错误，从而降低产品的不合格率，缩短产品的生产周期。本专利技术的技术方案如下：技术方案一：一种基于特征匹配的装配体多视角变化检测方法，包括如下步骤：S1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像；S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；所述待匹配区域为图像中相似的若干个不匹配点形成的区域；S4、对所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；S5、根据所述若干个匹配结果，输出装配体变化类型。进一步的，所述步骤S2具体为：分别提取第一图像与第二图像的特征点；分别提取第一图像与第二图像的显著性区域；根据特征点的局部梯度信息，匹配第一图像显著性区域与第二图像显著性区域内的特征点，得到匹配对集；利用随机抽样一致性算法滤去匹配对集的误匹配对；所述第一不匹配点集包括第一图像中不属于匹配对集的所有特征点；所述第二不匹配点集包括第二图像中不属于匹配对集的所有特征点。进一步的，所述步骤S3具体为：对第一不匹配点集进行聚类分析，得到若干个第一不匹配点簇；对第二不匹配点集进行聚类分析，得到若干个第二不匹配点簇；分别获取各第一不匹配点簇与各第二不匹配点簇的簇边界；根据各第一不匹配点簇的簇边界分割第一图像，得到所述第一待匹配区域集；根据各第二不匹配点簇的簇边界分割第二图像，得到所述第二待匹配区域集。进一步的，获取所述簇边界的具体步骤为：利用凸包算法，选取不匹配点簇的若干个边界特征点；连接所述若干个边界特征点，得到该不匹配点簇的簇边界。进一步的，所述步骤S3还包括对簇边界进行优化：预先设定第一阈值，计算各待匹配区域的区域显著性，若区域显著性大于第一阈值，则保留该待匹配区域的簇边界；否则删除该待匹配区域的簇边界并通过凸包算法重新选取簇边界，直至簇边界内待匹配区域的区域显著性大于第一阈值。进一步的，所述步骤S4具体为：S41、在第二待匹配区域集中选取某一第二待匹配区域，将该第二待匹配区域分别与第一待匹配区域集中各第一待匹配区域进行特征匹配，并计算得到第二待匹配区域与各第一待匹配区域的若干个匹配度，若所述若干个匹配度中的最大值超过第二阈值，则认为该第二待匹配区域与匹配度最大值对应的第一待匹配区域匹配；否则该第二待匹配区域不与任一第一待匹配区域匹配。S42、重复步骤S41直至所有第二待匹配区域均完成特征匹配。进一步的，所述匹配度P的计算公式为：其中，T表示第一待匹配区域与第二待匹配区域之间匹配对的数量，A表示第一待匹配区域中的特征点数量，B表示第二待匹配区域中的特征点数量。进一步的，所述步骤S5具体为：若某一第二待匹配区域不与任一第一待匹配区域匹配，表示该第二待匹配区域中的装配体零部件为新增零部件；若某一第一待匹配区域不与任一第二待匹配区域匹配，表示该第一待匹配区域中的装配体零部件为减少零部件；若某一第一待匹配区域与某一第二待匹配区域匹配，表示该第一待匹配区域与该第二待匹配区域中的装配体零部件相同，且该装配体零部件为移动零部件。技术方案二：一种基于特征匹配的装配体多视角变化检测方法，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：S1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像；S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；所述待匹配区域为图像中相似的若干个不匹配点形成的区域；S4、将所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；S5、根据所述若干个匹配结果，输出装配体变化类型。本专利技术具有如下有益效果：1、本专利技术获取不同视角下处于不同装配过程的装配体图像，通过识别图像中的变化区域(即待匹配区域)，判断装配体的变化类型，能及时发现装配过程中的错误，从而降低产品的不合格率，缩短产品的生产周期。2、本专利技术对不同视角下装配体图像进行特征点提取和特征匹配得到待匹配区域,通过对待匹配区域进行特征匹配实现对装配错误类型的识别，能准确判断零部件的增减及移动，所需的计算量和时间均小于深度学习方法(深度学习方法需要进行多次卷积计算)，实时性高，能够准确识别变化区域类型并且确定变化区域在图像中的位置。且仅对显著性区域内的特征点的特征匹配，能有效降低图像背景对图像匹配的干扰，提高匹配正确率。3、本专利技术通过计算区域显著性优化簇边界，有效减少过分割情况，提高对变化区域的识别精度。附图说明图1为本专利技术流程图；图2和图3为不同装配状态下装配体的示意图；图4为实施例四所述第一图像示意图；图5为实施例四所述第二图像示意图；图6为图3中提取到的特征点示意图；图7为图5中提取到本文档来自技高网...

【技术保护点】
1.一种基于特征匹配的装配体多视角变化检测方法，其特征在于，包括如下步骤：/nS1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像；/nS2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；/nS3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；所述待匹配区域为图像中相似的若干个不匹配点形成的区域；/nS4、对所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；/nS5、根据所述若干个匹配结果，输出装配体变化类型。/n

【技术特征摘要】
1.一种基于特征匹配的装配体多视角变化检测方法，其特征在于，包括如下步骤：
S1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像；
S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；
S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；所述待匹配区域为图像中相似的若干个不匹配点形成的区域；
S4、对所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；
S5、根据所述若干个匹配结果，输出装配体变化类型。


2.根据权利要求1所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，所述步骤S2具体为：
分别提取第一图像与第二图像的特征点；
分别提取第一图像与第二图像的显著性区域；
匹配第一图像显著性区域与第二图像显著性区域内的特征点，得到匹配对集；利用随机抽样一致性算法滤去匹配对集的误匹配对；
所述第一不匹配点集包括第一图像中不属于所述匹配对集的所有特征点；所述第二不匹配点集包括第二图像中不属于所述匹配对集的所有特征点。


3.根据权利要求2所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，所述步骤S3具体为：
对第一不匹配点集进行聚类分析，得到若干个第一不匹配点簇；对第二不匹配点集进行聚类分析，得到若干个第二不匹配点簇；
分别获取各第一不匹配点簇与各第二不匹配点簇的簇边界；根据各第一不匹配点簇的簇边界分割第一图像，得到所述第一待匹配区域集；根据各第二不匹配点簇的簇边界分割第二图像，得到所述第二待匹配区域集。


4.根据权利要求3所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，获取所述簇边界的具体步骤为：
利用凸包算法，选取第一不匹配点簇或第二不匹配点簇中的若干个边界特征点；连接所述若干个边界特征点，得到该第一不匹配点簇或第二不匹配点簇的簇边界。


5.根据权利要求3所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，所述步骤S3还包括对簇边界进行优化：
预先设定第一阈值，计算第一待匹配区域或第二待匹配区域的区域显著性，若区域显著性大于第一阈值，则保留该第一待匹配区域或第二待匹配区域的簇边界；否则删除该第...

【专利技术属性】
技术研发人员：陈成军，岳耀帅，李东年，洪军，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：山东;37