基于图像分块特征嵌入的钢筋绑扎状态识别方法技术

本发明专利技术公开了一种基于图像分块特征嵌入的钢筋绑扎状态识别方法，基于绑扎前后图片的异同实现绑扎状态的确认，避免了基于监督学习的绑扎状态识别类方法中，所需要的大量数据标注的工作，提高了钢筋机器人绑扎钢筋的效率，降低返工几率，降低了生产成本。本发明专利技术解决了现有的钢筋绑扎机器人无确认钢筋绑扎是否成功程序，存在漏绑无法及时发现的问题。存在漏绑无法及时发现的问题。存在漏绑无法及时发现的问题。

【技术实现步骤摘要】
基于图像分块特征嵌入的钢筋绑扎状态识别方法


[0001]本专利技术涉及建筑施工
，具体涉及一种基于图像分块特征嵌入的钢筋绑扎状态识别方法。

技术介绍

[0002]钢筋绑扎机器人是新型施工机器人，它实现了在标准环境下替代人工绑扎钢筋的需求。
[0003]当前的钢筋绑扎机器人主要基于机械结构或图像识别的方式进行钢筋绑扎点的位置识别，然后在绑扎点通过机械手出丝绑扎，完成后继续下一个绑扎点识别及绑扎。
[0004]现有钢筋绑扎机器人未曾进行钢筋绑扎状态的识别，其机械手出丝绑扎后，无法确认钢筋绑扎是否成功，缺少绑扎状态的反馈，导致若出现了漏绑现象，则需要返工重新绑扎，耽误了时间，提高了成本。

技术实现思路

[0005]为克服现有技术所存在的缺陷，现提供一种基于图像分块特征嵌入的钢筋绑扎状态识别方法，以解决现有的钢筋绑扎机器人无确认钢筋绑扎是否成功程序，存在漏绑无法及时发现的问题。
[0006]为实现上述目的，提供一种基于图像分块特征嵌入的钢筋绑扎状态识别方法，包括以下步骤：
[0007]a、分别采集钢筋绑扎点的绑扎前的第一图像和绑扎后的第二图像；
[0008]b、分别将所述第一图像和所述第二图像进行多次分割，逐次将所述第一图像和所述第二图像分割为1、2
×
2、3
×
3，
…
，n
×
n的图像块；
[0009]c、将所述第一图像和所述第二图像的多个所述图像块输入卷积神经网络vgg16中以获得每个所述图像块的特征嵌入向量；
[0010]d、基于每个所述图像块的特征嵌入向量，计算所述第一图像和所述第二图像的相应的图像块的特征嵌入向量的余弦相似度S
j
，其中，
[0011][0012]式中，A
j
为第一图像的第j块图像块，B
j
为第二图像的第j块图像块，m为第一图像和第二图像经多次分别分割获得的图像块的总数，k为特征嵌入向量的长度；
[0013]e、计算获得多个所述图像块的相似度向量S，其中，S＝[s1,s2,...s
m
]；
[0014]f、基于预设的相似度阈值T，当相似度向量S小于等于相似度阈值T，则判定绑扎成功，否则，判定为绑扎失败。
[0015]进一步的，所述特征嵌入向量的长度为4096。
[0016]进一步的，在实施所述步骤e时，对所述相似度向量S进行加权平均获得加权相似
度S
weight
，其中，p
k
加权系数，k为第n次分割，n为总分割次数。
[0017]本专利技术的有益效果在于，本专利技术的基于图像分块特征嵌入的钢筋绑扎状态识别方法，基于绑扎前后图片的异同实现绑扎状态的确认，避免了基于监督学习的绑扎状态识别类方法中，所需要的大量数据标注的工作，提高了钢筋机器人绑扎钢筋的效率，降低返工几率，降低了生产成本。
附图说明
[0018]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0019]图1为本专利技术实施例的第一图像逐次分割演示图。
具体实施方式
[0020]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。
[0021]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0022]参照图1所示，本专利技术提供了一种基于图像分块特征嵌入的钢筋绑扎状态识别方法，包括以下步骤：
[0023]a、分别采集钢筋绑扎点的绑扎前的第一图像和绑扎后的第二图像。
[0024]b、分别将第一图像和第二图像进行多次分割，逐次将第一图像和第二图像分割为1、2
×
2、3
×
3，
…
，n
×
n的图像块。
[0025]具体的，逐次分割图像块的方法参阅图1所示。
[0026]图1是未绑扎前的第一图像为示例演示逐次分割图像块的方法。第1次分割，即原第一图像；第2次分割则将原第一图像等分分成2
×
2块图像块；第3次分割则将原第一图像等分分成3
×
3块图像块；第4次分割则将原第一图像等分分成4
×
4块图像块；第5次分割则将原第一图像等分分成5
×
5块图像块，第n次分割，则将原第一图像等分分成n
×
n块图像块。
[0027]在经过多次分割后，获得多块图像块，将多块图像块依次赋予相应的编号，1、2、3、
…
、m。
[0028]具体的，
[0029]在钢筋绑扎动作执行后，在相同位置再次采集绑扎点的绑扎后图片，同样按照以上方法逐次分割分块并依次编号，由此得到绑扎前后的第一图像和第二图像各m块分割后的图像块。
[0030]c、将第一图像和第二图像的多个图像块输入卷积神经网络vgg16中以获得每个图像块的特征嵌入向量。
[0031]将分割后的每一块图像块重新调整为224
×
224像素，输入预训练的卷积神经网络vgg16中，得到长度为4096的特征嵌入向量。每个图像块生成一个长度为4096的向量，则绑扎前后各生成了m
×
4096个向量，
[0032]d、基于每个图像块的特征嵌入向量，计算第一图像和第二图像的相应的图像块的特征嵌入向量的余弦相似度S
j
，其中，
[0033][0034]式中，A
j
为第一图像的第j块图像块的特征嵌入向量，B
j
为第二图像的第j块图像块的特征嵌入向量，m为第一图像和第二图像经多次分别分割获得的图像块的总数，k为特征嵌入向量的长度。
[0035]e、计算获得多个图像块的相似度向量S，其中，S＝[s1,s2,...s
m
]。
[0036]在本实施例中，相似度向量S进行加权处理，以获得绑扎前后两幅图像块的最终相似度。
[0037]在步骤b中，将n计为n为分块层级，则图像块的相似度矩阵S可规整为如下方式：
[0038][0039]最终对相似度向量S进行加权平均获得加权相似度S
weight
。
[0040][0041]式中，p
k
加权系数。
[0042][0043]k为第n次分割(即对应的层级)，n为总分割次数(即为层级总数)。
[0044]f、基于预设的相似度阈值T，当相似度向量S小于等于相似度阈值T，则判定绑扎成功，否则，判定为绑扎失败。
[0045]本专利技术的基于图像分块特征嵌入的钢筋绑扎状态识别方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分块特征嵌入的钢筋绑扎状态识别方法，其特征在于，包括以下步骤：a、分别采集钢筋绑扎点的绑扎前的第一图像和绑扎后的第二图像；b、分别将所述第一图像和所述第二图像进行多次分割，逐次将所述第一图像和所述第二图像分割为1、2
×
2、3
×
3，
···
，n
×
n的图像块；c、将所述第一图像和所述第二图像的多个所述图像块输入卷积神经网络vgg16中以获得每个所述图像块的特征嵌入向量；d、基于每个所述图像块的特征嵌入向量，计算所述第一图像和所述第二图像的相应的图像块的特征嵌入向量的余弦相似度S
j
，其中，式中，A
j
为第一图像的第j块图像块的特征嵌入向量，B
j...

【专利技术属性】
技术研发人员：史云飞，陈公正，刘世涛，黄青隆，王鹏飞，韩立芳，
申请(专利权)人：中国建筑第八工程局有限公司，
类型：发明
国别省市：