一种基于示教机器人辅助的钣金件识别方法技术

本发明专利技术公开了一种基于示教机器人辅助的钣金件识别方法，涉及机器视觉识别技术领域，包括以下步骤：将相机安装在机器人末端上，将钣金件放在工作平台上，确定从工作台上方拍摄顶视图像的机器人末端位姿及相机状态；相机拍摄钣金件的顶视图像和辅助图像，将二者提取的特征信息、辅助图像拍摄时的相机状态及机器人末端位姿信息录入数据库；将待识别钣金件放在工作平台上，相机拍摄钣金件的顶视图像，然后提取特征信息，从数据库中识别出候选匹配件；拍摄待识别钣金件的辅助图像，根据辅助图像提取的特征信息从数据库中识别出匹配度最高的钣金件，最后输出结果，本发明专利技术可针对结构对称或轮廓高度相似的钣金件进行有效区分，保证分类的精度和可靠性。类的精度和可靠性。类的精度和可靠性。

【技术实现步骤摘要】
一种基于示教机器人辅助的钣金件识别方法


[0001]本专利技术涉及机器视觉识别
，具体涉及一种基于示教机器人辅助的钣金件识别方法。

技术介绍

[0002]在航空航天和汽车制造领域，钣金件有着极其广泛的应用，由于航空钣金件在折弯等成型后，还需统一进行喷漆处理，喷漆后，大批大量航空钣金件混杂在一起，此时需进行识别分类以便于后续工序进行。但由于航空钣金件种类多、中小批量、形状尺度多变、缺少装夹定位基准、视觉信息贫乏等特点，不易实现自动化识别与分类，往往其分类识别依靠人工完成，大大影响了生产效率。
[0003]难以分辨的航空钣金件通常分为以下两类：第一类是结构呈现左右对称的钣金件，这类钣金件呈现左右对称，因而它们的面积、周长等参数完全一致。第二类是外形轮廓几乎完全相同，仅在局部细节处存在微小差异，其左右件的外部轮廓几乎完全相同，其区别主要在于中间下陷结构的位置，同样，它们的面积、周长等参数完全一致。
[0004]传统的机器视觉识别方法，通过提取图像的轮廓信息和灰度信息获得钣金件的面积、周长、不变矩等参数，以此构成特征向量进行分类识别。当对上述提及的两类航空钣金件进行机器视觉识别时，由于轮廓信息和灰度信息高度相似，面积、周长、不变矩等参数也近乎完全相同，导致难以准确地识别出钣金件的正确图号。经研究和实验，目前常见的图像识别方法，包括基于深度学习的方法等，对于上述高相似度飞机钣金件分类识别的精度均较低。针对这类高度相似的航空钣金件，需要一种针对性强、识别准确而高效的分类方法。因此，还需要针对钣金件形状尺度多变、缺少装夹定位基准的问题，提出新的适用性强、自动化程度高、识别准确高效的钣金件分类识别方法。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术提供一种基于示教机器人辅助的钣金件识别方法，以达到可针对结构对称或轮廓高度相似的钣金件进行有效区分，保证分类的精度和可靠性的作用。
[0006]为解决上述的技术问题，本专利技术采用以下技术方案：
[0007]一种基于示教机器人辅助的钣金件识别方法，包括以下步骤：
[0008]步骤1：将相机安装在机器人末端上，将钣金件放在一个工作平台上，调整机器人末端的位姿和相机状态，确定一个从工作台上方拍摄顶视图像的机器人末端位姿及相机状态；
[0009]步骤2：机器人带动相机拍摄钣金件的一幅顶视图像，然后在人工示教模式下让相机在对应的视角再拍摄钣金件的一幅辅助图像，将顶视图像和辅助图像提取的特征信息、辅助图像拍摄时的相机状态及机器人末端位姿信息自动录入数据库；
[0010]步骤3：将待识别钣金件放在工作平台上，机器人首先自动带动相机拍摄钣金件的
一幅顶视图像，根据该顶视图像提取的特征信息，从钣金件数据库中识别出候选匹配件；
[0011]步骤4：根据候选匹配件在数据库中记录的辅助图像对应的机器人末端位姿信息，对机器人末端位姿进行自动调整，然后拍摄待识别钣金件的一幅辅助图像，根据辅助图像提取的特征信息从数据库中进一步识别出匹配度最高的钣金件；
[0012]步骤5：将步骤4中获得的匹配度最高的钣金件输出为当前待识别钣金件的最终识别结果。
[0013]优选地，所述步骤1具体包括：
[0014]步骤1.1：将相机安装在机器人末端的法兰盘上；
[0015]步骤1.2：调整机器人末端的位姿，使相机位于视觉工作平台的正上方，且相机的光轴垂直于视觉工作平台；
[0016]步骤1.3：记录此时机器人末端的位姿T0并作为拍摄钣金件顶视图像的固定位姿，并记录此时的相机状态C0作为拍摄钣金件顶视图像的固定相机状态，并存入数据库中。
[0017]优选地，所述步骤2具体包括：
[0018]步骤2.1：依次取每种钣金件的一个样件放置在视觉工作平台上，视觉识别系统控制机器人末端自动到达步骤1确定的顶视图像对应的固定位姿，并自动设置相机状态为步骤1确定的顶视图像对应的固定相机状态；
[0019]步骤2.2：然后自动拍摄当前钣金件的一幅顶视图像，在顶视图像中提取当前钣金件的特征信息；
[0020]步骤2.3：通过示教的方式控制机器人带动相机在区分度较大位置拍摄当前钣金件的一幅辅助图像，并提取辅助图像的特征信息；
[0021]步骤2.4：将顶视图像和辅助图像中提取的当前钣金件的特征信息、拍摄当前钣金件辅助图像时的相机状态及机器人末端位姿信息作为一条记录录入数据库；
[0022]步骤2.5：将当前钣金件的图号作为该条记录的键值。
[0023]优选地，所述步骤2.4具体包括：
[0024]步骤2.4.1：将相机的状态和机器人末端的位姿设置为C0和T0，然后将当前钣金件放在工作平台上相机的正下方，利用机器人末端的相机拍摄当前钣金件的顶视图像I
t
；
[0025]步骤2.4.2：进行图像处理，根据当前钣金件的顶视图像提取顶视图像特征信息F
c
；
[0026]步骤2.4.3：针对左右对称件或极相似零件，以示教方式控制机器人末端运动至能拍摄到钣金件局部细节特征的位姿，拍摄当前钣金件的辅助图像I
a
，提取辅助图像I
a
的特征信息F
f
，同时记录拍摄当前钣金件辅助图像时的相机状态C及机器人末端位姿R；
[0027]步骤2.4.4：循环处理各种需要识别的钣金件，将它们的唯一图号编码ID
i
、顶视图像特征信息F
ci
、辅助图像特征信息F
fi
、拍摄辅助图像时对应的相机状态C
i
和机器人末端位姿R
i
保存至数据库中。
[0028]优选地，所述步骤3具体包括：
[0029]步骤3.1：将相机状态与机器人末端位姿初始化到C0和T0，同时将当前待识别钣金件放到相机的正下方，拍摄当前待识别钣金件的顶视图像I
tv
；
[0030]步骤3.2：对顶视图像I
tv
进行图像处理，提取当前待识别钣金件顶视图像I
tv
的特征信息F
cv
；
[0031]步骤3.3：将特征信息F
cv
同数据库内各条记录中的顶视图像信息F
ci
进行比对，计算F
cv
与F
ci
之间的标准化欧氏距离作为相似性度量，将相似性超过一定阈值的比对结果作为当前待识别钣金件的候选匹配件ID
k
，k＝0,1,
…
,m，其中m为当前待识别钣金件的候选匹配件数目。
[0032]优选地，在步骤3.3中，所述计算F
cv
与F
ci
之间的标准化欧氏距离作为相似性度量，具体包括以下步骤：
[0033]步骤3.3.1：从待识别钣金件的顶视图像中提取特征，由这些特征构成的特征向量记为F
c
＝(x本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于示教机器人辅助的钣金件识别方法，其特征在于，包括以下步骤：步骤1：将相机安装在机器人末端上，将钣金件放在一个工作平台上，调整机器人末端的位姿和相机状态，确定一个从工作台上方拍摄顶视图像的机器人末端位姿及相机状态；步骤2：机器人带动相机拍摄钣金件的一幅顶视图像，然后在人工示教模式下让相机在对应的视角再拍摄钣金件的一幅辅助图像，将顶视图像和辅助图像提取的特征信息、辅助图像拍摄时的相机状态及机器人末端位姿信息自动录入数据库；步骤3：将待识别钣金件放在工作平台上，机器人首先自动带动相机拍摄钣金件的一幅顶视图像，根据该顶视图像提取的特征信息，从钣金件数据库中识别出候选匹配件；步骤4：根据候选匹配件在数据库中记录的辅助图像对应的机器人末端位姿信息，对机器人末端位姿进行自动调整，然后拍摄待识别钣金件的一幅辅助图像，根据辅助图像提取的特征信息从数据库中进一步识别出匹配度最高的钣金件；步骤5：将步骤4中获得的匹配度最高的钣金件输出为当前待识别钣金件的最终识别结果。2.根据权利要求1所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤1具体包括：步骤1.1：将相机安装在机器人末端的法兰盘上；步骤1.2：调整机器人末端的位姿，使相机位于视觉工作平台的正上方，且相机的光轴垂直于视觉工作平台；步骤1.3：记录此时机器人末端的位姿T0并作为拍摄钣金件顶视图像的固定位姿，并记录此时的相机状态C0作为拍摄钣金件顶视图像的固定相机状态，并存入数据库中。3.根据权利要求2所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤2具体包括：步骤2.1：依次取每种钣金件的一个样件放置在视觉工作平台上，视觉识别系统控制机器人末端自动到达步骤1确定的顶视图像对应的固定位姿，并自动设置相机状态为步骤1确定的顶视图像对应的固定相机状态；步骤2.2：然后自动拍摄当前钣金件的一幅顶视图像，在顶视图像中提取当前钣金件的特征信息；步骤2.3：通过示教的方式控制机器人带动相机在区分度较大位置拍摄当前钣金件的一幅辅助图像，并提取辅助图像的特征信息；步骤2.4：将顶视图像和辅助图像中提取的当前钣金件的特征信息、拍摄当前钣金件辅助图像时的相机状态及机器人末端位姿信息作为一条记录录入数据库；步骤2.5：将当前钣金件的图号作为该条记录的键值。4.根据权利要求3所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤2.4具体包括：步骤2.4.1：将相机的状态和机器人末端的位姿设置为C0和T0，然后将当前钣金件放在工作平台上相机的正下方，利用机器人末端的相机拍摄当前钣金件的顶视图像I
t
；步骤2.4.2：进行图像处理，根据当前钣金件的顶视图像提取顶视图像特征信息F
c
；步骤2.4.3：针对左右对称件或极相似零件，以示教方式控制机器人末端运动至能拍摄到钣金件局部细节特征的位姿，拍摄当前钣金件的辅助图像I
a
，提取辅助图像I
a
的特征信息
F
f
，同时记录拍摄当前钣金件辅助图像时的相机状态C及机器人末端位姿R；步骤2.4.4：循环处理各种需要识别的钣金件，将它们的唯一图号编码ID
i
、顶视图像特征信息F
ci
、辅助图像特征信息F
fi
、拍摄辅助图像时对应的相机状态C
i
和机器人末端位姿R
i
保存至数据库中。5.根据权利要求4所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤3具体包括：步骤3.1：将相机状态与机器人末端位姿初始化到C0和T0，同时将当前待识别钣金件放到相机的正下方，拍摄当前待识别钣金件的顶视图像I
tv
；步骤3.2：对顶视图像I
tv
进行图像处理，提取当前待识别钣金件顶视图像I
tv
的特征信息F
cv
；步骤3.3：将特征信息F
cv
同数据库内各条记录中的顶视图像信息F
ci
进行比对，计算F
cv
与F
ci
之间的标准化欧氏距离作为相似性度量，将相似性超过一定阈值的比对结果作为当前待识别钣金件的候选匹配件ID
k
，k＝0,1,
…
,m，其中m为当前待识别钣金件的候选匹配件数目。6.根据权利要求5所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，在步骤3.3中，所述计算F
cv
与F
ci
之间的标准化欧氏距离作为相似性度量，具体包括以下步骤：步骤3.3.1：从待识别钣金件的顶视图像中提取特征，由这些特征构成的特征向量记为F
c
＝(x1,x2,
…
,x
n
)
T
，数据库中待比对的第i个钣金件的特征向量记为F
ci
＝(x
i1
,x
i2
,
…
,x
in
)
T
，i＝1,2,
…
,m，其中，m为数据库中钣...

【专利技术属性】
技术研发人员：邓涛，门向南，李志强，李晓军，
申请(专利权)人：成都飞机工业集团有限责任公司，
类型：发明
国别省市：