一种基于识别模板的机械臂控制方法技术

本发明专利技术的目的在于提出一种基于识别模板的机械臂控制方法，运用于搬运的机械臂，包括以下步骤：步骤S1：对输送带入口处进行周期性拍摄，获取第一图片，判断第一图片是否存在物体，若存在，则获取物体此时在输送带上的距离识别标识；步骤S2：对距离识别标识进行跟踪拍摄，当跟踪拍摄到距离识别标识出现在第一规定距离点时，获取第二图片；步骤S3：对第二图片进行识别，判断第二图片中的物体是否为待抓取目标，若是，则根据识别结果生成抓取指令；步骤S4：当跟踪拍摄到距离识别标识出现在第二规定距离点时，触发机械臂执行抓取指令，对待抓取目标进行抓取，对运输带上的运输物体进行多次识别，增加识别的次数，提高对待抓取目标的识别效果。别效果。别效果。

【技术实现步骤摘要】
一种基于识别模板的机械臂控制方法


[0001]本专利技术涉及机械臂控制
，特别是一种基于识别模板的机械臂控制方法。

技术介绍

[0002]随着机械臂技术的日新月异与工业机械臂的不断发展，将机械臂投入到工业生产中已经基本实现了，但是在复杂的生产环境中使用机械臂对目标部件进行抓取还是一项难以攻克的难题。特别是在生产输送带中，在输送带上存在有众多不同的零部件，不同的机械臂需要抓取不同的零部件。
[0003]目前在复杂的环境的输送带中主要影响机械臂对于零部件的识别原因有两个：
[0004]1.零部件在输送带上的摆放角度，因为摆放的角度不同，在套用识别模板时，识别模板的识别点会对应在零部件错误的地方。
[0005]2.同时输送带上的零部件是随着输送带的传输带运动的，而摄像机是周期性获取输送带上的图片，对图片进行识别判断是否存在待抓取的零部件。这样导致了当零部件出现在图片的边缘时，由于零部件的像素距离出现变化，导致机械臂内存储的识别模板无法有效识别出零部件。

技术实现思路

[0006]针对上述缺陷，本专利技术的目的在于提出一种基于识别模板的机械臂控制方法及，以消除因零部件在被拍摄角度以及零部件摆放角度对识别模板的影响，提高机械臂对待抓取零部件的识别率。
[0007]为达此目的，本专利技术采用以下技术方案：一种基于识别模板的机械臂控制方法，运用于搬运的机械臂，包括以下步骤：
[0008]所述输送带的带体设置有距离识别标识，所述距离识别标识随带体的传送而移动，所述输送带间距设置有多个不随带体移动的规定距离点；
[0009]步骤S1：对输送带入口处进行周期性拍摄，获取第一图片，判断第一图片是否存在物体，若存在，则获取物体此时在输送带上的距离识别标识；
[0010]步骤S2：对所述距离识别标识进行跟踪拍摄，当跟踪拍摄到所述距离识别标识出现在第一规定距离点时，获取此时的跟踪拍摄视频的当前帧图片，作为第二图片；
[0011]步骤S3：对所述第二图片进行识别，判断第二图片中的物体是否为待抓取目标，若是，则根据识别结果生成抓取指令，并对所述距离识别标识继续进行跟踪拍摄；
[0012]步骤S4：当跟踪拍摄到所述距离识别标识出现在第二规定距离点时，触发所述机械臂执行抓取指令，对所述待抓取目标进行抓取。
[0013]优选的，所述第一规定距离点设置有多个；
[0014]当在某个第一规定距离点获取的第二图片中识别出存在有所述待抓取目标，则不再后续其他第一规定距离点的获取第二图片。
[0015]优选的，判断第一图片中是否存在有物体的步骤如下：
[0016]采用One
‑
Stage算法对第一图片上输送带入口处进行识别框提取，若存在识别框，则说明所述第一图片中存在有物体；若不存在识别框，则说明所述第一图片中不存在有物体。
[0017]优选的，所述距离识别标识出现在第一规定距离点的判断步骤如下：
[0018]获取跟踪拍摄视频的某一帧，并获取距离识别标识在该帧中像素距离，根据像素距离与距离的线型关系获取得到摄像头与距离识别标识的距离，并判断摄像头与距离识别标识的之间的距离落入到距离阈值点，若是，则所述距离识别标识到达所述第一规定距离点。
[0019]优选的，所述机械臂对所述图片进行识别前，还包括以下步骤：
[0020]步骤S31：根据待抓取目标制作识别模板，对识别模板以及识别模板对应的掩码图进行边缘扩充，设置识别模板的角度以尺度范围属性，得到360个旋转角度的识别模板；对360个识别模板进行特征提起，并保存在配置文件中；
[0021]步骤S32：对识别模板进行训练，获取得到识别模板中的识别特征，并将识别特征写入配置文件。
[0022]优选的，所述步骤S32中，对识别模板进行训练的过程如下：
[0023]步骤S321：对识别模板进行第一层金字塔方向梯度量化，在第一层金字塔中对识别模板的识别特征进行提取；
[0024]步骤S322：对识别模板进行第二层金字塔方向梯度量化，在第二层金字塔中对识别模板的识别特征进行提取；
[0025]步骤S323：保存当前角度下识别模板在第一层金字塔与第二层金字塔所提取的识别特征；
[0026]步骤S324：获取下一张不同旋转角度的识别模板，重复步骤S321～S323，直到获取识别模板所有角度的识别特征。
[0027]优选的，所述对第二图片进行识别，判断第二图片中是否存在有待抓取目标的过程如下：
[0028]步骤S33：采用One
‑
Stage算法对第二图片中的物体进行识别框提取；
[0029]步骤S34：调用所述配置文件中的360个模板的识别特征，分别使用360个识别模板的所述识别特征与所述识别框的内容进行匹配，获取最高匹配得分；
[0030]步骤S35：判断所述最高匹配得分是否大于阈值，若大于阈值，则说明当前图片中存在有待抓取目标，若最高匹配得分小于阈值，则对所述最高匹配得分进行修正，再次判断修正后所述最高匹配得分是否大于阈值，若大于则说明当前图片中存在有待抓取目标，若否则说明当前图片中不存在待抓取目标。
[0031]优选的，所述步骤S34中获取最高匹配得分的具体步骤如下：
[0032]通过360个识别模板中分别与所述识别框进行匹配，其中获取匹配得分的具体公式如下：
[0033]其中表示识别框与第i个模板的匹配得分，i与n为自然整数，表示识别框中第n识别点，y
i
(n)表示第i个识别模板中的第n个识别特征；
[0034]得出360个识别模板相对于识别框的匹配得分，并按照所述匹配得分的大小进行顺序排列。
[0035]优选的，对所述最高匹配得分进行修正的具体公式如下：
[0036][0037]其中为修正后的最高匹配得分，为最高匹配得分，λ为调整系数，调整系数λ的获取公式如下；
[0038][0039]其中b为识别模板在机械臂正下方时宽度的像素距离，c为识别框在所述第二图片中长度的像素距离，a为识别模板在机械臂正下方时长度的像素距离，d为识别框在所述第二图片中宽度的像素距离。
[0040]优选的，当最后一个规定距离点所拍摄的第二图片中未识别出所述待抓取目标，则重复步骤S1。
[0041]上述技术方案中的一个技术方案具有如下优点或有益效果：1.对运输带上的运输物体进行多次识别，增加识别的次数，提高对待抓取目标的识别效果。
[0042]2.制作360个不同旋转角度的模板图，能够有效覆盖较多在真实情况下待识别目标所处在的状态，通过增加识别的模板数量来提高识别的精准。
[0043]3.采用调整系数对最高匹配得分进行一定程度的修正，以减少因拍摄角度而出现误判的情况发生。
附图说明
[0044]图1是本专利技术的一个实施例中方法的流程图。
[0045]图2是本专利技术的一个实施例中识别过程的流程图。
...

【技术保护点】

【技术特征摘要】
1.一种基于识别模板的机械臂控制方法，运用于搬运的机械臂，其特征在于：包括以下步骤：所述输送带的带体设置有距离识别标识，所述距离识别标识随带体的传送而移动，所述输送带间距设置有多个不随带体移动的规定距离点；步骤S1：对输送带入口处进行周期性拍摄，获取第一图片，判断第一图片是否存在物体，若存在，则获取物体此时在输送带上的距离识别标识；步骤S2：对所述距离识别标识进行跟踪拍摄，当跟踪拍摄到所述距离识别标识出现在第一规定距离点时，获取此时的跟踪拍摄视频的当前帧图片，作为第二图片；步骤S3：对所述第二图片进行识别，判断第二图片中的物体是否为待抓取目标，若是，则根据识别结果生成抓取指令，并对所述距离识别标识继续进行跟踪拍摄；步骤S4：当跟踪拍摄到所述距离识别标识出现在第二规定距离点时，触发所述机械臂执行抓取指令，对所述待抓取目标进行抓取。2.根据权利要求1所述的一种基于识别模板的机械臂控制方法，其特征在于：所述第一规定距离点设置有多个；当在某个第一规定距离点获取的第二图片中识别出存在有所述待抓取目标，则不再后续其他第一规定距离点获取第二图片。3.根据权利要求2所述的一种基于识别模板的机械臂控制方法，其特征在于：判断第一图片中是否存在有物体的步骤如下：采用One
‑
Stage算法对第一图片上输送带入口处进行识别框提取，若存在识别框，则说明所述第一图片中存在有物体；若不存在识别框，则说明所述第一图片中不存在有物体。4.根据权利要求2所述的一种基于识别模板的机械臂控制方法，其特征在于：所述距离识别标识出现在第一规定距离点的判断步骤如下：获取跟踪拍摄视频的某一帧，并获取距离识别标识在该帧中像素距离，根据像素距离与距离的线型关系获取得到摄像头与距离识别标识的距离，并判断摄像头与距离识别标识的之间的距离落入到距离阈值点，若是，则所述距离识别标识到达所述第一规定距离点。5.根据权利要求1所述的一种基于识别模板的机械臂控制方法，其特征在于：所述机械臂对所述图片进行识别前，还包括以下步骤：步骤S31：根据待抓取目标制作识别模板，对识别模板以及识别模板对应的掩码图进行边缘扩充，设置识别模板的角度以尺度范围属性，得到360个旋转角度的识别模板；对360个识别模板进行特征提起，并保存在配置文件中；步骤S32：对识别模板进行训练，获取得到识别模板中的识别特征，并将识别特征写入配置文件。6.根据权利要求5所述的一种基于识别模板的机械臂控制方法，其特征在于...

【专利技术属性】
技术研发人员：詹友军，何志雄，尹以茳，李志滔，
申请(专利权)人：广东天太机器人有限公司，
类型：发明
国别省市：