一种基于跟踪视觉识别算法的机械臂智能控制方法技术

本发明专利技术公开了一种基于跟踪视觉识别算法的机械臂智能控制方法，包括机械臂及控制机械臂运动的控制系统，所述机械臂上设有图像获取单元和距离检测单元，控制系统包括图像识别单元；图像获取单元用于实时获取喂食对象的状态图像，将状态图像发送至图像识别单元，图像识别单元基于跟踪视觉识别算法来判断状态图像中喂食对象的状态与遮挡情况，跟踪视觉识别算法可捕捉用户的面部与特定动作来判定是否喂食。本发明专利技术可有效解决多对象遮挡问题，避免在遮挡情况下进行喂食，利用机器视觉来控制机械臂运动，大大增强了喂食的灵活性，能跟踪判定被用户的状态从而合理投喂。被用户的状态从而合理投喂。被用户的状态从而合理投喂。

【技术实现步骤摘要】
一种基于跟踪视觉识别算法的机械臂智能控制方法


[0001]本专利技术涉及机械臂控制
，特别涉及一种基于跟踪视觉识别算法的机械臂智能控制方法。

技术介绍

[0002]人体每天都需要进食，摄取食物中的营养来供给自身，虽然进食是人体的基本技能，但仍有许多人或因身体残疾，或因年龄等问题，而无法自主进食，需要他人喂食。而随着科技的发展，智能机械臂的技术越来越成熟，由此，喂食机器人应运而生。
[0003]喂食机器人设有机械臂以及控制机械臂运动的控制器，控制器可以控制多个机械臂运动，控制器基于来自用户的输入信号，通过用户输入设备实现的机械臂运动。控制器接收各种信号，处理这些信号并提供输出信号以控制机械臂。但是喂食机器人在使用时存在一些问题，大多数机械臂只是按照规定的路径进行，无法根据需要精确定位识别。在多个机械臂由同一个操作员控制时，喂食过程中，难免出现某个喂食对象可能面部被遮挡、低头、转头、嘴未张开等情况，此时喂食机械臂如果继续按照规定路径进行喂食工作，会使食物洒落在桌上甚至是待喂食对象的身上，用户体验极差。

技术实现思路

[0004]为了解决上述问题，本专利技术提供了一种基于跟踪视觉识别算法的机械臂智能控制方法，可以自动捕捉面部动作信息以及遮挡情况，控制机械臂自动喂食。
[0005]为此，本专利技术的技术方案是：一种基于跟踪视觉识别算法的机械臂智能控制方法，包括机械臂、控制机械臂运动的控制系统以及操作界面，所述机械臂上设有图像获取单元和距离检测单元，控制系统包括图像识别单元；图像获取单元用于实时获取喂食对象的状态图像，将状态图像发送至图像识别单元，图像识别单元基于跟踪视觉识别算法来判断状态图像中喂食对象的状态与遮挡情况，跟踪视觉识别算法可捕捉用户的面部与特定动作来判定是否喂食；
[0006]具体包括以下步骤：
[0007]1)事先将用户面部特征信息录入数据库中，将获取到的图像信息与数据库中的用户面部特征信息进行比对，确认获取的图像信息中的用户身份；
[0008]2)利用卡尔曼滤波器对图像中的用户动作进行预测分析，通过两组相似度不同的动作数据融合为一个确定靠谱的动作预测值，即分配问题将卡尔曼滤波器的预测映射到新到达的测量值Z1，利用匈牙利算法来关联逐个图像数据；
[0009]3)利用距离检测单元来检测用户所在检测点与机械臂之间的距离值；
[0010]4)构建神经网络模型来训练分析用户的特定动作，张嘴或摇头；
[0011]5)控制系统的控制逻辑为：
[0012]①
检测点与机械臂之间的距离值小于等于预设距离值，未捕捉到用户的特定动作，判断用户被遮挡，机械臂不工作；
[0013]②
检测点与机械臂之间的距离值小于等于预设距离值，捕捉到用户的特定动作，张嘴或摇头，判断用户需要喂食或停止喂食，机械臂正常工作或停止工作；
[0014]③
检测点与机械臂之间的距离值大于预设距离值，机械臂不工作。
[0015]优选地，当捕获到图像信息后，比对处理动作指令是否与预测值Z1吻合，即置信区间在90％以上且动作延迟信号1.5s以上；同时处理图像数据关联信息得到扫描值Z2，即扫描脸部五官轮廓边界是否重叠来判断面部是否遮挡，获取到的图像信息与数据库中已有的人脸进行比对，相似性大于90％，则判定为正常识别无遮挡，若发现与数据库中的人脸信息轮廓相似比低于90％或扫描不到轮廓信息，则判定有遮挡，此时不进行喂食操作；通过匈牙利算法将预测值Z1与图像信息扫描值Z2进行比对，即Z1≈Z2时判定为正常，误差区间3％以内。
[0016]优选地，步骤4)中，神经网络模型为深层信念网络DBN，构建分类器，将识别到的动作信息分为两类，张嘴和摇头；不断训练提高在不同距离下的识别精度与速度，其中张嘴数据集中的参数设置为A，{A1,A2,A3，
…
，An}；摇头数据集中的参数设置为B，{B1,B2,B3，
…
，Bn}，参数A与B结合输出一个返回值Z，即A+B＝>Z，不断优化训练Z；其中A与B的数据集是在不同距离下搜集的，通过深层信念网络DBN进行迭代，选出最优距离值。
[0017]优选地，所述图像获取单元为摄像头，距离检测单元为距离传感器。
[0018]优选地，步骤1)中，当获取的图像信息中存在单个用户时，比对数据库中的信息判断，该用户是否与提前录入数据库的用户面部特征信息相符，并作出响应；当获取的图像信息存在多个对象时，逐一判断是否与数据库内的用户面部特征信息相符，若获取的图像中存在与数据库内信息不相符的用户，则进行特殊标定，同时自主确认是否添加该用户的面部特征信息，继续根据设定值依次喂食多个用户，并进行多对象的跟踪喂食。
[0019]优选地，当数据库中已有用户面部特征信息，并识别到新增用户时，在控制系统的操作界面上确认是否新增成员并录入用户面部特征信息；当获取的图像信息存在多个对象时，则默认根据添加顺序进行喂食，或者通过手动设置优先级进行喂食；当获取的图像信息存在多个对象时，可设置单对象跟踪模式，对指定用户进行喂食操作。
[0020]优选地，步骤5)中，当用户做出张嘴这一动作指令时，摄像头识别判定为需要喂食，将自动跟踪用户的嘴部，机械臂进行投喂；摄像头继续拍摄，识别出用户再次做出张嘴这一动作指令时，进行第二次喂食，重复以上动作；当用户发出摇头指令时，摄像头识别为停止进食指令，机械臂停止一切动作并归位为初始状态。
[0021]与现有技术相比，本专利技术的有益效果是：
[0022]1、利用卡尔曼滤波器来预测用户动作，预测值与时间扫描值通过匈牙利算法关联，有效降低误判率；利用用户的特定动作来控制机械臂工作，提高喂食的准确性；
[0023]2、可有效解决多对象遮挡问题，避免在遮挡情况下进行喂食，利用机器视觉来控制机械臂运动，大大增强了喂食的灵活性，能跟踪判定被用户的状态从而合理投喂。
附图说明
[0024]以下结合附图和本专利技术的实施方式来作进一步详细说明
[0025]图1为本专利技术的方法流程框图；
[0026]图2为神经网络模型的训练精度曲线图；
[0027]图3为神经网络模型的训练损耗曲线图。
具体实施方式
[0028]参见附图。本实施例所述基于跟踪视觉识别算法的机械臂智能控制方法，包括机械臂及控制机械臂运动的控制系统，机械臂为市面上现有的喂食机械臂，带有控制系统，由控制系统控制喂食操作，机械臂上设有摄像头和位移传感器，摄像头用于拍摄用户的图像，位移传感器用于测量用户与机械臂之间的距离值。控制系统包括图像识别单元，基于跟踪视觉识别算法来判断状态图像中喂食对象的状态与遮挡情况，跟踪视觉识别算法可捕捉用户的面部与特定动作来判定是否喂食。
[0029]具体包括以下步骤：
[0030]1)事先将所有用户的面部特征信息录入数据库中，以便后续可以识别用户身份，保证餐品与用户相对应，避免出现餐品混用，产生过敏反应；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跟踪视觉识别算法的机械臂智能控制方法，包括机械臂、控制机械臂运动的控制系统以及操作界面，其特征在于：所述机械臂上设有图像获取单元和距离检测单元，控制系统包括图像识别单元；图像获取单元用于实时获取喂食对象的状态图像，将状态图像发送至图像识别单元，图像识别单元基于跟踪视觉识别算法来判断状态图像中喂食对象的状态与遮挡情况，跟踪视觉识别算法可捕捉用户的面部与特定动作来判定是否喂食；具体包括以下步骤：1)事先将用户面部特征信息录入数据库中，将获取到的图像信息与数据库中的用户面部特征信息进行比对，确认获取的图像信息中的用户身份；2)利用卡尔曼滤波器对图像中的用户动作进行预测分析，通过两组相似度不同的动作数据融合为一个确定靠谱的动作预测值，即分配问题将卡尔曼滤波器的预测映射到新到达的测量值Z1，利用匈牙利算法来关联逐个图像数据；3)利用距离检测单元来检测用户所在检测点与机械臂之间的距离值；4)构建神经网络模型来训练分析用户的特定动作，张嘴或摇头；5)控制系统的控制逻辑为：
①
检测点与机械臂之间的距离值小于等于预设距离值，未捕捉到用户的特定动作，判断用户被遮挡，机械臂不工作；
②
检测点与机械臂之间的距离值小于等于预设距离值，捕捉到用户的特定动作，张嘴或摇头，判断用户需要喂食或停止喂食，机械臂正常工作或停止工作；
③
检测点与机械臂之间的距离值大于预设距离值，机械臂不工作。2.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法，其特征在于：当捕获到图像信息后，比对处理动作指令是否与预测值Z1吻合，即置信区间在90％以上且动作延迟信号1.5s以上；同时处理图像数据关联信息得到扫描值Z2，即扫描脸部五官轮廓边界是否重叠来判断面部是否遮挡，获取到的图像信息与数据库中已有的人脸进行比对，相似性大于90％，则判定为正常识别无遮挡，若发现与数据库中的人脸信息轮廓相似比低于90％或扫描不到轮廓信息，则判定有遮挡，此时不进行喂食操作；通过匈牙利算法将预测值Z1与图像信息扫描值Z2进行比对，即Z1≈Z2时判定为正常，误差区间3％以内。3.如权利要求1所述的基...

【专利技术属性】
技术研发人员：徐涛，雷超，韩军功，范振坤，黄焯旭，程王婧，
申请(专利权)人：谙迈科技宁波有限公司，
类型：发明
国别省市：