一种工业机器人姿态识别方法、装置及存储介质制造方法及图纸

技术编号:35443315 阅读:49 留言:0更新日期:2022-11-03 11:55
本发明专利技术提供一种工业机器人姿态识别方法、装置及存储介质,方法为:导入工业机器人视频,从工业机器人视频中提取并调整工业机器人2D图像;基于人体姿态估计模型DensePose构建教师模型,通过调整后的工业机器人2D图像对教师模型进行训练,通过训练后的教师模型输出工业机器人2D姿态信息;基于均方误差函数MSE构建总体FDPD蒸馏损失函数;基于教师模型构建学生模型,通过总体FDPD蒸馏损失函数和工业机器人2D姿态信息训练学生模型,通过训练后的学生模型识别工业机器人2D图像中的工业机器人姿态。本发明专利技术实现了精确高效的工业机器人姿态识别,适用于工业机器人的异常检测,无需过大的网络,提高了工业机器人识别姿态的效率。提高了工业机器人识别姿态的效率。提高了工业机器人识别姿态的效率。

【技术实现步骤摘要】
一种工业机器人姿态识别方法、装置及存储介质


[0001]本专利技术主要涉及机器人姿态识别
,具体涉及一种工业机器人姿态识别方法、装置及存储介质。

技术介绍

[0002]由于机器人运动灵活性高、运动范围大、且部分机型在特定工况下运动速度快、负载大、刚度强,当突发异常情况时,机器人极可能造成严重的安全事故,比如工业机器人的异常行为,可能导致发生机器人损坏、挤压等情况,从而一定程度上威胁到工作区域内人员的人身安全,因此,工业机器人的安全行为至关重要。
[0003]基于深度学习的工业机器人安全研究主要来自单个图像的姿态估计,其中大多数旨在估计人机交互中的人体姿态。在工业机器人的姿态估计领域中,拾取和放置任务中目标物体的6D姿态估计是主要研究焦点。传统方法使用视觉方法来检测工业机器人与障碍物之间的碰撞,通过假设机器人姿态是已知的。因为有机器人的信息可以从控制器获得,并且进行手眼校准,因此,这些研究专注于障碍物的轨迹预测。在最近的研究中,许多研究者开始使用深度学习方法对工业机器人本身的姿态进行估计,但与人体姿态估计任务不同,基于深度学习的工业本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业机器人姿态识别方法,其特征在于,包括如下步骤:导入工业机器人视频,从所述工业机器人视频中提取出多个工业机器人2D图像,并对多个工业机器人2D图像进行整理,通过整理后的多个工业机器人2D图像得到工业机器人2D图像集;基于人体姿态估计模型DensePose构建教师模型,通过工业机器人2D图像集对所述教师模型进行训练,通过训练后的教师模型输出工业机器人2D姿态信息;基于均方误差函数MSE构建总体FDPD蒸馏损失函数;基于训练后的教师模型构建学生模型,通过总体FDPD蒸馏损失函数和所述工业机器人2D姿态信息训练所述学生模型,通过训练后的学生模型识别工业机器人2D图像集中各个工业机器人2D图像的工业机器人姿态。2.根据权利要求1所述的工业机器人姿态识别方法,其特征在于,所述从所述工业机器人视频中提取出多个工业机器人2D图像,并对多个工业机器人2D图像进行整理,具体为:通过视频分割关键帧方法从所述工业机器人视频中提取出多个工业机器人2D图像,并从多个工业机器人2D图像中剔除不符合要求的工业机器人2D图像。3.根据权利要求1所述的工业机器人姿态识别方法,其特征在于,所述通过调整后的工业机器人2D图像对所述教师模型进行训练,具体为:定位所述工业机器人2D图像中工业机器人的多个关节点,根据多个关节点确定每个关节点对应的各个区域,根据各个区域中定位后的关节点得到各个区域的密集点及密集点的坐标,计算各个区域中密集点的坐标的中值点,并将各个中值点进行连线并输出,从而得到训练后的教师模型。4.根据权利要求3所述的工业机器人姿态识别方法,其特征在于,所述定位所述工业机器人2D图像中工业机器人的多个关节点,根据多个关节点确定每个关节点对应的各个区域,根据各个区域中定位后的关节点得到各个区域的密集点及密集点的坐标,具体为:根据工业机器人的关节点的数量n将所述工业机器人2D图像划分为与每个关节点对应的n个区域,建立二维坐标系对各个区域进行参数化,得到工业机器人的各个关节点在各个区域内任意位置的坐标;基于区域的密集回归方法从所有区域定位后的关节点中得到感兴趣区域ROI,对感兴趣区域ROI进行级联,通过ROI池对级联后感兴趣区域ROI进行特征生成,得到所述感兴趣区域ROI的密集点及密集点的坐标。5.根据权利要求3所述的工业机器人姿态识别方法,其特征在于,所述计算各个区域中密集点的坐标的中值点,并将各个中值点进行连线输出,具体为:遍历各个感兴趣区域ROI内密集点的坐标,对遍历到的感兴趣区域ROI内的最左X坐标与最右X坐标进行中值计算,得到中值点的X坐标,对遍历到的感兴趣区域ROI内的最上Y坐标与最下Y坐标进行中值计算,得到中值点的Y坐标,从而得到所有感兴趣区域ROI对应的n个中值点,将各个中值点进行连线并输出,从而完成对教师模型的训练。6.根据权利要求1所述的工业机器人姿态识别方法,其特征在于,所述基于均方误差函数MSE构建总体FDPD蒸馏损失函数,具体为:...

【专利技术属性】
技术研发人员:陈灯高鑫张彦铎吴云韬卢涛周华兵刘玮栗娟于宝成鞠剑平唐剑隐徐文霞彭丽
申请(专利权)人:武汉引行科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1