基于单目摄像头的六轴协作机械臂实时跟随人单臂方法技术

本发明专利技术提供了一种基于单目摄像头的六轴协作机械臂实时跟随人单臂方法，属于人机交互技术领域。针对现有手臂关节点检测结果抖动及缺少快速计算关节角度方式的问题，本发明专利技术用单目摄像头实时拍摄人体手臂，实时估计2D手臂关节角度，并对坐标位置采用手臂图像分割方法进行矫正以获取更加准确和稳定的关节点位置，采用快速空间点连线的角度计算方法来计算人手臂各关节角度，从而实现六轴协作机械臂实时跟随复现人手臂角度姿态。本发明专利技术方法具有快速、有效减少检测结果抖动的优势，可协作机械臂实时复现人单臂各关节角度，实时复现所用整体耗时小于40毫秒，满足机械臂的实时性需求。满足机械臂的实时性需求。满足机械臂的实时性需求。

【技术实现步骤摘要】
Transactions on Pattern Analysis and Machine Intelligence.
[0010][2]Google.Mediapipe.https://google.github.io/mediapipe/.

技术实现思路

[0011]针对现有技术中存在的问题：手臂关节点检测结果抖动问题，即关节点检测结果不准确和不稳定的问题；缺少由手臂关节点位置信息到机械臂对应关节角度的高效快速计算方式；本专利技术提供了一种基于单目摄像头的六轴协作机械臂实时跟随人单臂方法，实现用一个普通摄像头即单目摄像头实时拍摄人体及手臂，实时估计2D手臂关节角度，以及获得2D人单臂关节角度后，协作机械臂实时复现人单臂各关节角度，实时复现所用整体耗时<40毫秒。
[0012]本专利技术基于单目摄像头的六轴协作机械臂实时跟随人单臂方法，包括如下步骤：
[0013]步骤1，设置单目摄像头实时拍摄人的右臂或左臂，将图像输入图像处理设备；
[0014]步骤2，图像处理设备从当前图像中检测手臂轮廓，并利用OpenPose网络获取单臂关节点的位置坐标；
[0015]步骤3，图像处理设备对获取的肩关节点、肘关节点和手腕关节点的位置坐标进行矫正；
[0016]步骤4，图像处理设备利用矫正后的关节点的位置，结合OpenPose网络识别出的关节点位置，计算人的肩关节、肘关节和腕关节的角度；
[0017]步骤5，图像处理设备将计算出的肩关节、肘关节和腕关节的角度发送给六轴协作机械臂，六轴协作机械臂控制对应关节运动到相应的角度。
[0018]所述步骤3中，对坐标位置的矫正方式为：设肩关节点、肘关节点和手腕关节点的位置坐标分别为P
a
，P
b
和P
c
；(1)首先，将P
b
P
c
线段平均分为五等份，从P
c
端取第一等分点，过第一等分点做P
b
P
c
线段的垂线交手臂轮廓线于P
i1
和P
i2
，获取P
i1
P
i2
线段的中点P
M1
；(2)按照中点P
M1
的获取方式，再从P
c
端取第二和第三等分点，获得中点P
M2
和P
M3
；(3)过三个中点P
M1
，P
M2
和P
M3
拟合一个二次曲线(4)将P
a
P
b
线段平均分为五等份，按照中点P
M1
的获取方式，从P
b
端取第一、第二和第三等分点，获取中点P
M4
，P
M5
和P
M6
，过三个中点P
M4
，P
M5
和P
M6
拟合一个二次曲线(5)计算P
c
点到的最近点，作为矫正的手腕关节点位置计算与的交点，作为矫正的肘关节点位置计算P
a
点到的最近点，作为矫正的肩关节点位置
[0019]所述步骤4中，获取肩关节、肘关节和腕关节的角度的方法如下：设某关节角度的起始关节点、中间关节点和终止关节点的位置分别为P
s
,P
V
,P
E
，则根据下式，由关节点位置坐标计算该关节角度f(P
s
,P
V
,P
E
)：
[0020][0021]然后将以弧度为单位的关节角度f(P
s
,P
V
,P
E
)转换为以度为单位的关节角度发送给六轴协作机械臂。
[0022]相比现有技术，本专利技术的优点在于：
[0023](1)本专利技术方法提出了手臂图像分割方法来纠正OpenPose网络获取的手臂关节点位置，使当前时刻的手臂关节点位置更加准确和稳定，达到了减小关节点检测结果抖动的技术效果。相比连续帧平滑滤波方法和AI模型修改后再训练/重训练方法，本专利技术具有快速、有效减少检测结果抖动的优势。
[0024](2)本专利技术方法提出了一种快速空间点连线角度的计算方法，通过空间坐标位置到向量角度的转换，计算出了人手臂各关节角度，达到了由位置信息到角度信息转化的技术效果。相比传统通过向量余弦值求解夹角的方法，具有速度快的优势，也便于之后协作机械臂对应关节的角度复现跟随。
[0025](3)本专利技术方法只需要一个普通的摄像头，成本低、好部署，能够实现六轴协作机械臂实时跟随复现人手臂角度姿态，经测试机械臂跟随的整体运行时间小于40毫秒，满足实时跟踪的设计需求。
附图说明
[0026]图1为本专利技术基于单目摄像头的六轴协作机械臂实时跟随人单臂的系统示意图；
[0027]图2为本专利技术实施例获取准确和稳定的手臂关节点(以右手为例)位置坐标流程图；
[0028]图3为采用OpenPose网络检测出的人体关节点标号和名称示意图；
[0029]图4为本专利技术实施例对拍摄的右臂图像检测的示意图；其中，(a)为摄像机拍摄的右臂原图的灰度示意图；(b)为右臂轮廓检测结果；(c)为在右臂轮廓检测图中加入所检测出的右臂关节点的示意图；
[0030]图5为本专利技术实施例进行手臂关节点(以右臂为例)坐标矫正的流程示意图；
[0031]图6为本专利技术实施例进行手臂关节点(以右臂为例)坐标矫正时的辅助点线示意图；
[0032]图7为本专利技术实施例六轴机械臂实时跟随复现的流程图；
[0033]图8为采用本专利技术方法与现有方法对右臂肘关节点检测结果的对比图；其中(a)为现有方法，(b)为本专利技术方法。
具体实施方式
[0034]下面结合附图和实施例来说明本专利技术技术方案。
[0035]本专利技术实施例的应用场景是用单目摄像头实现机械臂示教。机械臂示教是指通过某种方式教会机械臂演示或者执行某些动作，常见的示教方式包括电脑编程、拖拽复现等等。本专利技术实施例以人手臂的动作姿态为模板，用普通单目摄像头实时拍摄人手臂让六轴协作机械臂实时跟随复现手单臂关节角度，从而实现示教的目的。
[0036]本专利技术实施例中，本专利技术方法的实现系统如图1所示，包括单目摄像头1，图像处理设备2和六轴协作机械臂3，单目摄像头1，实时拍摄人手臂4的图像，将图像传输至图像处理设备2进行手臂关节点位置检测和位置信息到手臂各关节的角度转换，最后控制六轴协作机械臂3的关节运动到与手臂关节相同的角度。本专利技术方法具有摄像头成本低、手臂示教无需有线传感器、运算硬件要求低等特点。单目摄像头选用市面最普通的RGB相机，成本低。图像处理设备的运算单元高低配置都可以，可以是工控机，也可以是嵌入式开发板如Nvidia
的Jetson NANO，开发语言用跨平台通用的python，机械臂选用六本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目摄像头的六轴协作机械臂实时跟随人单臂方法，其特征在于，包括：步骤1，设置单目摄像头实时拍摄人的右臂或左臂，将图像输入图像处理设备；步骤2，图像处理设备从当前图像中检测手臂轮廓，并利用OpenPose网络获取单臂关节点的位置坐标；步骤3，图像处理设备对获取的肩关节点、肘关节点和手腕关节点的位置坐标进行矫正；所述矫正方式为：设肩关节点、肘关节点和手腕关节点的位置坐标分别为P
a
，P
b
和P
c
；(1)首先，将P
b
P
c
线段平均分为五等份，从P
c
端取第一等分点，过第一等分点做P
b
P
c
线段的垂线交手臂轮廓线于P
i1
和P
i2
，获取P
i1
P
i2
线段的中点P
M1
；(2)按照中点P
M1
的获取方式，再从P
c
端取第二和第三等分点，获得中点P
M2
和P
M3
；(3)过三个中点P
M1
，P
M2
和P
M3
拟合一个二次曲线(4)将P
a
P
b
线段平均分为五等份，按照中点P
M1
的获取方式，从P
b
端取第一、第二和第三等分点，获取中点P
M4
，P
M5
和P
M6
，过三个中点P
M4
，P
M5
和P
M6
拟合一个二次曲线(5)计算P
c
点到的最近点，作为矫正的手腕...

【专利技术属性】
技术研发人员：吴波，董芹鹏，郑随兵，
申请(专利权)人：睿尔曼智能科技江苏有限公司，
类型：发明
国别省市：