基于单目摄像头的六轴协作机械臂实时跟随人单臂方法技术

本发明专利技术提供了一种基于单目摄像头的六轴协作机械臂实时跟随人单臂方法，属于人机交互技术领域。针对现有手臂关节点检测结果抖动及缺少快速计算关节角度方式的问题，本发明专利技术用单目摄像头实时拍摄人体手臂，实时估计2D手臂关节角度，并对坐标位置采用手臂图像分割方法进行矫正以获取更加准确和稳定的关节点位置，采用快速空间点连线的角度计算方法来计算人手臂各关节角度，从而实现六轴协作机械臂实时跟随复现人手臂角度姿态。本发明专利技术方法具有快速、有效减少检测结果抖动的优势，可协作机械臂实时复现人单臂各关节角度，实时复现所用整体耗时小于40毫秒，满足机械臂的实时性需求。满足机械臂的实时性需求。满足机械臂的实时性需求。

【技术实现步骤摘要】
Transactions on Pattern Analysis and Machine Intelligence.
[0010][2]Google.Mediapipe.https://google.github.io/mediapipe/.

技术实现思路

[0011]针对现有技术中存在的问题：手臂关节点检测结果抖动问题，即关节点检测结果不准确和不稳定的问题；缺少由手臂关节点位置信息到机械臂对应关节角度的高效快速计算方式；本专利技术提供了一种基于单目摄像头的六轴协作机械臂实时跟随人单臂方法，实现用一个普通摄像头即单目摄像头实时拍摄人体及手臂，实时估计2D手臂关节角度，以及获得2D人单臂关节角度后，协作机械臂实时复现人单臂各关节角度，实时复现所用整体耗时<40毫秒。
[0012]本专利技术基于单目摄像头的六轴协作机械臂实时跟随人单臂方法，包括如下步骤：
[0013]步骤1，设置单目摄像头实时拍摄人的右臂或左臂，将图像输入图像处理设备；
[0014]步骤2，图像处理设备从当前图像中检测手臂轮廓，并利用OpenPose网络获取单臂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目摄像头的六轴协作机械臂实时跟随人单臂方法，其特征在于，包括：步骤1，设置单目摄像头实时拍摄人的右臂或左臂，将图像输入图像处理设备；步骤2，图像处理设备从当前图像中检测手臂轮廓，并利用OpenPose网络获取单臂关节点的位置坐标；步骤3，图像处理设备对获取的肩关节点、肘关节点和手腕关节点的位置坐标进行矫正；所述矫正方式为：设肩关节点、肘关节点和手腕关节点的位置坐标分别为P
a
，P
b
和P
c
；(1)首先，将P
b
P
c
线段平均分为五等份，从P
c
端取第一等分点，过第一等分点做P
b
P
c
线段的垂线交手臂轮廓线于P
i1
和P
i2
，获取P
i1
P
i2
线段的中点P
M1
；(2)按照中点P
M1
的获取方式，再从P
c
端取第二和第三等分点，获得中点P
M2
和P
M3
；(3)过三个中点P
M1
，P
M2
和P
M3
拟合一个二次曲线(4)将P
a
P
b
线段平均分为五等份，按照中点P
M1
的获取方式，从P
b
端取第一、第二和第三等分点，获取中点P
M4
，P
M5
和P
M6
，过三个中点P
M4
，P
M5
和P
M6
拟合一个二次曲线(5)计算P
c
点到的最近点，作为矫正的手腕...

【专利技术属性】
技术研发人员：吴波，董芹鹏，郑随兵，
申请(专利权)人：睿尔曼智能科技江苏有限公司，
类型：发明
国别省市：