一种基于两阶段的体势-手势整体姿态捕获方法技术

本发明专利技术公开了一种基于两阶段的体势

【技术实现步骤摘要】
一种基于两阶段的体势
‑
手势整体姿态捕获方法


[0001]本专利技术属于人机体感交互
，特别是涉及一种基于两阶段的体势
‑
手势整体姿态捕获方法。

技术介绍

[0002]随着社会的不断发展和科技的不断进步，机器人正逐步深入我们生活的方方面面，而其也从传统的专用场景机器人，向通用场景下人
‑
机协作交互机器人转变。而传统的人机交互识别方法识别模式单一，智能化程度不高，只能针对简单单一识别模式，执行固定单一的控制指令。
[0003]现在有相关文献中有记载人机交互智能系统，但是都存在的不足之处，具体体现在以下几个方面：人体捕获系统组成复杂，甚至需要专用特制的人体跟踪设备；对于人体和手部这种尺度差异较大的物体，整体姿态的捕获效果较差；多种姿态检测算法同时叠加后，系统实时性不高稳定性较低。

技术实现思路

[0004]针对以上技术问题，本专利技术提供系统硬件简易、识别效果好并且实时性高稳定性强的一种基于两阶段的体势
‑
手势整体姿态捕获方法
[0005]本专利技术解决其技术问题采用的技术方案是：
[0006]一种基于两阶段的体势
‑
手势整体姿态捕获方法，方法包括以下步骤：
[0007]步骤S100：使用单目相机对人体交互动作进行视频采集，得到视频数据；
[0008]步骤S200：将视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据，并根据人体骨骼序列得到人体高度值；
[0009]步骤S300：将人体骨骼序列数据和人体高度值送入手部定位模块，得到手部定位ROI区域值结果和手部ROI区域的RGB图像序列；
[0010]步骤S400：将手部ROI区域的RGB序列图像送入已训练好的手部骨骼提取网络，得到手部骨骼序列数据；
[0011]步骤S500：根据手部定位ROI区域值，将手部骨骼序列数据，反映射回原图像中得到手部骨骼序列数据；
[0012]步骤S600：根据人体骨骼序列数据和手部骨骼序列数据结合，在原图像上进行显示得到人体骨骼图像和手部骨骼图像，完成骨骼捕获。
[0013]优选地，人体骨骼提取网络为mediapipe网络，步骤S200包括：
[0014]步骤S210：将采集得到视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据
[0015][0016]其中，P表示人体骨骼序列数据，i表示当前所在骨骼序号，t表示当前所在帧序号，V＝33为人体骨骼点总数，T为序列总帧数，x为横轴坐标值，y为纵轴坐标值；
[0017]步骤S220：根据人体骨骼序列数据和预设定的骨骼序号得到头部区域和脚部区域中心点的坐标，根据头部区域和脚部区域中心点的坐标，得到人体高度H：
[0018][0019][0020][0021]其中，head和foot分别表示头部区域和脚部区域中心点的坐标，(x
head
,y
head
)分别表示头部区域中心点的横坐标和纵坐标，(x
foot
,y
foot
)分别表示头部区域中心点的横坐标和纵坐标，1
‑
6为头部区域的骨骼序号，27
‑
32为脚部区域的骨骼序号。
[0022]优选地，步骤S300包括：
[0023]步骤S310：将人体骨骼序列数据和人体高度值送入手部定位模块，手部定位模块根据人体骨骼序列数据和预设定的骨骼序号，分别得到左手区域和右手区域的粗定位坐标序列：
[0024][0025][0026]其中，Hand
left
表示左手区域粗定位坐标序列，Hand
right
表示右手区域粗定位坐标序列,P
15/17/19/21
表示左手区域的手腕/小拇指/食指/大拇指的坐标数据，P
16/18/20/22
表示右手区域的手腕/小拇指/食指/大拇指；
[0027]步骤S320：将左手区域的坐标数据和右手区域的坐标数据送入最大最小函数，得到左右两手区域的坐标数据的最大和最小值：
[0028][0029]其中，(left/right)
max
表示左手/右手区域坐标数据的最大值，(left/right)
min
表示左手/右手区域坐标数据的最小值，max/min(
·
)表示取最大值或最小值运算；
[0030]步骤S330：根据左手/右手区域坐标数据的最大值、左手/右手区域坐标数据的最小值以及人体高度H，得到左右手的ROI区域：
[0031]ROI
left/right
＝rectangle[point1,point2][0032][0033]其中：rectangle[
·
]表示取矩形区域，point1表示矩形区域的左上顶点，point2表示矩形区域的右下顶点。x
max
表示左手坐标数据的最大值，y
max
表示右手坐标数据的最大值，
x
min
表示左手坐标数据的最小值，y
min
表示右手坐标数据的最小值；
[0034]步骤S340：获取左右手ROI区域内的RGB图像序列。
[0035]优选地，步骤S500包括：
[0036]步骤S510：获取手部骨骼序列数据，其坐标数据值为左右手ROI区域内的坐标值，具体为：
[0037][0038]其中，V'＝21表示手部骨骼点总数，表示手部骨骼序列数据，分别表示左右手ROI区域内的横坐标和纵坐标值。
[0039]步骤S520：根据左右手ROI区域的矩形区域左上角坐标，对整个手部坐标序列进行映射变换，将坐标从左右手ROI区域内坐标变换为原图像中坐标
[0040][0041][0042]经过变换后，手部骨骼数据为原图像中的真实值。
[0043]优选地，步骤S600包括：
[0044]步骤S610：根据人体骨骼序列数据，在原图像中进行显示，显示出预设定的人体33个关节圆点；
[0045]步骤S620：根据预设定的各个人体关节点连接顺序，直线连接得到人体骨骼连线，与关节圆点构成人体骨骼显示图像；
[0046]步骤S630：根据手部骨骼序列数据，在原图像中进行显示，显示出手部关节圆点；
[0047]步骤S640：根据预设定的各个手部关节点连接顺序，直线连接得到手部骨骼连线，与关节圆点构成手部骨骼显示图像。
[0048]与现有技术相比，本专利技术的优点在于：(1)系统硬件平台简易：本专利技术的一种人体姿态捕获系统，组成简单，仅依靠单目相机的摄像头进行视频采集，无需外加电子元件，更无需专用特制的人体跟踪设备。系统不复杂，平台的搭建工作容易完成；(2)交互效果好：本专利技术提出的基于两阶段的体势
‑
手势整体姿态捕获方法，能够在捕获大尺度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两阶段的体势
‑
手势整体姿态捕获方法，其特征在于，所述方法包括以下步骤：步骤S100：使用单目相机对人体交互动作进行视频采集，得到视频数据；步骤S200：将所述视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据，并根据所述人体骨骼序列得到人体高度值；步骤S300：将所述人体骨骼序列数据和所述人体高度值送入手部定位模块，得到手部定位ROI区域值结果和手部ROI区域的RGB图像序列；步骤S400：将所述手部ROI区域的RGB序列图像送入已训练好的手部骨骼提取网络，得到手部骨骼序列数据；步骤S500：根据所述手部定位ROI区域值，将所述手部骨骼序列数据，反映射回原图像中得到手部骨骼序列数据；步骤S600：根据所述人体骨骼序列数据和所述手部骨骼序列数据结合，在原图像上进行显示得到人体骨骼图像和手部骨骼图像，完成骨骼捕获。2.根据权利要求1所述的方法，其特征在于，所述人体骨骼提取网络为mediapipe网络，步骤S200包括：步骤S210：将采集得到视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据列数据其中，P表示人体骨骼序列数据，i表示当前所在骨骼序号，t表示当前所在帧序号，V＝33为人体骨骼点总数，T为序列总帧数，x为横轴坐标值，y为纵轴坐标值；步骤S220：根据所述人体骨骼序列数据和预设定的骨骼序号得到头部区域和脚部区域中心点的坐标，根据所述头部区域和脚部区域中心点的坐标，得到人体高度H：域中心点的坐标，根据所述头部区域和脚部区域中心点的坐标，得到人体高度H：域中心点的坐标，根据所述头部区域和脚部区域中心点的坐标，得到人体高度H：其中，head和foot分别表示头部区域和脚部区域中心点的坐标，(x
head
,y
head
)分别表示头部区域中心点的横坐标和纵坐标，(x
foot
,y
foot
)分别表示头部区域中心点的横坐标和纵坐标，1
‑
6为头部区域的骨骼序号，27
‑
32为脚部区域的骨骼序号。3.根据权利要求2所述的方法，其特征在于，步骤S300包括：步骤S310：将所述人体骨骼序列数据和所述人体高度值送入手部定位模块，所述手部定位模块根据所述人体骨骼序列数据和预设定的骨骼序号，分别得到左手区域和右手区域的粗定位坐标序列：
其中，Hand
left
表示左手区域粗定位坐标序列，Hand
right
表示右手区域粗定位坐标序列,P
15/17/19/21...

【专利技术属性】
技术研发人员：王耀南，郭晓峰，朱青，毛建旭，莫洋，陈林，周振，冯明涛，
申请(专利权)人：湖南大学，
类型：发明
国别省市：