三维手势的运动轨迹估计方法、装置、设备和存储介质制造方法及图纸

本公开提供了一种三维手势的运动轨迹估计方法、装置、设备和存储介质，通过对初始时刻的手部关节三维坐标进行初始化，从而实现对手势运动轨迹的起点进行锚定，并降低手抖、特征提取偏差等误差的影响。进一步的，应用时变的随机微分方程及高斯过程来模拟手部关节点的三维运动模型，然后引入流形理论表达手部关节点的三维位姿，并将上述三维运动模型扩展到李群上。最后，根据已有观测数据(即手势视频解析得到的观测数据)优化该高斯过程之后，能够精确估计出连续的、平滑的三维手部关节点的运动轨迹。轨迹。轨迹。

【技术实现步骤摘要】
三维手势的运动轨迹估计方法、装置、设备和存储介质


[0001]本公开涉及手势预测
，特别涉及一种三维手势的运动轨迹估计方法、装置、设备和存储介质。

技术介绍

[0002]三维手势识别在AR/VR、机器人、教育、智能家居等多个领域具有巨大应用价值，并且目前随着元宇宙的浪潮，三维手势交互的重要性也愈发凸显。目前的三维手势识别算法大多数是对单帧图像进行分析计算，缺少对时域的连续性分析，这会导致出现手部关节点的抖动、闪烁、位姿突变等，严重影响了用户体验和后续的手势交互。

技术实现思路

[0003]本公开目的在于：提供了一种三维手势的运动轨迹估计方法、装置、计算机设备和存储介质，其能够精确估计出连续的、平滑的三维手部关节点运动轨迹(位姿和速度)。
[0004]为达上述目的，本公开采用以下技术方案：一种三维手势的运动轨迹估计方法，包括：
[0005]采集手势视频，所述手势视频包括多帧手势图像，单帧所述手势图像对应单个观测时刻；
[0006]从初始手势图像中提取得到初始时刻对应的手部关节三维坐标，并对所述手部关节三维坐标进行初始化，得到所述初始时刻对应的手部三维位姿；
[0007]基于所述初始时刻对应的手部三维位姿依序递进，从各帧指定手势图像中恢复得到各个指定观测时刻对应的手部三维位姿，并计算得到各个所述观测时刻对应的手部运动速度，其中，各所述指定手势图像为所述手势视频中将所述初始手势图像除外的图像；
[0008]基于高斯过程理论构建表征各所述手部三维位姿和各所述手部运动速度的局部状态变量；
[0009]根据非线性优化算法和各所述手部三维位姿、各所述手部运动速度对各所述指定观测时刻对应的所述局部状态变量进行优化，得到多个最优局部状态变量；
[0010]调用预设公式对各所述最优局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。
[0011]本公开还提供了一种三维手势的运动轨迹估计装置，包括：
[0012]采集模块，用于采集手势视频，所述手势视频包括多帧手势图像，单帧所述手势图像对应单个观测时刻；
[0013]初始化模块，用于从初始手势图像中提取得到初始时刻对应的手部关节三维坐标，并对所述手部关节三维坐标进行初始化，得到所述初始时刻对应的手部三维位姿；
[0014]恢复模块，用于基于所述初始时刻对应的手部三维位姿依序递进，从各帧指定手势图像中恢复得到各个指定观测时刻对应的手部三维位姿，并计算得到各个所述观测时刻对应的手部运动速度，其中，各所述指定手势图像为所述手势视频中将所述初始手势图像
除外的图像；
[0015]构建模块，用于基于高斯过程理论构建表征各所述手部三维位姿和各所述手部运动速度的局部状态变量；
[0016]优化模块，用于根据非线性优化算法和各所述手部三维位姿、各所述手部运动速度对各所述指定观测时刻对应的所述局部状态变量进行优化，得到多个最优局部状态变量；
[0017]转化模块，用于调用预设公式对各所述最优局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。
[0018]本公开还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0019]本公开还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
[0020]本公开中提供的一种三维手势的运动轨迹估计方法、装置、设备和存储介质，估计系统采集手势视频，该手势视频包括多帧手势图像，单帧手势图像对应单个观测时刻；然后从初始手势图像中提取得到初始时刻对应的手部关节三维坐标，并对手部关节三维坐标进行初始化，得到初始时刻对应的手部三维位姿。再基于初始时刻对应的手部三维位姿依序递进，从各帧指定手势图像中恢复得到各个指定观测时刻对应的手部三维位姿，并计算得到各个观测时刻对应的手部运动速度，其中，各指定手势图像为手势视频中将初始手势图像除外的图像。估计系统基于高斯过程理论构建表征各个手部三维位姿(包括初始时刻对应的手部三维位姿和指定观测时刻对应的手部三维位姿)和各个手部运动速度的局部状态变量，再根据非线性优化算法和各个手部三维位姿、各个手部运动速度各指定观测时刻对应的局部状态变量进行优化，得到多个最优局部状态变量。最后，估计系统调用预设公式对各个最优局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。本公开通过对初始时刻的手部关节三维坐标进行初始化，从而实现对手势运动轨迹的起点进行锚定，并降低手抖、特征提取偏差等误差的影响。进一步的，应用时变的随机微分方程及高斯过程来模拟手部关节点的三维运动模型，然后引入流形理论表达手部关节点的三维位姿，并将上述三维运动模型扩展到李群上。最后，根据已有观测数据(即手势视频解析得到的观测数据)优化该高斯过程之后，能够精准估计出连续的、平滑的三维手部关节点的运动轨迹(位姿和速度)。
附图说明
[0021]图1是本公开一实施例中三维手势的运动轨迹估计方法的步骤示意图；
[0022]图2是本公开一实施例中三维手势的运动轨迹估计装置的整体结构框图；
[0023]图3是本公开一实施例的计算机设备的结构示意框图。
[0024]本公开目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0025]为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不
用于限定本公开。
[0026]参照图1，本公开一实施例中提供了一种三维手势的运动轨迹估计方法，其中，包括：
[0027]S1:采集手势视频，所述手势视频包括多帧手势图像，单帧所述手势图像对应单个观测时刻；
[0028]S2:从初始手势图像中提取得到初始时刻对应的手部关节三维坐标，并对所述手部关节三维坐标进行初始化，得到所述初始时刻对应的手部三维位姿；
[0029]S3:基于所述初始时刻对应的手部三维位姿依序递进，从各帧指定手势图像中恢复得到各个指定观测时刻对应的手部三维位姿，并计算得到各个所述观测时刻对应的手部运动速度，其中，各所述指定手势图像为所述手势视频中将所述初始手势图像除外的图像；
[0030]S4:基于高斯过程理论构建表征各所述手部三维位姿和各所述手部运动速度的局部状态变量；
[0031]S5:根据非线性优化算法和各所述手部三维位姿、各所述手部运动速度对各所述指定观测时刻对应的所述局部状态变量进行优化，得到多个最优局部状态变量；
[0032]S6:调用预设公式对各所述最优局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。
[0033]本实施例中，定义手部具有21个手部关节点，每个手部关节点对应建立有编号。具体地，k0代表腕掌关节，k1、k5、k9、k
13
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维手势的运动轨迹估计方法，其特征在于，包括：采集手势视频，所述手势视频包括多帧手势图像，单帧所述手势图像对应单个观测时刻；从初始手势图像中提取得到初始时刻对应的手部关节三维坐标，并对所述手部关节三维坐标进行初始化，得到所述初始时刻对应的手部三维位姿；基于所述初始时刻对应的手部三维位姿依序递进，从各帧指定手势图像中恢复得到各个指定观测时刻对应的手部三维位姿，并计算得到各个所述观测时刻对应的手部运动速度，其中，各所述指定手势图像为所述手势视频中将所述初始手势图像除外的图像；基于高斯过程理论构建表征各所述手部三维位姿和各所述手部运动速度的局部状态变量；根据非线性优化算法和各所述手部三维位姿、各所述手部运动速度对各所述指定观测时刻对应的所述局部状态变量进行优化，得到多个最优局部状态变量；调用预设公式对各所述最优局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。2.根据权利要求1所述的三维手势的运动轨迹估计方法，其特征在于，所述对所述手部关节三维坐标进行初始化，得到所述初始时刻对应的手部三维位姿的步骤，包括：从所述手部关节三维坐标中筛选多个指定关节点三维坐标进行平面拟合，得到手掌平面；基于所述手掌平面构建腕掌关节坐标系，并计算所述手部关节三维坐标对应的指定矢量与所述腕掌坐标系的坐标轴之间的向量夹角，得到所述手部关节三维坐标对应的旋转量，其中，所述指定矢量为所述手部关节三维坐标中第一关节点三维坐标与第二关节点三维坐标之间的矢量，所述第一关节点三维坐标为起点坐标，所述第二关节点三维坐标为所述第一关节点三维坐标指向最近指尖的方向上相邻的关节点三维坐标；基于最小化重投影误差对所述手部关节三维坐标和所述旋转量进行优化，求解得到所述初始时刻对应的手部三维位姿。3.根据权利要求1所述的三维手势的运动轨迹估计方法，其特征在于，所述基于高斯过程理论构建表征各所述手部三维位姿和各所述手部运动速度的局部状态变量的步骤，包括：根据所述高斯过程理论和各所述手部三维位姿、各所述手部运动速度对手部三维运动进行建模，得到局部近似线性模型；基于所述高斯过程理论和流形理论对所述局部近似线性模型进行求解，得到所述局部状态变量。4.根据权利要求3所述的三维手势的运动轨迹估计方法，其特征在于，所述基于所述高斯过程理论和流形理论对所述局部近似线性模型进行求解，得到所述局部状态变量的步骤，包括：对各所述观测时刻分别对应的所述手部三维位姿的李群流形进行线性化，并定义一个局部高斯过程和一个线性切空间上的线性时变随机微分方程；根据所述局部高斯过程，得到各所述手部三维位姿对应的局部位姿变量；并使用匀速运动模型作为先验模型，对所述线性时变随机微分方程求解得到所述手部运动速度对应的
局部线性时变随机微分方程；根据所述局部位姿变量和所述局部线性时变随机微分方程综合得到所述局部状态变量。5.根据权利要求1所述的三维手势的运动轨迹估计方法，其特征在于...

【专利技术属性】
技术研发人员：孙立晔，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：