本公开提供了一种三维手势的运动轨迹预测方法、装置、设备和存储介质，预测系统首先采集手势视频，并根据各个手势图像解析得到各个观测时刻对应的观测数据。预测系统基于高斯过程理论构建表征各个观测数据的局部状态变量，根据非线性优化算法和各个观测数据对局部状态变量进行优化、转化，得到表征手势运动轨迹的全局状态变量。本公开通过应用时变的随机微分方程及高斯过程来模拟手部关键点的三维运动模型，然后引入流形理论表达手部关键点的三维位姿，并将上述三维运动模型扩展到李群上。最后，根据已有观测数据优化该高斯过程之后，能够预测出任意时刻的、连续的、平滑的三维手部关键点位姿，进而实现对三维手势的运动轨迹的精准预测。的精准预测。的精准预测。
【技术实现步骤摘要】
三维手势的运动轨迹预测方法、装置、设备和存储介质
[0001]本公开涉及手势预测
，特别涉及一种三维手势的运动轨迹预测方法、装置、设备和存储介质。
技术介绍
[0002]三维手势识别在AR/VR、机器人、教育、智能家居等多个领域具有巨大应用价值，并且目前随着元宇宙的浪潮，三维手势交互的重要性也愈发凸显。目前的三维手势识别算法大多数是对单帧图像进行分析计算，缺少对时域的连续性分析，这会导致出现手部关键点的抖动、闪烁、位姿突变等，严重影响了用户体验和后续的手势交互。
技术实现思路
[0003]本公开目的在于：提供了一种三维手势的运动轨迹预测方法、装置、设备和存储介质，其能够预测出任意时刻的、连续的、平滑的三维手部关键点位姿和运动速度，进而实现对三维手势的运动轨迹的精准预测。
[0004]为达上述目的，本公开采用以下技术方案：一种三维手势的运动轨迹预测方法，其中，包括：
[0005]采集手势视频，所述手势视频包括多帧手势图像，单帧所述手势图像对应单个观测时刻；
[0006]根据各所述手势图像解析得到各所述观测时刻对应的观测数据，所述观测数据包括手部三维位姿和手部运动速度；
[0007]基于高斯过程理论构建表征各所述观测数据的局部状态变量；
[0008]根据非线性优化算法和各所述观测数据对所述局部状态变量进行优化，得到最优局部状态变量；
[0009]根据插值算法和所述最优局部状态变量进行预测，得到各所述观测时刻之外的预测局部状态变量；
[0010]调用预设公式对所述最优局部状态变量和所述预测局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。
[0011]本公开还提供了一种三维手势的运动轨迹预测装置，其中，包括：
[0012]采集模块，用于采集手势视频，所述手势视频包括多帧手势图像，单帧所述手势图像对应单个观测时刻；
[0013]解析模块，用于根据各所述手势图像解析得到各所述观测时刻对应的观测数据，所述观测数据包括手部三维位姿和手部运动速度；
[0014]构建模块，用于基于高斯过程理论构建表征各所述观测数据的局部状态变量；
[0015]优化模块，用于根据非线性优化算法和各所述观测数据对所述局部状态变量进行优化，得到最优局部状态变量；
[0016]预测模块，用于根据插值算法和所述最优局部状态变量进行预测，得到各所述观
测时刻之外的预测局部状态变量；
[0017]转化模块，用于调用预设公式对所述最优局部状态变量和所述预测局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。
[0018]本公开还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0019]本公开还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
[0020]本公开中提供的一种三维手势的运动轨迹预测方法、装置、设备和存储介质，预测系统首先采集手势视频，该手势视频包括多帧手势图像，单帧手势图像对应单个观测时刻；然后根据各个手势图像解析得到各个观测时刻对应的观测数据，该观测数据包括手部三维位姿和手部运动速度。预测系统基于高斯过程理论构建表征各个观测数据的局部状态变量，并根据非线性优化算法和各个观测数据述局部状态变量进行优化，得到最优局部状态变量。预测系统根据插值算法和最优局部状态变量进行预测，得到各个观测时刻之外的预测局部状态变量。最后调用预设公式对最优局部状态变量和预测局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。本公开通过应用时变的随机微分方程及高斯过程来模拟手部关键点的三维运动模型，然后引入流形理论表达手部关键点的三维位姿，并将上述三维运动模型扩展到李群上。最后，根据已有观测数据(即手势视频解析得到的观测数据)优化该高斯过程之后，能够预测出任意时刻的、连续的、平滑的三维手部关键点位姿和运动速度，进而实现对三维手势的运动轨迹的精准预测。
附图说明
[0021]图1是本公开一实施例中三维手势的运动轨迹预测方法的步骤示意图；
[0022]图2是本公开一实施例三维手势的运动轨迹预测方法中的观测时刻曲线示意图；
[0023]图3是本公开一实施例中三维手势的运动轨迹预测装置的整体结构框图；
[0024]图4是本公开一实施例的计算机设备的结构示意框图。
[0025]本公开目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0026]为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
[0027]参照图1，本公开一实施例中提供了一种三维手势的运动轨迹预测方法，其中，包括：
[0028]S1:采集手势视频，所述手势视频包括多帧手势图像，单帧所述手势图像对应单个观测时刻；
[0029]S2:根据各所述手势图像解析得到各所述观测时刻对应的观测数据，所述观测数据包括手部三维位姿和手部运动速度；
[0030]S3:基于高斯过程理论构建表征各所述观测数据的局部状态变量；
[0031]S4:根据非线性优化算法和各所述观测数据对所述局部状态变量进行优化，得到
最优局部状态变量；
[0032]S5:根据插值算法和所述最优局部状态变量进行预测，得到各所述观测时刻之外的预测局部状态变量；
[0033]S6:调用预设公式对所述最优局部状态变量和所述预测局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。
[0034]本实施例中，定义手部具有21个手部关键点，每个手部关键点对应建立有编号。具体地，k0代表腕掌关节，k1、k5、k9、k
13
、k
17
分别代表从大拇指到小指共五根手指的掌指关节，k2、k6、k
10
、k
14
、k
18
分别代表从上述五根手指的近指关节，k3、k7、k
11
、k
15
、k
19
分别代表上述五根手指的远指关节，k4、k8、k
12
、k
16
、k
20
分别代表五个指尖。
[0035]本实施例的技术方案涉及李群和李代数，在此对李群和李代数的
技术介绍
进行相应介绍。具体地，李群是一种流形，每个N维的李群G都有一个对应的李代数李代数与流形G的局部切空间一致。指数映射exp∶和对数映射log∶分别定义了李群和李代数之间的相互映射关系。每个李群G都有其帽形计算符∧:以及三角运算符∨:前者将局部坐标转化到李代数后者反之。刚体三维运动中主要涉及的李群是特殊正交群SO(3)和特殊欧式群SE(3)；前者代表三维旋转并定义本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维手势的运动轨迹预测方法，其特征在于，包括：采集手势视频，所述手势视频包括多帧手势图像，单帧所述手势图像对应单个观测时刻；根据各所述手势图像解析得到各所述观测时刻对应的观测数据，所述观测数据包括手部三维位姿和手部运动速度；基于高斯过程理论构建表征各所述观测数据的局部状态变量；根据非线性优化算法和各所述观测数据对所述局部状态变量进行优化，得到最优局部状态变量；根据插值算法和所述最优局部状态变量进行预测，得到各所述观测时刻之外的预测局部状态变量；调用预设公式对所述最优局部状态变量和所述预测局部状态变量进行转化，得到表征手势运动轨迹的全局状态变量。2.根据权利要求1所述的三维手势的运动轨迹预测方法，其特征在于，所述基于高斯过程理论构建表征各所述观测数据的局部状态变量的步骤，包括：根据所述高斯过程理论和各所述观测数据对手部三维运动进行建模，得到局部近似线性模型；基于所述高斯过程理论和流形理论对所述局部近似线性模型进行求解，得到所述局部状态变量。3.根据权利要求2所述的三维手势的运动轨迹预测方法，其特征在于，所述基于所述高斯过程理论和流形理论对所述局部近似线性模型进行求解，得到所述局部状态变量的步骤，包括：对各所述观测时刻分别对应的所述手部三维位姿的李群流形进行线性化，并定义一个局部高斯过程和一个线性切空间上的线性时变随机微分方程；根据所述局部高斯过程，得到各所述手部三维位姿对应的局部位姿变量；并使用匀速运动模型作为先验模型，对所述线性时变随机微分方程求解得到所述手部运动速度对应的局部线性时变随机微分方程；根据所述局部位姿变量和所述局部线性时变随机微分方程综合得到所述局部状态变量。4.根据权利要求1所述的三维手势的运动轨迹预测方法，其特征在于，所述根据非线性优化算法和各所述观测数据对所述局部状态变量进行优化，得到最优局部状态变量的步骤，包括：对预设观测时间段内的各所述局部状态变量，根据相邻两个所述局部状态变量之间的残差项之和构建代价函数；使用非线性优化算法对所述代价函数进行优化求解，得到所述最优局部状态变量。5.根据权利要求1所述的三维手势的运动轨迹预测方法，其特征在于，所述根据插值算法和所述最优局部状态变量进行预测，得到各所述观测时刻之外的预测局部状态变量的步骤，包括：若预测观测时刻位于所述手势视频的观测时间段内，则获取所述预测观测时刻相邻的第一观测时刻和第二观测时刻，所述第一观测时刻位于所述预测观测时刻之前，所述第二
观测时刻位于所述预测观测时刻之后；根据所述第一观测时刻对应的第一最优局部状态变量估计值和所述第二观测时...
【专利技术属性】
技术研发人员：孙立晔，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。