可穿戴系统的手势识别方法、装置、系统及可读存储介质制造方法及图纸

本发明专利技术涉及三维手势识别技术领域，公开了一种可穿戴系统的手势识别方法、装置、系统及可读存储介质。其中，该方法包括：获取可穿戴系统采集的图像数据以及IMU数据，该可穿戴系统包括头戴式设备和手带式IMU设备；将IMU数据转换至手腕所处坐标系，得到手腕所处坐标下的目标IMU数据，基于图像数据与目标IMU数据之间的对应关系，将目标IMU数据与图像数据进行融合，得到手部位姿信息；基于手部位姿信息确定对应的目标手势。通过实施本发明专利技术，通过将IMU数据以及图像数据进行融合，结合手指关节运动数据以及手腕运动数据，以确定手部运动数据，丰富手部运动信息，保证了手部运动数据能够准确表征手部动作，提升了手势的识别精度。提升了手势的识别精度。提升了手势的识别精度。

【技术实现步骤摘要】
可穿戴系统的手势识别方法、装置、系统及可读存储介质


[0001]本专利技术涉及三维手势识别
，具体涉及一种可穿戴系统的手势识别方法、装置、系统及可读存储介质。

技术介绍

[0002]现有的头戴式设备(AR/VR眼镜)大多需要依赖手柄进行按键式交互，手势交互技术尚未成熟，且由于无法避免的遮挡、相机的有限视角、移动端算力有限等原因，单纯依靠头戴式设备上的视觉传感器进行手势交互的精度和鲁棒性较低，因此，视觉传感器需要融合其他传感器来提升三维手势的识别精度。随着惯性测量单元(Inertial Measurement Unit，IMU)的使用越来越广泛，针对上述问题，目前通常采用视觉传感器与惯性测量单元进行融合，以提供丰富的手部运动信息。在手势识别时，手腕的三维位姿对于整个手部的三维位姿的正确估计至关重要，但是，目前所采用的基于视觉传感器(无论是2d相机、3d相机)的三维手势估计算法均未考虑到手腕三维位姿的精确估计，因此现有三维手势估计算法难以精确识别手部的三维位姿。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种可穿戴系统的手势识别方法、装置、系统及可读存储介质，以解决现有技术中未考虑到手腕三维位姿而难以精确识别手势的问题。
[0004]根据第一方面，本专利技术实施例提供了一种可穿戴系统的手势识别方法，包括：获取可穿戴系统采集的图像数据以及IMU数据，所述可穿戴系统包括头戴式设备和手带式IMU设备；将所述IMU数据转换至手腕所处坐标系，得到手腕所处坐标下的目标IMU数据；基于所述图像数据与所述目标IMU数据之间的对应关系，将所述目标IMU数据与所述图像数据进行融合，得到手部位姿信息；基于所述手部位姿信息确定对应的目标手势。
[0005]本专利技术实施例提供的可穿戴系统的手势识别方法，通过可穿戴系统采集的图像数据以及IMU数据，将IMU数据转换至手腕所处坐标系，得到手腕所处坐标系下的目标IMU数据，以该目标IMU数据代表手腕运动数据，继而根据图像数据与目标IMU数据之间的对应关系，将目标IMU数据与图像数据进行融合，得到手部位姿信息，进而根据手部位姿信息确定出与其相对应的目标手势。该方法在确定目标手势时，将IMU数据转换至手腕所处坐标系，以使IMU数据能够准确表征手部的手腕动作，进一步的根据手腕动作确定手部运动动作，继而通过将目标IMU数据以及图像数据进行融合，提升了手势的识别精度。
[0006]结合第一方面，在第一方面的第一实施方式中，所述基于所述图像数据与所述目标IMU数据之间的对应关系，将所述目标IMU数据与所述图像数据进行融合，得到手部位姿信息，包括：获取所述图像数据的采集时刻，确定所述图像数据与所述目标IMU数据在所述采集时刻的对应关系；基于所述对应关系对所述图像数据与所述目标IMU数据进行数据同步融合，得到各个所述采集时刻的手部位姿信息。
[0007]本专利技术实施例提供的可穿戴系统的手势识别方法，由于图像数据的采集频率低于
IMU数据的采集频率，通过确定图像数据与目标IMU数据在采集时刻上的对应关系，继而根据该对应关系将图像数据与目标IMU数据进行融合，以便获取丰富的手部运动信息，提高手势交互的鲁棒性。
[0008]结合第一方面第一实施方式，在第一方面的第二实施方式中，所述基于所述对应关系对所述图像数据与所述目标IMU数据进行数据同步融合，得到各个所述采集时刻的手部位姿信息，包括：计算手指关节运动数据在所述采集时刻的手指关节运动状态量，以及手腕运动数据在所述采集时刻的手腕运动状态量，所述手指关节运动状态量与所述手腕运动状态量构成手部运动状态量；基于预设观测模型以及所述图像数据，确定所述采集时刻的手部运动观测量；将同一所述采集时刻的所述手部运动观测量与所述手部运动状态量进行融合，得到手部在所述采集时刻的目标运动状态量；基于所述目标运动状态量，确定所述手部位姿信息。
[0009]本专利技术实施例提供的可穿戴系统的手势识别方法，通过计算手指关节运动状态量以及手腕运动状态量，便于确定当前的手部运动状态量，继而根据手部运动状态量以及手部运动观测量，确定出手部的目标运动状态量以确定当前的手部位姿信息，该方法通过融合手部运动状态量以及手部运动观测量，提高了手部运动状态的识别准确率。
[0010]结合第一方面第二实施方式，在第一方面的第三实施方式中，所述计算手指关节运动数据在所述采集时刻的手指关节运动状态量，包括：基于手指关节的运动状态，构建所述手指关节的运动预测模型；对所述运动预测模型进行离散化处理和积分处理，基于扩展卡尔曼滤波法，计算得到所述采集时刻的所述手指关节运动状态量。
[0011]结合第一方面第二实施方式，在第一方面的第四实施方式中，计算手腕运动数据在所述采集时刻的手腕运动状态量，包括：获取手腕运动模型；对所述手腕运动模型进行离散化处理和积分处理，基于扩展卡尔曼滤波法，计算得到所述采集时刻的所述手腕运动状态量。
[0012]本专利技术实施例提供的可穿戴系统的手势识别方法，通过计算手指关节运动数据相对应的手指关节运动状态量，以及手腕运动数据相对应的手腕运动状态量，便于准确获取手部运动状态，便于提高后续手势识别的精度。
[0013]结合第一方面第二实施方式，在第一方面的第五实施方式中，所述基于预设观测模型以及所述图像数据，确定所述采集时刻的手部运动观测量，包括：获取多个手指关节关键点以及所述目标IMU数据对应的手腕关键点；计算所述手指关节关键点以及所述手腕关键点映射至所述图像数据中的坐标位置；基于所述预设观测模型以及所述坐标位置，确定对应于所述手部运动状态量的观测量。
[0014]本专利技术实施例提供的可穿戴系统的手势识别方法，通过将多个手指关节关键点以及手腕关键点映射至图像数据中，以确定手指关节运动以及手腕运动相对于图像数据的观测量，便于根据该观测量对手部运动状态量进行更新，以得到更加准确的手部运动信息，便于后续的手势识别。
[0015]结合第一方面或第一方面第一实施方式至第五实施方式中的任一实施方式，在第一方面的第六实施方式中，所述方法还包括：基于所述目标手势的不同，控制所述头戴设备执行不同的操作。
[0016]本专利技术实施例提供的可穿戴系统的手势识别方法，基于目标手势的不同控制头戴
式设备执行不同的操作，提高了用户与可穿戴设备之间手势交互体验。
[0017]根据第二方面，本专利技术实施例提供了一种可穿戴系统的手势识别装置，包括：获取模块，用于获取可穿戴系统采集的图像数据以及IMU数据，所述可穿戴系统包括头戴式设备和手带式IMU设备；转换模块，用于将所述IMU数据转换至手腕所处坐标系，得到手腕所处坐标下的目标IMU数据；融合模块，用于基于所述图像数据与所述目标IMU数据之间的对应关系，将所述目标IMU数据与所述图像数据进行融合，得到手部位姿信息；确定模块，用于基于所述手部位姿信息确定对应的目标手势。
[0018]根据第三方面，本专利技术实施例提供了一种可穿戴系统的手势识别系统，包括：可穿戴系统，所述可穿戴系统包括头戴设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可穿戴系统的手势识别方法，其特征在于，包括：获取可穿戴系统采集的图像数据以及IMU数据，所述可穿戴系统包括头戴式设备和手带式IMU设备；将所述IMU数据转换至手腕所处坐标系，得到手腕所处坐标下的目标IMU数据；基于所述图像数据与所述目标IMU数据之间的对应关系，将所述目标IMU数据与所述图像数据进行融合，得到手部位姿信息；基于所述手部位姿信息确定对应的目标手势。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像数据与所述目标IMU数据之间的对应关系，将所述目标IMU数据与所述图像数据进行融合，得到手部位姿信息，包括：获取所述图像数据的采集时刻，确定所述图像数据与所述目标IMU数据在所述采集时刻的对应关系；基于所述对应关系对所述图像数据与所述目标IMU数据进行数据同步融合，得到各个所述采集时刻的手部位姿信息。3.根据权利要求2所述的方法，其特征在于，所述基于所述对应关系对所述图像数据与所述目标IMU数据进行数据同步融合，得到各个所述采集时刻的手部位姿信息，包括：计算手指关节运动数据在所述采集时刻的手指关节运动状态量，以及手腕运动数据在所述采集时刻的手腕运动状态量，所述手指关节运动状态量与所述手腕运动状态量构成手部运动状态量；基于预设观测模型以及所述图像数据，确定所述采集时刻的手部运动观测量；将同一所述采集时刻的所述手部运动观测量与所述手部运动状态量进行融合，得到手部在所述采集时刻的目标运动状态量；基于所述目标运动状态量，确定所述手部位姿信息。4.根据权利要求3所述的方法，其特征在于，所述计算手指关节运动数据在所述采集时刻的手指关节运动状态量，包括：基于手指关节的运动状态，构建所述手指关节的运动预测模型；对所述运动预测模型进行离散化处理和积分处理，基于扩展卡尔曼滤波法，计算得到所述采集时刻的所述手指关节运动状态量。5.根据权利要求3所述的方法，其特征在于，计算手腕运动数据在...

【专利技术属性】
技术研发人员：孙立晔，吴侃之，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：