本发明专利技术提供一种手势识别、手势交互方法及装置，手势识别方法包括：确定待识别手部关键点数据；将所述待识别手部关键点数据输入手势识别模型，得到所述待识别手部关键点数据对应的目标手势类别；其中，所述手势识别模型是基于样本手部关键点数据以及所述样本手部关键点数据对应的手势类别标签训练得到的，所述样本手部关键点数据是初始样本手部关键点数据进行位姿归一化后获得的。本发明专利技术能够实现准确且快速的手势识别，还可以实现多种功能的人机交互，具有较高的稳定性和鲁棒性。具有较高的稳定性和鲁棒性。具有较高的稳定性和鲁棒性。
【技术实现步骤摘要】
手势识别、手势交互方法及装置
[0001]本专利技术涉及人工智能
，尤其涉及一种手势识别、手势交互方法及装置。
技术介绍
[0002]裸眼3D显示技术可以通过立体显示设备将具有空间深度信息的三维立体图像再现出来，观看者可以在不佩戴任何辅助设备的前提下通过裸眼观测到立体成像，大大降低了三维立体显示用户端的观测难度，因此，裸眼3D显示技术被认为是未来显示领域的重要发展方向。在与裸眼3D显示器交互的过程中，键盘和鼠标等传统交互方式难以满足用户进行信息交换的需求和更加新颖的体验，新型交互方式逐渐成为优先选择，如语音交互，眼动跟踪，手势交互等。由于人与人之间能通过手势能够传达大量的信息，实现高速的通信交互，因此，手势交互是3D光场的重要交互技术，手势识别也是人机交互领域专家和学者重点研究内容。
[0003]传统的手势识别方法常采用RGBD图像序列通过深度学习分类手势，然而该方法存在图片处理的时间较长，图像清晰度不高等方面的问题，使得传统方法无法保证复杂手势的识别准确率，这对于后续基于手势识别结果进行的裸眼3D光场人机交互存在负面影响。
技术实现思路
[0004]本专利技术提供一种手势识别、手势交互方法及装置，用以解决现有技术中复杂手势识别准确率不高以及人机交互困难的缺陷，实现准确且快速的手势识别，还可以实现多种功能的人机交互，具有较高的稳定性和鲁棒性。
[0005]本专利技术提供一种手势识别方法，包括：
[0006]确定待识别手部关键点数据；
[0007]将所述待识别手部关键点数据输入手势识别模型，得到所述待识别手部关键点数据对应的目标手势类别；
[0008]其中，所述手势识别模型是基于样本手部关键点数据以及所述样本手部关键点数据对应的手势类别标签训练得到的，所述样本手部关键点数据是初始样本手部关键点数据进行位姿归一化后获得的。
[0009]根据本专利技术提供的一种手势识别方法，确定所述样本手部关键点数据，包括：
[0010]确定目标坐标系；
[0011]基于所述目标坐标系对所述初始样本手部关键点数据进行位姿归一化，得到所述样本手部关键点数据。
[0012]根据本专利技术提供的一种手势识别方法，所述基于所述目标坐标系对所述初始样本手部关键点数据进行位姿归一化，得到所述样本手部关键点数据，包括：
[0013]基于所述目标坐标系对所述初始样本手部关键点数据进行位姿归一化，得到归一化手部关键点数据；
[0014]获取各手势类别的归一化手部关键点数据的类内数据差异，将所述类内数据差异
小于等于第一阈值的归一化手部关键点数据确定为所述样本手部关键点数据。
[0015]根据本专利技术提供的一种手势识别方法，所述基于所述目标坐标系对所述初始样本手部关键点数据进行位姿归一化，得到归一化手部关键点数据，包括：
[0016]获取所述初始样本手部关键点数据的掌心关键点、掌心方向向量和手指方向向量；
[0017]将所述掌心关键点位移至所述目标坐标系的原点，并将所述掌心方向向量和所述手指方向向量旋转至所述目标坐标系的坐标轴所在方向，得到所述归一化手部关键点数据。
[0018]根据本专利技术提供的一种手势识别方法，所述手势识别模型通过如下方式训练得到：
[0019]确定多层感知器神经网络；
[0020]将所述样本手部关键点数据输入至所述多层感知器神经网络，得到所述样本手部关键点数据对应的预测手势类别标签；
[0021]根据所述手势类别标签和所述预测手势类别标签，更新所述多层感知器神经网络的模型参数，以训练得到所述手势识别模型。
[0022]本专利技术还提供一种手势交互方法，包括：
[0023]获取待识别手部关键点数据，并基于所述手势识别方法确定所述待识别手部关键点数据对应的目标手势类别；
[0024]基于预定义的手势类别和人机交互功能的对应关系，确定所述目标手势类别对应的目标人机交互功能。
[0025]本专利技术还提供一种手势识别装置，包括：
[0026]采集模块，用于确定待识别手部关键点数据；
[0027]识别模块，用于将所述待识别手部关键点数据输入手势识别模型，得到所述待识别手部关键点数据对应的目标手势类别；
[0028]其中，所述手势识别模型是基于样本手部关键点数据以及所述样本手部关键点数据对应的手势类别标签训练得到的，所述样本手部关键点数据是初始样本手部关键点数据进行位姿归一化后获得的。
[0029]根据本专利技术提供的一种手势识别装置，所述采集模块采用体感控制器，所述待识别手部关键点数据包括手部关键点的三维坐标和手部瞬时运动方向向量。
[0030]本专利技术还提供一种手势交互装置，包括：
[0031]手势识别模块，用于获取待识别手部关键点数据，并基于所述手势识别方法确定所述待识别手部关键点数据对应的目标手势类别；
[0032]手势交互模块，用于基于预定义的手势类别和人机交互功能的对应关系，确定所述目标手势类别对应的目标人机交互功能。
[0033]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述手势识别方法或所述手势交互方法。
[0034]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述手势识别方法或所述手势交互方法。
[0035]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述手势识别方法或所述手势交互方法。
[0036]本专利技术提供的手势识别、手势交互方法及装置，通过采集手部关键点数据取代传统的图像，可以提高手势数据和手势分类识别的准确性和鲁棒性。同时，由于手势识别模型是样本手部关键点数据以及所述样本手部关键点数据对应的手势类别标签通过训练得到的，因此手势识别模型对于复杂手势数据具有很好的识别效果。此外，训练时使用的样本手部关键点数据是是初始样本手部关键点数据进行位姿归一化后获得的，能够有效提高手势分类识别的准确性和鲁棒性。
附图说明
[0037]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本专利技术实施例提供的手势识别方法的流程示意图；
[0039]图2是本专利技术实施例提供的MLP神经网络深度学习的原理示意图；
[0040]图3是本专利技术实施例提供的手势识别装置的结构示意图；
[0041]图4是本专利技术实施例提供的手势交互方法的流程示意图；
[0042]图5是本专利技术实施例提供的光场显示与人机交互示意图；
[0043]图6是本专利技术实施例提供的手势识别装置的结构示意本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：确定待识别手部关键点数据；将所述待识别手部关键点数据输入手势识别模型，得到所述待识别手部关键点数据对应的目标手势类别；其中，所述手势识别模型是基于样本手部关键点数据以及所述样本手部关键点数据对应的手势类别标签训练得到的，所述样本手部关键点数据是初始样本手部关键点数据进行位姿归一化后获得的。2.根据权利要求1所述的手势识别方法，其特征在于，确定所述样本手部关键点数据，包括：确定目标坐标系；基于所述目标坐标系对所述初始样本手部关键点数据进行位姿归一化，得到所述样本手部关键点数据。3.根据权利要求2所述的手势识别方法，其特征在于，所述基于所述目标坐标系对所述初始样本手部关键点数据进行位姿归一化，得到所述样本手部关键点数据，包括：基于所述目标坐标系对所述初始样本手部关键点数据进行位姿归一化，得到归一化手部关键点数据；获取各手势类别的归一化手部关键点数据的类内数据差异，将所述类内数据差异小于等于第一阈值的归一化手部关键点数据确定为所述样本手部关键点数据。4.根据权利要求3所述的手势识别方法，其特征在于，所述基于所述目标坐标系对所述初始样本手部关键点数据进行位姿归一化，得到归一化手部关键点数据，包括：获取所述初始样本手部关键点数据的掌心关键点、掌心方向向量和手指方向向量；将所述掌心关键点位移至所述目标坐标系的原点，并将所述掌心方向向量和所述手指方向向量旋转至所述目标坐标系的坐标轴所在方向，得到所述归一化手部关键点数据。5.根据权利要求1至4任一所述的手势识别方法，其特征在于，所述手势识别模型通过如下方式训练得到：确定多层感知器神经网络；将所述样本手部关键点数据输入至所述多层感知器神经网...
【专利技术属性】
技术研发人员：于迅博，任尚恩，高鑫，邢树军，陈硕，汲鲁育，杨嘉辉，桑新柱，颜玢玢，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。