一种用于手势识别的方法和装置制造方法及图纸

本发明专利技术提供了一种用于手势识别的方法和装置，应用于图像处理领域，该方法包括：获取当前图像中的手的深度图；根据所述手的深度图估计所述手的关节点的第一位置；根据所述估计的关节点的第一位置以及存储的手的三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述关节点的第一自由度参数；根据所述关节点的第二位置以及所述手的第一自由度参数识别所述手的手势；所述手的三维点云根据所述手的深度图生成。上述方法能够提供实用的手势识别方法，并且准确地对手势进行识别。

【技术实现步骤摘要】
一种用于手势识别的方法和装置
本专利技术涉及一种用于图像处理的方法和装置，具体地，涉及一种用于手势识别的方法和装置。
技术介绍
手势识别技术从输入数据的采集方法上，可分为基于数据手套，基于视觉或基于声波的手势识别技术等。其中基于视觉的手势识别技术逐渐成为主流。现有技术中的基于视觉的手势识别技术缺少实用的手势识别方法。
技术实现思路
本专利技术提供的一种用于手势识别的方法和装置，能够解决现有技术中缺少实用的手势识别方法的问题。本专利技术的第一方面提供一种用于手势识别的方法，所述方法包括：获取当前图像中的手的深度图；根据所述手的深度图估计所述手的关节点的第一位置；根据所述估计的关节点的第一位置以及存储的手的三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述关节点的第一自由度参数；根据所述关节点的第二位置以及所述手的第一自由度参数识别所述手的手势；所述手的三维点云根据所述手的深度图生成。根据本专利技术的第一方面，在本专利技术的第一方面的第一可执行方式中，所述根据所述手的深度图估计手的关节点的第一位置，包括：将所述手的深度图输入经过训练的图像-手的姿态映射器，得到所述手的关节点的第一位置；所述图像-手的姿态映射器包括由手的深度图样本训练得到的手的深度图与手的姿态的映射关系，所述手的姿态包括下述参数中的至少一个：所述手的关节点的位置，以及所述手的关节点的自由度参数。根据本专利技术的第一方面的第一可执行方式，在本专利技术的第一方面的第二可执行方式中，在所述根据所述估计的关节点的第一位置以及存储的手的三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述手的第一自由度参数之前，所述方法还包括：将所述手的深度图输入所述图像-手的姿态映射器，得到所述手的第二自由度参数；根据所述第二自由度参数以及所述存储的手的三维模型向所述手的三维点云进行匹配，得到所述手的第一形状参数，根据所述手的第一形状参数更新所述图像-手的姿态映射器以及所述存储的手的三维模型；所述将所述手的深度图输入经过训练的图像-手的姿态映射器，得到所述手的关节点的第一位置,包括：将所述手的深度图输入更新的图像-手的姿态映射器，得到所述手的关节点的第一位置；所述根据所述估计的关节点的第一位置以及存储的手的三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述手的第一自由度参数，包括：根据所述估计的关节点的第一位置以及更新后的所述三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述手的第一自由度参数。根据本专利技术的第一方面的第二可执行方式，在本专利技术的第一方面的第三可执行方式中，所述将所述手的深度图输入所述图像-手的姿态映射器，得到所述手的第二自由度参数，包括：将第一帧中所述手的深度图输入所述图像-手的姿态映射器，得到所述手的第二自由度参数；在根据所述第二自由度参数以及所述存储的手的三维模型向所述手的三维点云进行匹配，得到所述手的第一形状参数，根据所述手的第一形状参数更新所述图像-手的姿态映射器以及所述存储的手的三维模型，之后所述方法还包括：将第二帧中所述手的深度图输入所述更新的图像-手的姿态映射器，得到所述手的第三自由度参数；根据所述第三自由度参数以及所述更新后的三维模型向所述手的新的三维点云进行匹配，得到所述手的第二形状参数，根据所述手的第二形状参数再次更新所述图像-手的姿态映射器以及所述存储的手的三维模型；所述手的新的三维点云根据第二帧中所述手的深度图生成。根据本专利技术的第一方面的第一可执行方式到第三可执行方式中任一可执行方式，在本专利技术的第一方面的第四可执行方式中，所述图像-手的姿态映射器包括：神经网络或随机森林分类器。根据本专利技术的第一方面的第二可执行方式或第三可执行方式，在本专利技术的第一方面的第五可执行方式中，所述形状参数包括下述中的至少一个：手的骨骼的长度，以及手的骨骼的宽度。本专利技术的第二方面提供一种用于手势识别的装置，其特征在于，所述装置包括：获取模块，用于获取当前图像中的手的深度图；计算模块，用于根据所述手的深度图估计所述手的关节点的第一位置；所述计算模块，还用于根据所述估计的关节点的第一位置以及存储的手的三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述关节点的第一自由度参数；识别模块，用于根据所述关节点的第二位置以及所述手的第一自由度参数识别所述手的手势；所述手的三维点云根据所述手的深度图生成。根据本专利技术的第二方面，在本专利技术的第二方面的第一可执行方式中，所述计算模块，具体用于将所述手的深度图输入经过训练的图像-手的姿态映射器，得到所述手的关节点的第一位置；所述图像-手的姿态映射器包括由手的深度图样本训练得到的手的深度图与手的姿态的映射关系，所述手的姿态包括下述参数中的至少一个：所述手的关节点的位置，以及所述手的关节点的自由度参数。根据本专利技术的第二方面的第一可执行方式，在本专利技术的第二方面的第二可执行方式中，所述装置还包括更新模块，所述计算模块，还用于将所述手的深度图输入所述图像-手的姿态映射器，得到所述手的第二自由度参数；所述更新模块，用于根据所述第二自由度参数以及所述存储的手的三维模型向所述手的三维点云进行匹配，得到所述手的第一形状参数，根据所述手的第一形状参数更新所述图像-手的姿态映射器以及所述存储的手的三维模型；所述计算模块，具体用于将所述手的深度图输入更新的图像-手的姿态映射器，得到所述手的关节点的第一位置；所述计算模块，具体用于根据所述估计的关节点的第一位置以及更新后的所述三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述手的第一自由度参数。根据本专利技术的第二方面的第二可执行方式，在本专利技术的第二方面的第三可执行方式中，所述计算模块，具体用于将第一帧中所述手的深度图输入所述图像-手的姿态映射器，得到所述手的第二自由度参数；所述计算模块，还用于将第二帧中所述手的深度图输入所述更新的图像-手的姿态映射器，得到所述手的第三自由度参数，根据所述第三自由度参数以及所述更新后的三维模型向所述手的新的三维点云进行匹配，得到所述手的第二形状参数，根据所述手的第二形状参数再次更新所述图像-手的姿态映射器以及所述存储的手的三维模型；所述手的新的三维点云根据第二帧中所述手的深度图生成。根据本专利技术的第二方面的第一可执行方式到第三可执行方式中任一可执行方式，在本专利技术的第二方面的第四可执行方式中，所述图像-手的姿态映射器包括：神经网络或随机森林分类器。根据本专利技术的第二方面的第二可执行方式或第三可执行方式，在本专利技术的第二方面的第五可执行方式中，所述形状参数包括下述中的至少一个：手的骨骼的长度，以及手的骨骼的宽度。本专利技术的第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被第一处理器执行时实现如本专利技术的第一方面、本专利技术的第一方面的第一可执行方式到本专利技术的第一方面的第五可执行方式中任一可执行方式中所述方法的步骤。本专利技术的第四方面提供一种用于手势识别的装置，包括存储器、第二处理器以及存储在所述存储器中并可在所述第二处理器上运行的计算机程序，所述计算机程序被第二处理器执行时实现如本专利技术的第一方面、本专利技术的第一方面的第一可执行方式到本专利技术的第一方面的第五可执行本文档来自技高网...

【技术保护点】
1.一种用于手势识别的方法，其特征在于，所述方法包括：获取当前图像中的手的深度图；根据所述手的深度图估计所述手的关节点的第一位置；根据所述估计的关节点的第一位置以及存储的手的三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述关节点的第一自由度参数；根据所述关节点的第二位置以及所述手的第一自由度参数识别所述手的手势；所述手的三维点云根据所述手的深度图生成。

【技术特征摘要】
1.一种用于手势识别的方法，其特征在于，所述方法包括：获取当前图像中的手的深度图；根据所述手的深度图估计所述手的关节点的第一位置；根据所述估计的关节点的第一位置以及存储的手的三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述关节点的第一自由度参数；根据所述关节点的第二位置以及所述手的第一自由度参数识别所述手的手势；所述手的三维点云根据所述手的深度图生成。2.根据权利要求1所述的方法，其特征在于，所述根据所述手的深度图估计手的关节点的第一位置，包括：将所述手的深度图输入经过训练的图像-手的姿态映射器，得到所述手的关节点的第一位置；所述图像-手的姿态映射器包括由手的深度图样本训练得到的手的深度图与手的姿态的映射关系，所述手的姿态包括下述参数中的至少一个：所述手的关节点的位置，以及所述手的关节点的自由度参数。3.根据权利要求2所述的方法，其特征在于，在所述根据所述估计的关节点的第一位置以及存储的手的三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述手的第一自由度参数之前，所述方法还包括：将所述手的深度图输入所述图像-手的姿态映射器，得到所述手的第二自由度参数；根据所述第二自由度参数以及所述存储的手的三维模型向所述手的三维点云进行匹配，得到所述手的第一形状参数，根据所述手的第一形状参数更新所述图像-手的姿态映射器以及所述存储的手的三维模型；所述将所述手的深度图输入经过训练的图像-手的姿态映射器，得到所述手的关节点的第一位置,包括：将所述手的深度图输入更新的图像-手的姿态映射器，得到所述手的关节点的第一位置；所述根据所述估计的关节点的第一位置以及存储的手的三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述手的第一自由度参数，包括：根据所述估计的关节点的第一位置以及更新后的所述三维模型向生成的手的三维点云进行匹配，得到所述关节点的第二位置以及所述手的第一自由度参数。4.根据权利要求3所述的方法，其特征在于，所述将所述手的深度图输入所述图像-手的姿态映射器，得到所述手的第二自由度参数，包括：将第一帧中所述手的深度图输入所述图像-手的姿态映射器，得到所述手的第二自由度参数；在根据所述第二自由度参数以及所述存储的手的三维模型向所述手的三维点云进行匹配，得到所述手的第一形状参数，根据所述手的第一形状参数更新所述图像-手的姿态映射器以及所述存储的手的三维模型，之后所述方法还包括：将第二帧中所述手的深度图输入所述更新的图像-手的姿态映射器，得到所述手的第三自由度参数；根据所述第三自由度参数以及所述更新后的三维模型向所述手的新的三维点云进行匹配，得到所述手的第二形状参数，根据所述手的第二形状参数再次更新所述图像-手的姿态映射器以及所述存储的手的三维模型；所述手的新的三维点云根据第二帧中所述手的深度图生成。5.根据权利要求2-4任一权利要求所述的方法，其特征在于，所述图像-手的姿态映射器包括：神经网络或随机森林分类器。6.根据权利要求3或4所述的方法，其特征在于，所述形...

【专利技术属性】
技术研发人员：张志伟，唐晨，朱明铭，叶平，王进，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：浙江,33