基于旋量的手势识别方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了基于旋量的手势识别方法、装置、电子设备和存储介质，检测连续帧图像中的手部关键点对应的第一关键点位置；计算每个手部关键点在对应的第一坐标系中的三维坐标，第一坐标系为手部关键点远离指尖的相邻关键点确定的三维坐标系；将三维坐标输入预设的基于旋量的正向运动学模型，得到手部关键点对应每帧图像的位姿变换集；根据位姿变换集，计算每帧图像对应的雅可比矩阵和每个手部关键点对应的预测三维坐标，并根据预测三维坐标计算对应的第二关键点位置；基于关键点的位置以及雅可比矩阵，对位姿变换集进行优化；基于优化后的位姿变换集，输出参数。本发明专利技术保证了前后手部形状处理的一致性，进而提高处理结果的准确性。的准确性。的准确性。

【技术实现步骤摘要】
基于旋量的手势识别方法、装置、电子设备和存储介质


[0001]本专利技术实施例涉及图像处理
，尤其涉及基于旋量的手势识别方法、装置、电子设备和存储介质。

技术介绍

[0002]在人机交互领域，因为手势交互具有自然、直观等优点，已成为交互研究热点与技术重点；而准确和快速进行手部姿态估计是手势交互的重要技术之一。手部姿态估计的应用十分广泛，在智能家居领域，可通过在摄像头前做出相应手势来控制家电，譬如控制显示屏或电视机上视频的快进、快退、暂停和播放；在AR/VR领域，用户的手与现实或虚拟世界产生交互，将大大提高用户的沉浸式的体验效果；在手语领域，手部动作识别可以使得正常人与聋哑人的沟通更加便捷准确。
[0003]手部姿态估计技术的数据基础是手部动作数据，可以说手部动作数据的采集是否准确，决定了后续手势交互是否能顺利实现。在现有方案中，手部动作数据的来源可以有多种不同类型的输入设备，例如数据手套、加速传感器、触摸屏、单目摄像机、多目摄像机、深度摄像机等，不同类型的输入设备在手部动作数据的获得上，有着各自的优势和缺陷。其中单目摄像机和多目摄像机直接采集图像，从图像中分析裸手的图像信息，获得手部动作数据，进而识别手势的类型或语义，并计算出手在真实三维空间中的位置，从使用便利性而言，该技术不需要额外的设备，更符合人类的交互习惯。
[0004]在具体进行手势识别时，单目摄像机和多目摄像机采集到的原始数据是2D图像数据，在从2D图像数据中计算出手部关键点的三维空间位置之后，通过深度神经网络等进行三维手势姿态估计，但是这种估计完全基于图形样本训练得到的模型完成，对于同一用户的连续图形处理的识别结果，不能保证前后手部形状的一致性。

技术实现思路

[0005]本专利技术提供了一种基于旋量的手势识别方法、装置、电子设备和存储介质，以解决现有对同一用户的手势识别结果前后形状不一致的技术问题。
[0006]第一方面，本专利技术实施例提供了一种基于旋量的手势识别方法，包括：
[0007]获取相机采集到的连续帧图像，检测所述连续帧图像中的手部关键点，以获得每帧图像中每个手部关键点对应的第一关键点位置；
[0008]计算每个所述手部关键点在对应的第一坐标系中的三维坐标，所述第一坐标系为所述手部关键点远离指尖的相邻关键点确定的三维坐标系；
[0009]将所述三维坐标输入预设的正向运动学模型，得到所述手部关键点对应每帧图像的位姿变换集，所述正向运动学模型为通过刚体连接的多个手部关键点，基于旋量的运动学描述，在所述正向运动学模型中，手腕对应的手部关键点的位姿在相机坐标系中进行描述，掌指关节对应的手部关键点的位姿，相对于手腕对应的手部关键点，使用旋量法基于刚体运动的指数积公式及合成规则表示，所述位姿变换集为所有手部关键点对应的位姿的集
合；
[0010]基于所述位姿变换集，计算每帧图像对应的雅可比矩阵和手部关键点对应的预测三维坐标，并根据所述预测三维坐标在所述图像中的投影计算对应的第二关键点位置；
[0011]根据所述第一关键点位置、第二关键点位置以及雅可比矩阵，对所述位姿变换集进行非线性优化；
[0012]根据所述正向运动学模型以及优化后的位姿变换集，输出预设的手部关键点参数。
[0013]第二方面，本专利技术实施例还提供了一种基于旋量的手势识别装置，包括：
[0014]关键点检测单元，用于获取相机采集到的连续帧图像，检测所述连续帧图像中的手部关键点，以获得每帧图像中每个手部关键点对应的第一关键点位置；
[0015]坐标计算单元，用于计算每个所述手部关键点在对应的第一坐标系中的三维坐标，所述第一坐标系为所述手部关键点远离指尖的相邻关键点确定的三维坐标系；
[0016]模型计算单元，用于将所述三维坐标输入预设的正向运动学模型，得到所述手部关键点对应每帧图像的位姿变换集；所述正向运动学模型为通过刚体连接的多个手部关键点，基于旋量的运动学描述，在所述正向运动学模型中，手腕对应的手部关键点的位姿在相机坐标系中进行描述，掌指关节对应的手部关键点的位姿，相对于手腕对应的手部关键点，使用旋量法基于刚体运动的指数积公式及合成规则表示，所述位姿变换集为所有手部关键点对应的位姿的集合；
[0017]位置计算单元，用于基于所述位姿变换集，计算每帧图像对应的雅可比矩阵和手部关键点对应的预测三维坐标，并根据所述预测三维坐标在所述图像中的投影计算对应的第二关键点位置；
[0018]非线性优化单元，用于根据所述第一关键点位置、第二关键点位置以及雅可比矩阵，对所述位姿变换集进行非线性优化；
[0019]参数输出单元，用于根据所述正向运动学模型以及优化后的位姿变换集，输出预设的手部关键点参数。
[0020]第三方面，本专利技术实施例还提供了一种电子设备，包括：
[0021]一个或多个处理器；
[0022]存储器，用于存储一个或多个程序；
[0023]当所述一个或多个程序被所述一个或多个处理器执行，使得所述电子设备实现如第一方面所述的基于旋量的手势识别方法。
[0024]第四方面，本专利技术实施例还提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于旋量的手势识别方法。
[0025]上述基于旋量的手势识别方法、装置、电子设备和存储介质，该方法中，获取相机采集到的连续帧图像，检测所述连续帧图像中的手部关键点，以获得每帧图像中每个手部关键点对应的第一关键点位置；计算每个所述手部关键点在对应的第一坐标系中的三维坐标，所述第一坐标系为所述手部关键点远离指尖的相邻关键点确定的三维坐标系；将所述三维坐标输入预设的正向运动学模型，得到所述手部关键点对应每帧图像的位姿变换集，所述正向运动学模型为通过刚体连接的多个手部关键点，基于旋量的运动学描述，在所述正向运动学模型中，手腕对应的手部关键点的位姿在相机坐标系中进行描述，掌指关节对
应的手部关键点的位姿，相对于手腕对应的手部关键点，使用旋量法基于刚体运动的指数积公式及合成规则表示，所述位姿变换集为所有手部关键点对应的位姿的集合；基于所述位姿变换集，计算每帧图像对应的雅可比矩阵和手部关键点对应的预测三维坐标，并根据所述预测三维坐标在所述图像中的投影计算对应的第二关键点位置；根据所述第一关键点位置、第二关键点位置以及雅可比矩阵，对所述位姿变换集进行非线性优化；根据所述正向运动学模型以及优化后的位姿变换集，输出预设的手部关键点参数。通过图像检测手部关键点的位置，同时根据基于构建的正向运动学模型得到位姿变换集并计算手部关键点的位置，两种方式得到的位置对位姿变换集进行优化，基于位姿变换集最终确认每帧图像中手部的相关参数，通过正向运动学模型的手部参数获取，保证了前后手部形状处理的一致性，进而提高处理结果的准确性。
附图说明
[0026]图1为本专利技术实施例提供的一种基于旋量的手势识别方法的方法流程图；
[0027]图2为手部关键点和自由度的示意图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于旋量的手势识别方法，其特征在于，包括：获取相机采集到的连续帧图像，检测所述连续帧图像中的手部关键点，以获得每帧图像中每个手部关键点对应的第一关键点位置；计算每个所述手部关键点在对应的第一坐标系中的三维坐标，所述第一坐标系为所述手部关键点远离指尖的相邻关键点确定的三维坐标系；将所述三维坐标输入预设的正向运动学模型，得到所述手部关键点对应每帧图像的位姿变换集，所述正向运动学模型为通过刚体连接的多个手部关键点，基于旋量的运动学描述，在所述正向运动学模型中，手腕对应的手部关键点的位姿在相机坐标系中进行描述，掌指关节对应的手部关键点的位姿，相对于手腕对应的手部关键点，使用旋量法基于刚体运动的指数积公式及合成规则表示，所述位姿变换集为所有手部关键点对应的位姿的集合；基于所述位姿变换集，计算每帧图像对应的雅可比矩阵和手部关键点对应的预测三维坐标，并根据所述预测三维坐标在所述图像中的投影计算对应的第二关键点位置；根据所述第一关键点位置、第二关键点位置以及雅可比矩阵，对所述位姿变换集进行非线性优化；根据所述正向运动学模型以及优化后的位姿变换集，输出预设的手部关键点参数。2.根据权利要求1所述的手势识别方法，其特征在于，所述根据所述第一关键点位置、第二关键点位置以及雅可比矩阵，对所述位姿变换集进行非线性优化之后，还包括：以当前处理的图像为参考，获取前后共计预设数量的图像的位姿变换集，基于获取到的位姿变换集，对当前处理图像的位姿变换集进行时域平滑处理。3.根据权利要求2所述的手势识别方法，其特征在于，所述时域平滑处理通过低通滤波进行。4.根据权利要求1所述的手势识别方法，其特征在于，预设所述正向运动学模型之前，还包括：获取相机模型参数、初始手势和手部配置，所述手部配置包括手部关键点之间的刚体连接长度以及手部关键点在相机坐标系的位置；所述正向运动学模型基于所述相机模型参数、初始手势和刚体连接长度，使用手部关键点的刚体变换的指数积公式及合成规则得到。5.根据权利要求4所述的手势识别方法，其特征在于，预设所述正向运动学模型之前，还包括：获取每个手部关键点的自由度；所述正向运动学模型中设置有关于所述自由度的运动状态约束。6.根据权利要求1所述的手势识别方法，其特征在于，当前处理的图像的位姿变换集的初值，为前一帧图像对应的位姿变换集；或，为基于当前处理的图像初始化的位置变换集。7.根据权利要求6所述的手势识别方法，其特征在于，所述位姿变换集包括每个手部关键点的运动旋量和转角；初始化位姿变换集时，所述运动旋量对应于除该关节外所有其他关节均固定于转角为0位置时该关节的旋量运动，手腕关节对应的手部关键点的位姿，通过多视角几何和运动恢复结构结合所述相机的相机模型参数计算得到。8.根据权利要求1所述的手势识别方法，其特征在于，所述根据所述第一关键点位置、
第二关键点位置以及雅可比矩阵，对所述位姿变换集进行非线性优化，包括：通过所述第一关键点位置和第二关键点位置计算重投影误差；通...

【专利技术属性】
技术研发人员：孙立晔，张腾，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：