手势识别方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供一种手势识别方法、装置、电子设备及可读存储介质，该手势识别方法包括：获取待识别对象的图像数据；利用预先训练的深度学习检测模型，对所述待识别对象的图像数据进行目标检测，确定手掌区域；利用预先训练的深度学习分类模型，对所述手掌区域进行分类，得到手势识别结果。该方法可以。该方法可以。该方法可以。

【技术实现步骤摘要】
手势识别方法、装置、电子设备及可读存储介质


[0001]本申请涉及计算机视觉和人机交互领域，尤其涉及一种手势识别方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着人工智能的发展和国家对于下一代人工智能的号召，智能车辆已经成为世界车辆工程领域研究的热点和汽车工业增长的新动力。智能不仅体现在自动泊车、自动驾驶等全自动领域，也体现在智能交互、智能控制等方面，需要将汽车打造成另一个舒适、便捷、智能的港湾。
[0003]手势识别是智能车辆实现智能交互、智能控制的关键技术之一，如何准确实现手势识别称为一个亟待解决的技术问题。

技术实现思路

[0004]有鉴于此，本申请提供一种手势识别方法、装置、电子设备及可读存储介质。
[0005]具体地，本申请是通过如下技术方案实现的：
[0006]根据本申请实施例的第一方面，提供一种手势识别方法，包括：
[0007]获取待识别对象的图像数据；
[0008]利用预先训练的深度学习检测模型，对所述待识别对象的图像数据进行目标检测，确定手掌区域；
[0009]利用预先训练的深度学习分类模型，对所述手掌区域进行分类，得到手势识别结果；其中，所述深度学习分类模型在训练过程中，依据类别关联损失函数进行反馈优化，从第S轮训练开始，对于任一训练样本，在利用所述深度学习分类模型得到的预测结果与该训练样本的标注不一致的情况下，该预测结果与标注相似度越高，依据所述类别关联损失函数得到的损失值越大，S为自然数。
[0010]根据本申请实施例的第二方面，提供一种手势识别装置，包括：
[0011]获取单元，用于获取待识别对象的图像数据；
[0012]目标检测单元，用于利用预先训练的深度学习检测模型，对所述待识别对象的图像数据进行目标检测，确定手掌区域；
[0013]手势识别单元，用于利用预先训练的深度学习分类模型，对所述手掌区域进行分类，得到手势识别结果；其中，所述深度学习分类模型在训练过程中，依据类别关联损失函数进行反馈优化，从第S轮训练开始，对于任一训练样本，在利用所述深度学习分类模型得到的预测结果与该训练样本的标注不一致的情况下，该预测结果与标注相似度越高，依据所述类别关联损失函数得到的损失值越大，S为自然数。
[0014]根据本申请实施例的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现上述手势识别方法。
[0015]根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上述手势识别方法。
[0016]本申请提供的技术方案至少可以带来以下有益效果：
[0017]通过获取待识别对象的图像数据，利用深度学习的方式检测图像中的手掌区域，提高了光照等条件不同的情况下的图像数据的手掌区域检测的准确性，提高了手掌区域检测的鲁棒性；此外，利用深度学习的方式对手掌区域进行手势分类，得到手势分类结果，用于进行手势识别的深度学习分类模型在训练时，利用类别关联损失函数动态调整学习的损失权重，提高分类模型对相似手势的区分能力，进而，提高了手势识别的准确性。
附图说明
[0018]图1是本申请示例性实施例示出的一种手势识别方法的流程示意图；
[0019]图2是本申请示例性实施例示出的一种安装在方向盘下方的摄像头采集的图像的示意图；
[0020]图3是本申请示例性实施例示出的一种手势识别流程的示意图；
[0021]图4是本申请示例性实施例示出的几种常见手势的示意图；
[0022]图5是本申请示例性实施例示出的两种相似手势的示意图；
[0023]图6是本申请示例性实施例示出的一种特征移位的示意图；
[0024]图7是本申请示例性实施例示出的一种手势类别有限状态机的示意图；
[0025]图8是本申请示例性实施例示出的一种手势遮挡示意图；
[0026]图9是本申请示例性实施例示出的一种方向盘区域轮廓标定的示意图；
[0027]图10是本申请示例性实施例示出的一种方向盘分割模型输出结果的示意图；
[0028]图11是本申请示例性实施例示出的一种手势识别装置的结构示意图；
[0029]图12是本申请示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
[0030]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0031]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0032]为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0033]请参见图1，为本申请实施例提供的一种手势识别方法的流程示意图，如图1所示，该手势识别方法可以包括以下步骤：
[0034]步骤S100、获取待识别对象的图像数据。
[0035]示例性的，待识别对象可以包括任意场景下需要进行手势识别的人员。
[0036]示例性的，可以通过图像采集设备，如摄像头，获取待识别对象的图像数据。
[0037]步骤S110、利用预先训练的深度学习检测模型，对待识别对象的图像数据进行目标检测，确定手掌区域。
[0038]本申请实施例中，为了提高手势识别的准确性，当获取到待识别对象的图像数据时，可以先确定图像中的手掌区域。
[0039]本申请实施例中，可以利用深度学习方法确定图像中的手掌区域。
[0040]对于步骤S100中获取到的待识别对象的图像数据，可以利用预先训练的深度学习检测模型，对待识别对象的图像进行目标检测，确定手掌区域。
[0041]示例性的，上述深度学习检测模型可以包括但不限于YOLO深度学习检测模型或Faster R
‑
CNN深度学习检测模型等。
[0042]示例性的，在进行手掌区域检测时，可以采取整图检测方式进行，以便排除区域抠图造成的超出抠图区域报警失效的问题，有效降低漏检率。
[0043]步骤S120、利用预先训练的深度学习分类模型，对手掌区域进行分类，得到手势识别结果；其中，该深度学习分类模型在训练过程中，依据类别关联损失函数进行反馈优化，从第S轮训练开始，对于任一训练样本，在利用该深度学习分类模型得到的预测结果与该训练样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：获取待识别对象的图像数据；利用预先训练的深度学习检测模型，对所述待识别对象的图像数据进行目标检测，确定手掌区域；利用预先训练的深度学习分类模型，对所述手掌区域进行分类，得到手势识别结果；其中，所述深度学习分类模型在训练过程中，依据类别关联损失函数进行反馈优化，从第S轮训练开始，对于任一训练样本，在利用所述深度学习分类模型得到的预测结果与该训练样本的标注不一致的情况下，该预测结果与标注相似度越高，依据所述类别关联损失函数得到的损失值越大，S为自然数。2.根据权利要求1所述的方法，其特征在于，S＞1，且在训练样本的预测结果与该训练样本的标注不一致的情况下，随着训练轮数的增加，依据所述类别关联损失函数得到的损失值分段递增。3.根据权利要求1所述的方法，其特征在于，所述深度学习检测模型包括静态手势分类模型和动态手势分类模型；所述利用预先训练的深度学习分类模型，对所述手掌区域进行分类，得到手势识别结果，包括：对于当前帧图像，利用所述预先训练的静态手势分类模型，对该帧图像的手掌区域进行静态手势识别，得到静态手势识别结果；所述方法还包括：依据所述当前帧图像以及所述当前帧图像的历史帧图像，利用所述预先训练的动态手势分类模型，进行动态手势识别，得到动态手势识别结果；依据所述静态手势识别结果和动态手势识别结果，确定最终的手势识别结果。4.根据权利要求3所述的方法，其特征在于，所述动态手势分类模型的训练流程包括：利用所述动态手势分类模型，得到N1帧训练样本的卷积层特征；其中，N1为大于1的自然数；对所述N1帧训练样本的卷积层特征进行特征移位，得到所述N1帧训练样本的融合特征；依据所述N1帧训练样本的融合特征对所述动态手势分类模型进行训练。5.根据权利要求3所述的方法，其特征在于，所述动态手势分类模型的训练流程包括：将包括N2帧的视频段划分为K部分，得到K个子视频段；N2＞K，N2与K均为大于2的自然数；依次从所述K个子视频段中选取一帧视频图像，得到K帧训练样本；依据所述K帧训练样本对所述动态手势分类模型进行训练。6.根据权利要求3所述的方法，其特征在于，所述依据所述静态手势识别结果和动态手势识别结果，确定最终的手势识别结果，包括：当所述静态手势识别结果与所述动态手势识别结果一致时，将所述静态手势识别结果确定为最终的手势识别结果；当所述静态手势识别结果与所述动态手势识别结果不一致时，依据预设手势关系状态机，确定所述静态手势识别结果与所述动态手势识别结果之间是否允许转换；所述预设手
势关系状态机用于指示静态手势识别结果与动态手势结果之间是否允许转换；若允许转换，则将所述动态手势识别结果确定为最终的手势识别结果；若不允许转换，则确定最终的手势识别结果待定。7.根据权利要求1所述的方法，其特征在于，所述利用预先训练的深度学习分类模型，对所述手掌区域进行分类，得到手势识别结果，包括：依据当前帧图像的手势识别结果，确定以当前时间为结束时间的预设时间段内，手势识别结果与所述当前帧图像的手势识别结果一致，且置信度超过第一预设置信度阈值的图像帧占比；当所述占比超过预设比例阈值时，确定需要输出所述当前帧图像的手势识别结果；当所述占比未超过所述预设比例阈值时，确定不需要输出所述当前帧图像的手势识别结果。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述待识别对象为车辆驾驶员，用于获取所述待识别对象的图像数据的图像采集设备部署于车辆方向盘下方；所述方法还包括：对于当前帧图像，利用预先训练的方向盘分割模型，对所述当前帧图像进行方向盘分割，得到所述当前图像帧中方向盘区域；依据所述当前帧图像中方向盘区域，以及手掌区域，确定所述当前帧图像中方向盘区域与手掌区域之间是否存在交集；若所述当前帧图像中方向盘区域与手掌区域之间存在交集，则确定所述当前帧图像的手势识别结果不可信。9.根据权利要求8所述的方法，其特征在于，若所述当前帧图像中方向盘区域与手掌区域之间存在交集，则在确定所述当前帧图像的手势识别结果不可信之前，还包括：确定所述当前帧图像的手势识别结果的置信度是否超过预设置信度阈值；若所述当前帧图像的手势识别结果的置信度超过预设置信度阈值，则确定所述当前帧图像中方向盘区域是否穿过所述当前帧图像中的手掌区域；若穿过，则确定执行所述确定所述当前帧图像的手势识别结果不可信的操作；若未穿过，则确定所述当前帧图像的手势识别结果可信；若所述当前帧图像的手势识别结果的置信度未超过第二预设置信度阈值，则确定执行所述确定所述当前帧图像的手势识别结果不可信的操作。10.一种手势识别装置，其特征在于，包括：获取单元，用于获取待识别对象的图像数据；目标检测单元，用于利用预先训练的深度学习检测模...

【专利技术属性】
技术研发人员：廖林，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：