一种手部位置标识方法及装置制造方法及图纸

本发明专利技术提供一种手部位置标识方法及装置。所述方法包括：获取待识别的图像，其中，所述待识别的图像中至少包括手部形状；根据所述待识别的图像和预先建立的手部位置识别模型，确定所述待识别图像中的手部位置和手部骨骼关键点的位置。本发明专利技术提供的手部位置标识方法及装置能够提高手部位置的识别的精确度，识别过程不受环境因素的影响。

【技术实现步骤摘要】
一种手部位置标识方法及装置
本专利技术涉及机器视觉物体检测
，具体涉及一种手部位置标识方法及装置。
技术介绍
随着城市轨道交通规模的拓展，保证司机的规范操作是维护运营安全的重要因素。但是，由于司机行为的复杂性和不确定性，能够实时监督司机操作并在违规时进行提醒的监测系统还不成熟。因此为了实现司机行为监测，其中一个核心技术是司机的手部位置标识算法。现阶段在交通领域中，手部位置标识技术基本都用于汽车驾驶员，例如汽车驾驶员双手离开方向盘状态检测、驾驶过程接电话行为分析等。由于针对某种状态进行识别，因此汽车驾驶员的手部位置标识算法多以基于某类特征进行优化与实现。然而，地铁司机操作过程中会使用多种手势，不同线路的司机室内环境差距很多，因此针对汽车驾驶员的手部位置标识算法不适用于地铁司机。在一般性的手部位置标识技术方面，大多数算法采用深度摄像头，通过图像分割将获取手部大致位置，随后再结合之前构建的手部骨骼模型与图像比对，从而获取定位手部。这类方法有局限性，通常需要先验知识、经验和手工调整，手势操作速度、方向、手形大小的差异会对识别率产生影响，容易受环境干扰，鲁棒性差。此外，深度摄像头相比于一般视觉传感器也更加复杂。因此，地铁司机的手部定位需要另行设计。因此，如何提出一种方法，能够提高手部位置识别的准确性，成为亟待解决的问题。
技术实现思路
针对现有技术中的缺陷，本专利技术提供了一种手部位置标识方法及装置。第一方面，本专利技术提供一种手部位置标识方法，包括：获取待识别的图像，其中，所述待识别的图像中至少包括手部形状；根据所述待识别的图像和预先建立的手部位置识别模型，确定所述待识别图像中的手部位置和手部骨骼关键点的位置。第二方面，本专利技术提供一种手部位置标识装置，包括：获取模块，用于获取待识别的图像，其中，所述待识别的图像中至少包括手部形状；识别模块，用于根据所述待识别的图像和预先建立的手部位置识别模型，确定所述待识别图像中的手部位置和手部骨骼关键点的位置。本专利技术提供的手部位置标识方法及装置，通过采用多阶段卷积神经网络对获取的图像中的手部位置及关键点位置进行识别，能够提高手部位置的识别的精确度，识别过程不受环境因素的影响。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中提供的手部位置标识方法的流程示意图；图2为本专利技术又一实施例提供的手部位置标识流程示意图；图3为本专利技术实施例提供的构建样本时的手部标注示意图；图4为本专利技术实施例提供的神经网络模型的结构示意图；图5为本专利技术实施例提供的训练过程与一般训练过程的区别示意图；图6为本专利技术实施例中提供的手部位置标识装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例中提供的手部位置标识方法的流程示意图，如图1所示，所述方法包括：S101、获取待识别的图像，其中，所述待识别的图像中至少包括手部形状；S102、根据所述待识别的图像和预先建立的手部位置识别模型，确定所述待识别图像中的手部位置和手部骨骼关键点的位置。具体地，在地铁内安装红外视觉传感器，用来拍摄司机的工作视频，从拍摄好的视频中提取一帧图像，作为待识别的图像，且所述待识别的图像中至少包括手部形状；将包含有手部形状的待识别图像输入到预先建立的手部位置识别模型中进行训练，确定出所述待识别图像中的手部位置和手部骨骼关键点的位置。该识别模型是一个多阶段神经网络模型，前一阶段的结果参与后续阶段的计算。该模型的前两个阶段能够提供司机手部的整体位置，随后的阶段模型则会输出司机手部骨骼的具体位置，并且随着阶段数量的增加识别精度也越高。本专利技术提供的手部位置标识方法，通过采用多阶段卷积神经网络对获取的图像中的手部位置及关键点位置进行识别，能够提高手部位置的识别的精确度，识别过程不受环境因素的影响。可选地，所述手部位置识别模型采用如下步骤建立：从原始的视频中每隔一定间隔提出图像帧，构建成数据集；对所述数据集中每个图像帧中的手部的整体位置和手部骨骼关键点的位置进行标注，建立训练样本库；根据所述训练样本库中的图像帧，对预先建立的神经网络模型进行训练，从而获得所述手部位置识别模型。在上述实施例的基础上，图2为本专利技术又一实施例提供的手部位置标识流程示意图，在执行上述步骤之前，需要预先建立手部位置识别模型，具体的建立步骤如下：从原始的视频中，也就是通过红外视觉传感器拍摄司机工作视频，每隔一定间隔提取出图像帧，构建成数据集；对数据集中每个图像帧中的手部整体位置和手部骨骼关键点的位置进行标注，对每一帧图像都要进行标注，并将标注的图像作为神经网络的训练样本库。根据所述训练样本库中的图像帧，对预先建立的神经网络模型进行训练，从而获得所述手部位置识别模型。可选地，所述对所述数据集中每个图像帧中的手部的整体位置和手部骨骼关键点的位置进行标注，包括：对所述数据集中每个图像帧中的每个手部标注一个整体位置和21个手部骨骼关键点的位置。在上述实施例的基础上，图3为本专利技术实施例提供的构建样本时的手部标注示意图，如图3所示。对训练样本库中的每帧图像中的司机双手进行标注，即对双手整体位置，以及骨骼关键点所在位置进行标注，记为：Handright＝{Rr1,Pro,Pr1,Pr2,…,Pr20}；Handleft＝{Rl1,Plo,Pl1,Pl2,…,Pl20}其中，Rr1表示右手的整体区域，Pro,Pr1,Pr2,…,Pr20为右手的21个关键点的位置坐标；Rl1表示左手的整体区域，Plo,Pl1,Pl2,…,Pl20为左手的21个关键点的位置坐标；其中，每只手包含1个整体区域与21个节点坐标，并作为该图片的标签与其一起送入网络进行训练。其中，骨骼关键点的个数可以根据具体的需求进行自行设定，并不局限于上述的实施例中的具体数值。本专利技术提供的手部位置标识方法，通过采用多阶段卷积神经网络对获取的图像中的手部位置及关键点位置进行识别，能够提高手部位置的识别的精确度，识别过程不受环境因素的影响。可选地，所述神经网络模型为多阶段卷积神经网络模型，具体为至少三阶段卷积神经网络模型。在上述实施例的基础上，图4为本专利技术实施例提供的神经网络模型的结构示意图；本专利技术实施例中提供的是基于多阶段卷积神经网络的手部位置标识模型，并使用由训练样本库中的图像帧进行训练，从而优化模型参数，最终获得一个可以用于手部定位标识的模型，如图4所示，本专利技术实施例提供的多阶段卷积神经网络的结构示意图，至少包括3阶段的卷积神经网络模型，本实施例中以6个阶段做具体介绍；第1阶段接受大小为512*512*1的图像输入，其中，其中512*512是指输入图片的宽度和高度，1是指图片为单通道，该图像由原始视频图像经本文档来自技高网...

【技术保护点】
1.一种手部位置标识方法，其特征在于，包括：获取待识别的图像，其中，所述待识别的图像中至少包括手部形状；根据所述待识别的图像和预先建立的手部位置识别模型，确定所述待识别图像中的手部位置和手部骨骼关键点的位置。

【技术特征摘要】
1.一种手部位置标识方法，其特征在于，包括：获取待识别的图像，其中，所述待识别的图像中至少包括手部形状；根据所述待识别的图像和预先建立的手部位置识别模型，确定所述待识别图像中的手部位置和手部骨骼关键点的位置。2.根据权利要求1所述的方法，其特征在于，所述手部位置识别模型采用如下步骤建立：从原始的视频中每隔一定间隔提出图像帧，构建成数据集；对所述数据集中每个图像帧中的手部的整体位置和手部骨骼关键点的位置进行标注，建立训练样本库；根据所述训练样本库中的图像帧，对预先建立的神经网络模型进行训练，获得所述手部位置识别模型。3.根据权利要求2所述的方法，其特征在于，所述对所述数据集中每个图像帧中的手部的整体位置和手部骨骼关键点的位置进行标注，包括：对所述数据集中每个图像帧中的每个手部标注一个整体位置和21个手部骨骼关键点的位置。4.根据权利要求2所述的方法，其特征在于，所述神经网络模型为多阶段卷积神经网络模型，具体为至少三阶段卷积神经网络模型。5.一种手部位...

【专利技术属性】
技术研发人员：李欣旭，田寅，龚明，孙帮成，唐海川，
申请(专利权)人：中车工业研究院有限公司，
类型：发明
国别省市：北京,11