洗手动作识别方法及系统技术方案

本发明专利技术提供洗手动作识别方法及系统。该方法包括：在预检测阶段，获取当前帧的图像数据；所述图像数据包括配准后的彩色图像和深度图像；对所述图像数据进行预检测；若通过预检测，使用所述深度图像，对所述彩色图像进行背景去除处理，得到前景图像；使用所述前景图像进行洗手动作识别，得到图像数据对应的识别结果；所述识别结果包括识别出的洗手动作类别。可见，在本发明专利技术实施例中，洗手动作识别的实施划分为两步，第一步先进行预检测，预检测通过才会执行第二步：动作识别。并且，在执行第二步的过程中，会利用配准的深度图像辅助进行背景去除，过滤很多背景信息，增大了识别鲁棒性，然后，再对前景图像进行识别，得到识别结果。

【技术实现步骤摘要】
洗手动作识别方法及系统
本专利技术涉及计算机领域，特别涉及一种洗手动作识别方法及系统。
技术介绍
很多行业对洗手流程有要求。以往都是通过人为自觉和培训洗手流程，但是缺乏有利监督，难免出现纰漏。因此可以借助计算机视觉结合机器学习的方法进行自动化监督操作，节省人力和成本，同时保障洗手步骤的正确性和规范性。进行自动化监督的前提是识别出洗手动作。因此，如何进行洗手动作识别是目前研究的热门。
技术实现思路
有鉴于此，本专利技术实施例提供一种洗手动作识别方法及系统，以实现洗手动作识别。为实现上述目的，本专利技术实施例提供如下技术方案：一种洗手动作识别方法，包括：在预检测阶段，获取当前帧的图像数据；所述图像数据包括配准后的彩色图像和深度图像；对所述图像数据进行预检测；若通过预检测，使用所述深度图像，对所述彩色图像进行背景去除处理，得到前景图像；使用所述前景图像进行洗手动作识别，得到图像数据对应的识别结果；所述识别结果包括识别出的洗手动作类别。可选的，所述进行预检测包括：使用所述图像数据进行冲水检测；使用所述图像数据进行泡沫检测；若未处于冲水状态并且不存在泡沫，确定通过预检测。可选的，在所述预检测阶段之前，还包括样本准备阶段；所述样本准备阶段包括：获取图像样本；所述图像样本包括配准的彩色图像样本、深度图像样本，以及标签；所述标签为第一标签、第二标签或第三标签；其中，所述第一标签包括：表征处于冲水状态的信息；所述第二标签包括：表征存在泡沫的信息；所述第三标签包括洗手动作类别；对配准的彩色图像样本和深度图像样本进行数据增强，以扩充图像样本的数量；对数据增强后得到的每一图像样本进行规范化处理。可选的，标签为所述第一标签、且经规范化处理的图像样本为第一目标图像样本；标签为所述第二标签、且经规范化处理的图像样本为第二目标图像样本；标签为所述第三标签、且经规范化处理的图像样本中的彩色图像样本为目标彩色图像样本，深度图像样本为目标深度图像样本；所述样本准备阶段还包括：使用所述目标深度图像，对相应的目标彩色图像进行背景去除处理，得到的前景图像与所述目标深度图像和所述第三标签构成第三目标图像样本。可选的，在所述样本准备阶段之后，所述预检测阶段之前，还包括训练阶段；所述冲水检测由经训练的第一机器学习模型执行，所述泡沫检测由经训练的第二机器学习模型执行，所述洗手动作识别由经训练的第三机器学习模型执行；所述训练阶段包括：基于所述第一目标图像样本对第一机器学习模型执行多次迭代训练，得到所述经训练的第一机器学习模型；基于所述第二目标图像样本对第二机器学习模型执行多次迭代训练，得到所述经训练的第二机器学习模型；基于所述第三目标图像样本对第三机器学习模型执行多次迭代训练，得到所述经训练的第三机器学习模型。可选的，所述使用配准后的深度图像，对所述彩色图像进行背景去除处理，得到前景图像包括：针对任一像素点，若在深度图像中所述像素点的深度值在预设范围之外，将所述像素点在彩色图像中的像素值设置为0。可选的，第三机器学习模型包括：多个直接连接的深度可分离卷积层；全卷积层；全局池化层；分类任务层。可选的，还包括：使用连续多帧图像数据的识别结果，确定并输出当前的洗手动作类别；所述连续多帧图像数据包括所述当前帧的图像数据，以及，所述当前帧的图像数据之前的连续N帧图像数据；N为正整数。一种洗手动作识别系统，包括：获取单元，用于在预检测阶段，获取当前帧的图像数据；所述图像数据包括配准的彩色图像和深度图像；预检测单元，用于：对所述图像数据进行预检测；前处理单元，用于：若通过预检测，使用所述深度图像，对所述彩色图像进行背景去除处理，得到前景图像；洗手动作识别单元，用于：使用所述前景图像进行洗手动作识别，得到图像数据对应的识别结果；所述识别结果包括识别出的洗手动作类别。可见，在本专利技术实施例中，洗手动作识别的实施划分为两步，第一步先进行预检测，预检测通过才会执行第二步：动作识别。并且，在执行第二步的过程中，会利用配准的深度图像辅助进行背景去除，过滤很多背景信息，增大了识别鲁棒性，然后，再对前景图像进行识别，得到识别结果。附图说明图1为本专利技术实施例提供的洗手动作识别系统的一种示例性结构；图2为本专利技术实施例提供的洗手动作识别方法的一种示例性流程；图3为本专利技术实施例提供的洗手动作识别系统的另一种示例性结构；图4为本专利技术实施例提供的洗手动作识别方法的另一种示例性流程；图5为本专利技术实施例提供的样本准备阶段示例性流程；图6为本专利技术实施例提供的CNN模型的示例性结构。具体实施方式为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结如下：CNN：ConvolutionalNeuralNetwork，卷积神经网络；深度图像：depthimage，也被称为距离影像(rangeimage)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像；3D：3Dimensional，三维；LossFunction：损失函数；SGD：StochasticGradientDescent，随机梯度下降；NMS：Nonmaximumvaluesuppression,非极大值抑制。目前市场上存在的手势识别方案，几乎均为单纯彩色图手势静态识别方案，通过大量采集不同手型的图像进行各种深度学习分类识别实验。然而，只依靠彩色数据的洗手动作识别精度较差，易受到光照，背景等因素干扰，鲁棒性差。有鉴于此，本专利技术提供洗手动作识别方法及系统，以实现洗手动作识别并解决上述问题。请参见图1，上述洗手动作识别系统的一种示例性结构包括：获取单元1、预检测单元2、前处理单元3和洗手动作识别单元4。此外，上述系统还可包括输出单元5，用于输出与人交互的信息。例如，识别出的动作，此外，还可包括提示音、报警等等。其中，获取单元1包括：RGBD数据模组，其中RGB指红绿蓝，D指深度。该模组包括拍摄彩色图像(RGB)的器件(例如摄像头)，以及，拍摄深度图像的器件(例如深度相机)。深度相机又称之为3D相机。普通的彩色相机拍摄到的图片(2D图像)能看到相机视角内的所有物体并记录下来，但是其所记录的数据不包含这些物体距离相机的距离。通过深度相机获取到的数据，可准确知道图像中每个点离摄像头距离，这样加上该像素点在2D图像中的(x,y)坐标，就能获取图像中每个像素点的三维空间坐标。获取单元1可设置在洗手处。其部署的位置和角度需要保证能够同时获取彩色图像和深度图像。获取单元1和输出单元5可安装于同一设备中。至于预检测单元2、前处理单元3和洗手动作识别单元4，其可与获取单元1安装于同一设备中，也可部署在动作识别服务器中，通过网络进行通讯，或者，预检测单元2、前处理单元3和洗手动作识别单元4可分别为独立的服务器。本文档来自技高网...

【技术保护点】
1.一种洗手动作识别方法，其特征在于，包括：/n在预检测阶段，获取当前帧的图像数据；所述图像数据包括配准后的彩色图像和深度图像；/n对所述图像数据进行预检测；/n若通过预检测，使用所述深度图像，对所述彩色图像进行背景去除处理，得到前景图像；/n使用所述前景图像进行洗手动作识别，得到图像数据对应的识别结果；所述识别结果包括识别出的洗手动作类别。/n

【技术特征摘要】
1.一种洗手动作识别方法，其特征在于，包括：
在预检测阶段，获取当前帧的图像数据；所述图像数据包括配准后的彩色图像和深度图像；
对所述图像数据进行预检测；
若通过预检测，使用所述深度图像，对所述彩色图像进行背景去除处理，得到前景图像；
使用所述前景图像进行洗手动作识别，得到图像数据对应的识别结果；所述识别结果包括识别出的洗手动作类别。


2.如权利要求1所述的方法，其特征在于，所述进行预检测包括：
使用所述图像数据进行冲水检测；
使用所述图像数据进行泡沫检测；
若未处于冲水状态并且不存在泡沫，确定通过预检测。


3.如权利要求2所述的方法，其特征在于，在所述预检测阶段之前，还包括样本准备阶段；
所述样本准备阶段包括：
获取图像样本；所述图像样本包括配准的彩色图像样本、深度图像样本，以及标签；所述标签为第一标签、第二标签或第三标签；其中，所述第一标签包括：表征处于冲水状态的信息；所述第二标签包括：表征存在泡沫的信息；所述第三标签包括洗手动作类别；
对配准的彩色图像样本和深度图像样本进行数据增强，以扩充图像样本的数量；
对数据增强后得到的每一图像样本进行规范化处理。


4.如权利要求3所述的方法，其特征在于，
标签为所述第一标签、且经规范化处理的图像样本为第一目标图像样本；
标签为所述第二标签、且经规范化处理的图像样本为第二目标图像样本；
标签为所述第三标签、且经规范化处理的图像样本中的彩色图像样本为目标彩色图像样本，深度图像样本为目标深度图像样本；
所述样本准备阶段还包括：
使用所述目标深度图像，对相应的目标彩色图像进行背景去除处理，得到的前景图像与所述目标深度图像和所述第三标签构成第三目标图像样本。


5.如权利要求4所述的方法，其特征在于，在所述样本准备阶段之后，所述预...

【专利技术属性】
技术研发人员：李江，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11