模型训练方法、洗手行为检测方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种模型训练方法、洗手行为检测方法、装置、设备及介质，包括：通过人体姿态识别算法，获取每张原始样本图像中人体姿态骨架的关键点的坐标；根据关键点的坐标，确定原始样本图像中手部所在的区域；根据原始样本图像中手部所在的区域，从原始样本图像中截取出手部图像，形成样本图像；根据样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型。该模型训练方法中，一方面，极大地缩减了所需的样本数据量以及缩减了标注样本所需的工作量；另一方面，基于该样本图像库训练出的目标洗手行为检测模型不需要二次调优，并且该模型对洗手行为的步骤分类的检测准确性较高。

【技术实现步骤摘要】
模型训练方法、洗手行为检测方法、装置、设备及介质
本专利技术实施例涉及图像识别领域，尤其涉及一种模型训练方法、洗手行为检测方法、装置、设备及介质。
技术介绍
在医院及相关场所中，为了进行医务人员手卫生的管理，需要检测医务人员的洗手过程中的洗手行为是否符合标准洗手规范。目前，只能通过用图片宣导、培训讲解等方式，进行标准洗手规范的宣贯及讲解。在医务人员洗手的过程中，并不能实现有效检测，导致可能会因为医务人员洗手行为不规范而引起通过手传播病原体的问题。
技术实现思路
本专利技术提供一种模型训练方法、洗手行为检测方法、装置、设备及介质，以解决目前无法进行洗手行为检测的技术问题。第一方面，本专利技术实施例提供一种模型训练方法，包括：获取拍摄的每个样本采集人员的三个角度的洗手视频；其中，所述三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与所述样本采集人员的右侧的摄像头的高度不同；对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；将所述洗手视频以及所述镜像处理后的洗手视频转换为图像，形成原始样本图像库；通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；根据所述原始样本图像中人体姿态骨架的关键点的坐标，确定所述原始样本图像中手部所在的区域；根据所述原始样本图像中手部所在的区域，从所述原始样本图像中截取出手部图像，形成样本图像；根据所述样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型；其中，所述目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。第二方面，本专利技术实施例提供一种洗手行为检测方法，包括：通过人体姿态识别算法，获取目标图像中人体姿态骨架的关键点的坐标；根据所述目标图像中人体姿态骨架的关键点的坐标，确定所述目标图像中手部所在的区域；根据所述目标图像中手部所在的区域，从所述目标图像中截取出手部图像，形成待识别图像；将所述待识别图像输入至目标洗手行为检测模型，得到所述目标图像中洗手行为的步骤分类；其中，所述目标洗手行为检测模型采用如第一方面所述的模型训练方法得到。第三方面，本专利技术实施例提供一种模型训练装置，包括：第二获取模块，用于获取拍摄的每个样本采集人员的三个角度的洗手视频；其中，所述三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与所述样本采集人员的右侧的摄像头的高度不同；镜像处理模块，用于对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；第四确定模块，用于将所述洗手视频以及所述镜像处理后的洗手视频转换为图像，形成原始样本图像库；第一获取模块，用于通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；第一确定模块，用于根据所述原始样本图像中人体姿态骨架的关键点的坐标，确定所述原始样本图像中手部所在的区域；第二确定模块，用于根据所述原始样本图像中手部所在的区域，从所述原始样本图像中截取出手部图像，形成样本图像；第三确定模块，用于根据所述样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型。第四方面，本专利技术实施例提供一种洗手行为检测装置，包括：第三获取模块，用于通过人体姿态识别算法，获取目标图像中人体姿态骨架的关键点的坐标；第五确定模块，用于根据所述目标图像中人体姿态骨架的关键点的坐标，确定所述目标图像中手部所在的区域；第六确定模块，用于根据所述目标图像中手部所在的区域，从所述目标图像中截取出手部图像，形成待识别图像；第七确定模块，用于将所述待识别图像输入至目标洗手行为检测模型，得到所述目标图像中洗手行为的步骤分类；其中，所述目标洗手行为检测模型采用如第一方面所述的模型训练方法得到。第五方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的模型训练方法或者如第二方面提供的洗手行为检测方法。第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的模型训练方法或者如第二方面提供的洗手行为检测方法。本专利技术实施例提供一种模型训练方法、洗手行为检测方法、装置、设备及介质，该方法包括：获取拍摄的每个样本采集人员的三个角度的洗手视频，其中，三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与样本采集人员的右侧的摄像头的高度不同；对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；将洗手视频以及镜像处理后的洗手视频转换为图像，形成原始样本图像库；通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；根据原始样本图像中人体姿态骨架的关键点的坐标，确定原始样本图像中手部所在的区域；根据原始样本图像中手部所在的区域，从原始样本图像中截取出手部图像，形成样本图像；根据样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型，其中，目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。该模型训练方法中，一方面，通过镜像处理的方式可以获取到多个角度的洗手视频，能够在短时间内获得大量原始样本图像，实现高效，提高了模型训练的效率；另一方面，通过人体姿态识别算法，从原始样本图像中截取出手部图像，形成样本图像，从而排除了包括洗手用户性别、身高、年龄、衣服以及外部场景变化所带来的对样本图像库规模的影响，极大地缩减了所需的样本数据量，提高了模型训练效率；再一方面，通过使用成熟的人体姿态识别算法确定出的原始样本图像中手部所在的区域，可以直接作为样本数据库的标注数据进行使用，节省了大量人工手动框选目标的工作量，提高了模型训练的效率；又一方面，基于该样本图像库训练出的目标洗手行为检测模型不需要二次调优，并且该模型对洗手行为的步骤分类的检测准确性较高。附图说明图1为本专利技术一个实施例提供的模型训练方法的流程示意图；图2为一种确定手部所在的区域的示意图；图3为本专利技术实施例提供的一种目标洗手行为检测模型的结构示意图；图4为本专利技术实施例提供的一种洗手行为检测方法的流程示意图；图5为本专利技术一个实施例提供的模型训练装置的结构示意图；图6为本专利技术另一个实施例提供的洗手行为检测装置的结构示意图；...

【技术保护点】
1.一种模型训练方法，其特征在于，包括：/n获取拍摄的每个样本采集人员的三个角度的洗手视频；其中，所述三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与所述样本采集人员的右侧的摄像头的高度不同；/n对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；/n将所述洗手视频以及所述镜像处理后的洗手视频转换为图像，形成原始样本图像库；/n通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；/n根据所述原始样本图像中人体姿态骨架的关键点的坐标，确定所述原始样本图像中手部所在的区域；/n根据所述原始样本图像中手部所在的区域，从所述原始样本图像中截取出手部图像，形成样本图像；/n根据所述样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型；其中，所述目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。/n

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
获取拍摄的每个样本采集人员的三个角度的洗手视频；其中，所述三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与所述样本采集人员的右侧的摄像头的高度不同；
对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；
将所述洗手视频以及所述镜像处理后的洗手视频转换为图像，形成原始样本图像库；
通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；
根据所述原始样本图像中人体姿态骨架的关键点的坐标，确定所述原始样本图像中手部所在的区域；
根据所述原始样本图像中手部所在的区域，从所述原始样本图像中截取出手部图像，形成样本图像；
根据所述样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型；其中，所述目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。


2.根据权利要求1所述的方法，其特征在于，所述人体姿态识别算法为：OPENPOSE算法。


3.根据权利要求1所述的方法，其特征在于，所述根据所述原始样本图像中人体姿态骨架的关键点的坐标，确定所述原始样本图像中手部所在的区域，包括：
确定所述原始图像中人体姿态骨架的关键点的坐标中，与手部范围有关的目标关键点；
根据所述目标关键点，确定所述原始图像中手部所在的区域。


4.根据权利要求3所述的方法，其特征在于，所述根据所述目标关键点，确定所述原始图像中手部所在的区域，包括：
确定所述目标关键点中x轴方向的第一最小坐标值与第一最大坐标值；
确定所述目标关键点中y轴方向的第二最小坐标值与第二最大坐标值；
将...

【专利技术属性】
技术研发人员：应东东，屈世豪，许晓斌，赵建昌，
申请(专利权)人：杭州百世伽信息科技有限公司，
类型：发明
国别省市：浙江;33