一种基于图像的用户行为检测方法、装置和存储介质制造方法及图纸

本发明专利技术公开了一种基于图像的用户行为检测方法、装置和存储介质，用以提高驾驶员开车接打电话行为检测结果的准确性。基于图像的用户行为检测方法，包括：利用预先训练的人脸检测识别模型，识别出实时图像中的人脸图像并确定所述实时图像中人脸框和多个关键点的预测位置信息；根据人脸框的预测位置信息确定检测区域；识别所述检测区域内的手掌区域和唇部区域；确定所述手掌区域中心点与各个关键点之间的最小距离；以及统计在预设时长内唇部变化次数；如果手掌区域中心点与各个关键点之间的最小距离小于预设距离阈值且在所述预设时长内唇部变化次数大于预设次数阈值，则确定检测到开车接打电话行为。

【技术实现步骤摘要】
一种基于图像的用户行为检测方法、装置和存储介质
本专利技术涉及图像检测
，尤其涉及一种基于图像的用户行为检测方法、装置和存储介质。
技术介绍
驾驶员在开车过程中接打电话会导致安全隐患，随着图像处理技术、计算机视觉技术以及深度学习技术的发展，通过对驾驶员开车过程中采集的视频图像进行分析以判别驾驶员是否有开车接打电话行为已成为智能交通技术中的研究热点之一。现有的通过视频图像分析驾驶员是否有开车接打电话行为依据不同颜色空间中，不同人种的肤色像素值分布具有不同的聚类特性，将图像由RGB颜色空间转换到YCBCR颜色空间，采用阈值分割的方式将符合肤色像素分布区域分割出来，对分割出来的每个肤色块进行分类得到手掌区域，只要检测到手掌与人脸在一定范围内则认为驾驶员有开车接打电话行为。上述方案中，由于采用的是肤色模型，所以对摄像头应用场景要求较高，并且容易对类似肤色的物体产生错误检测，另一方面，在人脸角度偏差较大时，无法检测出人脸，而且对于利用手掌支撑脸部的动作，容易错误判别为接打电话行为，降低了驾驶员开车接打电话行为检测结果的准确性。
技术实现思路
本专利技术实施例提供一种基于图像的用户行为检测方法、装置和存储介质，用以提高驾驶员开车接打电话行为检测结果的准确性。第一方面，提供基于图像的用户行为检测方法，包括：利用预先训练的人脸检测识别模型，识别出实时图像中的人脸图像并确定所述实时图像中人脸框和多个关键点的预测位置信息；根据人脸框的预测位置信息确定检测区域；识别所述检测区域内的手掌区域和唇部区域；确定所述手掌区域中心点与各个关键点之间的最小距离；以及统计在预设时长内唇部变化次数；如果手掌区域中心点与各个关键点之间的最小距离小于预设距离阈值且在所述预设时长内唇部变化次数大于预设次数阈值，则确定检测到开车接打电话行为。可选地，所述人脸检测识别模型为基于包含不同人脸姿态的样本图像利用三层网络训练得到的，所述样本图像中标注有人脸框以及各关键点的实际位置信息。可选地，所述关键点包括两个眼睛关键点；以及在根据人脸框的预测位置信息确定检测区域之前，还包括：根据两个眼睛关键点的位置信息，确定两眼之间的水平角度；以及根据两眼之间的水平角度，确定所述人脸框对应的矫正图像。可选地，根据两眼之间的水平角度，确定所述人脸框对应的矫正图像，包括：根据所述两眼之间的水平角度，将所述实时图像旋转相应的角度得到中间图像；根据所述实时图像和所述中间图像确定变换矩阵；利用所述变换矩阵，确定所述人脸框对应的矫正图像。可选地，根据所述实时图像和所述中间图像确定变换矩阵，具体包括：从所述实时图像中选择3个关键点；根据选择的3个关键点在所述实时图像中的第一位置信息和该3个关键点在所述中间图像中的第二位置信息，确定所述变换矩阵。可选地，根据人脸框的预测位置信息确定检测区域，具体包括：确定以人脸框中心点为基准点，人脸框中心点与所述人脸框之间的距离的N倍大小为尺寸，扩展所述人脸框得到所述检测区域，其中N为大于1的数值。可选地，所述关键点包括两个唇角关键点；以及按照以下方法识别所述检测区域内的唇部区域：利用所述变换矩阵，将两个唇角关键点在所述实时图像中的第三位置信息转换为所述矫正图像中的第四位置信息；根据两个唇角关键点对应的第四位置信息确定所述检测区域内的唇部区域。可选地，统计在预设时长内唇部变化次数，具体包括：统计在预设时长内唇部区域的直方图变化次数；确定直方图变化次数为所述唇部变化次数。第二方面，提供一种基于图像的用户行为检测装置，包括：第一识别单元，用于利用预先训练的人脸检测识别模型，识别出实时图像中的人脸图像并确定所述实时图像中人脸框和多个关键点的预测位置信息；第一确定单元，用于根据人脸框的预测位置信息确定检测区域；第二识别单元，用于识别所述检测区域内的手掌区域和唇部区域；第二确定单元，用于确定所述手掌区域中心点与各个关键点之间的最小距离；统计单元，用于统计在预设时长内唇部变化次数；第三确定单元，用于如果手掌区域中心点与各个关键点之间的最小距离小于预设距离阈值且在所述预设时长内唇部变化次数大于预设次数阈值，则确定检测到开车接打电话行为。可选地，所述人脸检测识别模型为基于包含不同人脸姿态的样本图像利用三层网络训练得到的，所述样本图像中标注有人脸框以及各关键点的实际位置信息。可选地，所述关键点包括两个眼睛关键点；以及所述装置，还包括：第四确定单元，用于在所述第一确定单元根据人脸框的预测位置信息确定检测区域之前，根据两个眼睛关键点的位置信息，确定两眼之间的水平角度；以及根据两眼之间的水平角度，确定所述人脸框对应的矫正图像。可选地，所述第四确定单元，具体用于根据所述两眼之间的水平角度，将所述实时图像旋转相应的角度得到中间图像；根据所述实时图像和所述中间图像确定变换矩阵；利用所述变换矩阵，确定所述人脸框对应的矫正图像。可选地，所述第四确定单元，具体用于从所述实时图像中选择3个关键点；根据选择的3个关键点在所述实时图像中的第一位置信息和该3个关键点在所述中间图像中的第二位置信息，确定所述变换矩阵。可选地，所述第一确定单元，具体用于确定以人脸框中心点为基准点，人脸框中心点与所述人脸框之间的距离的N倍大小为尺寸，扩展所述人脸框得到所述检测区域，其中N为大于1的数值。可选地，所述关键点包括两个唇角关键点；以及所述第二识别单元，具体用于利用所述变换矩阵，将两个唇角关键点在所述实时图像中的第三位置信息转换为所述矫正图像中的第四位置信息；根据两个唇角关键点对应的第四位置信息确定所述检测区域内的唇部区域。可选地，所述统计单元，具体用于统计在预设时长内唇部区域的直方图变化次数；确定直方图变化次数为所述唇部变化次数。第三方面，提供一种计算装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述基于图像的用户行为检测方法所述的任一步骤。第四方面，提供一种计算机可读介质，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行上述基于图像的用户行为检测方法所述的任一步骤。本专利技术实施例提供的基于图像的用户行为检测方法、装置和存储介质，通过预先训练的人脸检测识别模型，识别出其中的人脸图像并确定人脸框和各个关键点的预测位置信息，进一步地根据人脸框确定出检测区域，并识别出检测区域内的手掌区域和唇部区域，计算手掌区域中心点与各个关键点之间的最小距离，并统计在预设时长内唇部变化次数，如果手掌区域中心点与各个关键点之间的最小距离小于预设距离阈值且在所述预设时长内唇部变化次数大于预设次数阈值，则确定检测到开车接打电话行为，上述过程中，结合手掌与关键点之间的最小距离和唇部变化次数来判断是否有开车接打电话行为，提高了检测结果的准确性。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1a为本专利技术实本文档来自技高网...

【技术保护点】
1.一种基于图像的用户行为检测方法，其特征在于，包括：利用预先训练的人脸检测识别模型，识别出实时图像中的人脸图像并确定所述实时图像中人脸框和多个关键点的预测位置信息；根据人脸框的预测位置信息确定检测区域；识别所述检测区域内的手掌区域和唇部区域；确定所述手掌区域中心点与各个关键点之间的最小距离；以及统计在预设时长内唇部变化次数；如果手掌区域中心点与各个关键点之间的最小距离小于预设距离阈值且在所述预设时长内唇部变化次数大于预设次数阈值，则确定检测到开车接打电话行为。

【技术特征摘要】
1.一种基于图像的用户行为检测方法，其特征在于，包括：利用预先训练的人脸检测识别模型，识别出实时图像中的人脸图像并确定所述实时图像中人脸框和多个关键点的预测位置信息；根据人脸框的预测位置信息确定检测区域；识别所述检测区域内的手掌区域和唇部区域；确定所述手掌区域中心点与各个关键点之间的最小距离；以及统计在预设时长内唇部变化次数；如果手掌区域中心点与各个关键点之间的最小距离小于预设距离阈值且在所述预设时长内唇部变化次数大于预设次数阈值，则确定检测到开车接打电话行为。2.如权利要求1所述的方法，其特征在于，所述人脸检测识别模型为基于包含不同人脸姿态的样本图像利用三层网络训练得到的，所述样本图像中标注有人脸框以及各关键点的实际位置信息。3.如权利要求1或2所述的方法，其特征在于，所述关键点包括两个眼睛关键点；以及在根据人脸框的预测位置信息确定检测区域之前，还包括：根据两个眼睛关键点的位置信息，确定两眼之间的水平角度；以及根据两眼之间的水平角度，确定所述人脸框对应的矫正图像。4.如权利要求3所述的方法，其特征在于，根据两眼之间的水平角度，确定所述人脸框对应的矫正图像，包括：根据所述两眼之间的水平角度，将所述实时图像旋转相应的角度得到中间图像；根据所述实时图像和所述中间图像确定变换矩阵；利用所述变换矩阵，确定所述人脸框对应的矫正图像。5.如权利要求4所述的方法，其特征在于，根据所述实时图像和所述中间图像确定变换矩阵，具体包括：从所述实时图像中选择3个关键点；根据选择的3个关键点在所述实时图像中的第一位置信息和该3个关键点在所述中间图像中的第二位置信息，确定所述变换矩阵。6.如权利要求4所述的方法，其特征在于，根据人脸框的预测位置信息确定检测区域，具体包括：确定以人脸框中心点为基准点，人脸框中心点与所述人脸框之间的距离的N倍大小为尺寸，扩展所述人脸框得到所述检测区域，其中N为大于1的数值。7.如权利要求6所述的方法，其特征在于，所述关键点包括两个唇角关键点；以及按照以下方法识别所述检测区域内的唇部区域：利用所述变换矩阵，将两个唇角关键点在所述实时图像中的第三位置信息转换为所述矫正图像中的第四位置信息；根据两个唇角关键点对应的第四位置信息确定所述检测区域内的唇部区域。8.如权利要求1所述的方法，其特征在于，统计在预设时长内唇部变化次数，具体包括：统计在预设时长内唇部区域的直方图变化次数；确定直方图变化次数为所述唇部变化次数。9.一种基于图像的用户行为检测装置，其特征在于，包括：第一识别单元，用于利用预先训练的人脸检测识别模型，识别出实时图像中的人脸图像并确定所述实时图像中人脸框和多个关键点的预测位置信息；第一确定单元，用于...

【专利技术属性】
技术研发人员：陈海波，
申请(专利权)人：深兰科技上海有限公司，
类型：发明
国别省市：上海,31