识别使用移动设备行为的方法、装置、存储介质及处理器制造方法及图纸

本申请实施例提供一种识别使用移动设备行为的方法、装置、处理器及存储介质。包括：采集鱼眼相机的视频数据，得到多个视频帧，将其输入至头部检测算法模型，检测包含头部矩形区域，将其输入至识别模型，确定存在使用移动设备行为的第一矩形区域，并调整鱼眼相机焦距，得到第二矩形区域，将其输入至移动设备检测模型以及手部检测模型，确定其中同时包括移动设备和人体手部的情况下，判断第二矩形区域中移动设备与用户头部之间的间隔距离，在间隔距离小于距离阈值的情况下，判断移动设备所在区域与人体手部所在区域之间的重叠面积，在重叠面积大于重叠阈值的情况下，判定第二矩形区域的用户存在使用移动设备的行为。用户存在使用移动设备的行为。用户存在使用移动设备的行为。

【技术实现步骤摘要】
识别使用移动设备行为的方法、装置、存储介质及处理器


[0001]本申请涉及计算机
，具体地涉及识别使用移动设备行为的方法、装置、存储介质及处理器。

技术介绍

[0002]打电话识别在安防领域中具有非常重要的应用场景，比如加油站、炼油厂、油库、油田、游轮，这些场所的石油、天然气具有易挥发性，打电话产生的电火花很有可能点燃挥发气体，导致火灾，造成不可估量的后果，往往伴随着重大安全隐患。
[0003]现有技术中，打电话行为识别的方法主要通过实时监控司机的行为，通过对图像的综合分析，来判断行人是否在打电话。常见的传统方法和流程一般是：先检测人脸，然后再提取特征，最后训练一个分类器。这种方法对打电话行为的识别范围有局限，难以在全局范围识别，且不能精准的对手持电话放在头部的打电话行为进行识别，对于手摸头这种近似打电话的行为，容易产生误报。

技术实现思路

[0004]本申请实施例的目的是提供一种识别使用移动设备行为的方法、装置、存储介质及处理器。
[0005]为了实现上述目的，本申请第一方面提供一种识别使用移动设备行为的方法，包括：
[0006]采集鱼眼相机的视频数据，得到视频数据包括的多个视频帧；
[0007]依次将每个视频帧输入至头部检测算法模型，以通过头部检测算法模型检测出每个视频帧中包含有用户头部的头部矩形区域；
[0008]将每个头部矩形区域输入至识别模型，以通过识别模型确定出每个头部矩形区域中存在使用移动设备行为的第一矩形区域；
[0009]确定与第一矩形区域对应的目标鱼眼相机，并调整目标鱼眼相机的焦距，以放大第一矩形区域得到对应的第二矩形区域；
[0010]将第二矩形区域输入至移动设备检测模型以及手部检测模型；
[0011]在通过移动设备检测模型以及手部检测模型确定第二矩形区域中同时包括移动设备和人体手部的情况下，判断第二矩形区域中移动设备与用户头部之间的间隔距离；
[0012]在间隔距离小于距离阈值的情况下，判断移动设备所在区域与人体手部所在区域之间的重叠面积；
[0013]在重叠面积大于重叠阈值的情况下，判定第二矩形区域的用户存在使用移动设备的行为。
[0014]在本申请的实施例中，依次将同一个鱼眼相机的N个连续视频帧输入至头部检测算法模型，以通过头部检测算法模型检测出每个视频帧中包含有用户头部的头部矩形区域；方法还包括：针对N个连续视频帧中的每个视频帧，执行步骤S3至S8；在N个连续视频帧
的重叠面积大于重叠阈值的情况下，确定N个连续视频帧所包含的用户存在使用移动设备的行为。
[0015]在本申请的实施例中，确定第一矩形区域的第一区域坐标；根据第一区域坐标确定第一矩形区域的区域中心点；调整目标鱼眼相机的焦距，以放大第一矩形区域得到对应的第二矩形区域。
[0016]在本申请的实施例中，根据第一区域坐标确定第一矩形区域的区域高度；获取鱼眼相机的初始焦距和画面高度像素；根据画面高度像素和区域高度确定鱼眼相机的变焦倍数；根据变焦倍数和初始焦距确定鱼眼相机的目标变焦焦距；将鱼眼相机的焦距调整至目标变焦焦距，以放大第一矩形区域得到对应的第二矩形区域。
[0017]在本申请的实施例中，根据变焦倍数和第一区域坐标确定放大后的第一矩形区域所对应的第二区域坐标；将第二区域坐标所对应的矩形区域确定为第二矩形区域。
[0018]在本申请的实施例中，在满足以下任意一者的情况下，判定没有用户存在使用移动设备的行为：将每个头部矩形区域输入至识别模型，识别模型未检测到有任何一个头部矩形区域中存在使用移动设备行为；通过移动设备检测模型未检测到第二矩形区域中包括有移动设备，和/或通过手部检测模型未检测到第二矩形区域中包括有人体手部；间隔距离大于或等于距离阈值；重叠面积大于或等于重叠阈值。
[0019]在本申请的实施例中，在判定第二矩形区域的用户存在使用移动设备的行为的情况下，触发报警机制。
[0020]本申请第二方面提供一种识别使用移动设备行为的装置，包括：数据采集模块，用于采集鱼眼相机的视频数据，得到视频数据包括的多个视频帧；调整鱼眼相机的焦距，以放大第一矩形区域得到对应的第二矩形区域；第一全局判断模块，用于依次将每个视频帧输入至头部检测算法模型，以通过头部检测算法模型检测出每个视频帧中包含有用户头部的头部矩形区域；第二全局判断模块，用于将每个头部矩形区域输入至识别模型，以通过识别模型确定出每个头部矩形区域中存在使用移动设备行为的第一矩形区域；第一局部判断模块，用于将第二矩形区域输入至移动设备检测模型以及手部检测模型；在通过移动设备检测模型以及手部检测模型确定第二矩形区域中同时包括移动设备和人体手部的情况下，判断第二矩形区域中移动设备与用户头部之间的间隔距离；第二局部判断模块，用于在间隔距离小于距离阈值的情况下，判断移动设备所在区域与人体手部所在区域之间的重叠面积；行为预测模块，用于在重叠面积大于重叠阈值的情况下，判定第二矩形区域的用户存在使用移动设备的行为。
[0021]本申请第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的识别使用移动设备行为的方法。
[0022]本申请第四方面提供一种处理器，被配置成执行上述的识别使用移动设备行为的方法。
[0023]通过上述识别使用移动设备行为的方法，通过采集鱼眼相机的视频数据，得到视频数据包括的多个视频帧，依次将每个视频帧输入至头部检测算法模型，以通过头部检测算法模型检测出每个视频帧中包含有用户头部的头部矩形区域，将每个头部矩形区域输入至识别模型，以通过识别模型确定出每个头部矩形区域中存在使用移动设备行为的第一矩
形区域，调整鱼眼相机的焦距，以放大第一矩形区域得到对应的第二矩形区域，将第二矩形区域输入至移动设备检测模型以及手部检测模型，在通过移动设备检测模型以及手部检测模型确定第二矩形区域中同时包括移动设备和人体手部的情况下，判断第二矩形区域中移动设备与用户头部之间的间隔距离，在间隔距离小于距离阈值的情况下，判断移动设备所在区域与人体手部所在区域之间的重叠面积，在重叠面积大于重叠阈值的情况下，判定第二矩形区域的用户存在使用移动设备的行为。通过该方法，可以全方位识别打电话行为，提升识别的精确度，减少了事故的发生，保证人民生命财产安全。
[0024]本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0025]附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
[0026]图1示意性示出了根据本申请实施例的识别使用移动设备行为的方法的流程示意图；
[0027]图2示意性示出了根据本申请另一实施例的识别使用移动设备行为的方法的流程示意图；
[0028]图3示意性示出了根据本申请实施例的识别使用移动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别使用移动设备行为的方法，其特征在于，所述方法包括：步骤S1、采集鱼眼相机的视频数据，得到所述视频数据包括的多个视频帧；步骤S2、依次将每个视频帧输入至头部检测算法模型，以通过所述头部检测算法模型检测出每个视频帧中包含有用户头部的头部矩形区域；步骤S3、将每个头部矩形区域输入至识别模型，以通过所述识别模型确定出每个头部矩形区域中存在使用移动设备行为的第一矩形区域；步骤S4、调整所述鱼眼相机的焦距，以放大所述第一矩形区域得到对应的第二矩形区域；步骤S5、将所述第二矩形区域输入至移动设备检测模型以及手部检测模型；步骤S6、在通过所述移动设备检测模型以及所述手部检测模型确定所述第二矩形区域中同时包括移动设备和人体手部的情况下，判断所述第二矩形区域中移动设备与用户头部之间的间隔距离；步骤S7、在所述间隔距离小于距离阈值的情况下，判断所述移动设备所在区域与所述人体手部所在区域之间的重叠面积；步骤S8、在所述重叠面积大于重叠阈值的情况下，判定所述第二矩形区域的用户存在使用移动设备的行为。2.根据权利要求1所述的方法，其特征在于，步骤S2包括：依次将同一个鱼眼相机的N个连续视频帧输入至头部检测算法模型，以通过所述头部检测算法模型检测出每个视频帧中包含有用户头部的头部矩形区域；所述方法还包括：针对N个连续视频帧中的每个视频帧，执行步骤S3至S8；在N个连续视频帧的重叠面积大于重叠阈值的情况下，确定N个连续视频帧所包含的用户存在使用移动设备的行为。3.根据权利要求1所述的方法，其特征在于，步骤S4包括：确定所述第一矩形区域的第一区域坐标；根据所述第一区域坐标确定所述第一矩形区域的区域中心点；将所述区域中心点调整所述鱼眼相机的焦距，以放大所述第一矩形区域得到对应的第二矩形区域。4.根据权利要求3所述的方法，其特征在于，步骤S4包括：根据所述第一区域坐标确定所述第一矩形区域的区域高度；获取所述鱼眼相机的初始焦距和画面高度像素；根据所述画面高度像素和所述区域高度确定所述鱼眼相机的变焦倍数；根据所述变焦倍数和所述初始焦距确定所述鱼眼相机的目标变焦焦距；将所述鱼眼相机的焦距调整至所述目标变焦焦距，以放大所述第一矩形区域得到对应的第二矩形区域。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：根据所述变...

【专利技术属性】
技术研发人员：马进，余智君，罗洲杰，刘志俣，
申请(专利权)人：上海禹创智能科技有限公司成都分公司，
类型：发明
国别省市：