基于双流CNN的行为识别与动作检测识别方法及系统技术方案

本发明专利技术实施例提供一种基于双流CNN的行为识别与动作检测识别方法及系统，属于计算机视觉技术领域。所述识别方法包括：获取现场摄像设备的光流信息和图像信息；依据所述光流信息和图像信息分别采用卷积神经网络进行计算，以得到现场动作的识别概率；选择识别概率平均值最大的所述现场动作作为识别结果。通过上述技术方案，本发明专利技术提供的基于双流CNN的行为识别与动作检测识别方法与系统通过采集现场的光流信息和图像信息，结合两种神经网络进行计算和分配，实现了对现场施工人员行为动作的准确检测。检测。检测。

【技术实现步骤摘要】
基于双流CNN的行为识别与动作检测识别方法及系统


[0001]本专利技术涉及计算机视觉识别领域，具体地涉及一种基于双流CNN的行为识别与动作检测识别方法及系统。

技术介绍

[0002]图像识别算法在生活中已有多处应用，例如道路岔口的车牌拍照、监控摄像头的自动捕捉等。但是在电力施工的场景下，目前还没有出现相关的关于施工人员的动作识别算法。

技术实现思路

[0003]本专利技术实施例的目的是提供一种基于双流CNN的行为识别与动作检测识别方法及系统，该识别方法及系统能够适应电力施工场景的识别要求。
[0004]为了实现上述目的，本专利技术实施例提供一种基于双流CNN的行为识别与动作检测识别方法，包括：
[0005]获取现场摄像设备的光流信息和图像信息；
[0006]依据所述光流信息和图像信息分别采用卷积神经网络进行计算，以得到现场动作的识别概率；
[0007]选择识别概率平均值最大的所述现场动作作为识别结果。
[0008]可选地，获取现场摄像设备的光流信息和图像信息包括：
[0009]截取所述摄像设备的视频数据；
[0010]在所述视频数据中截取清晰度大于预设阈值的图片；
[0011]获取截取的所述图片的光流信息和图像信息。
[0012]可选地，所述卷积神经网络包括：
[0013]第一CNN模型，用于根据所述光流信息计算现场动作的识别概率；
[0014]第二CNN模型，用于根据所述图像信息计算现场动作的识别概率。
>[0015]可选地，所述第一CNN模型包括：
[0016]第一卷积层，用于输入所述光流信息；
[0017]第一池化层，所述第一池化层的一端与所述第一卷积层的一端连接；
[0018]第二卷积层，所述第二卷积层的一端与所述第一池化层的另一端连接；
[0019]第二池化层，所述第二池化层的一端与所述第二卷积层的另一端连接；
[0020]第三卷积层，所述第三卷积层的一端与所述第二池化层的另一端连接；
[0021]第四卷积层，所述第四卷积层的一端与所述第三卷积层的另一端连接；
[0022]第三池化层，所述第三池化层的一端与所述第四卷积层的另一端连接；
[0023]全连接层，所述全连接层的一端与所述第三池化层的另一端连接，所述全连接层的另一端用于输出现场动作的概率。
[0024]可选地，所述第二CNN模型包括：
[0025]敏感区域筛选单元，用于对输入的图像信息进行敏感区域判定，以得到待识别的敏感区域；
[0026]预处理单元，用于根据所述敏感区域对图像进行预处理操作；
[0027]第一卷积层，用于输入预处理操作后的所述图像信息；
[0028]第一池化层，所述第一池化层的一端与所述第一卷积层的一端连接；
[0029]第二卷积层，所述第二卷积层的一端与所述第一池化层的另一端连接；
[0030]第二池化层，所述第二池化层的一端与所述第二卷积层的另一端连接；
[0031]第三卷积层，所述第三卷积层的一端与所述第二池化层的另一端连接；
[0032]第四卷积层，所述第四卷积层的一端与所述第三卷积层的另一端连接；
[0033]第三池化层，所述第三池化层的一端与所述第四卷积层的另一端连接；
[0034]全连接层，所述全连接层的一端与所述第三池化层的另一端连接，所述全连接层的另一端用于输出现场动作的概率。
[0035]可选地，所述敏感区域筛选单元用于：
[0036]根据预设的图像背景信息对所述图像信息进行灰度对比操作；
[0037]根据灰度对比操作确定灰度差大于预设值的待筛选候选区域；
[0038]计算每个所述候选区域的面积；
[0039]筛选出面积大于预设面积的待筛选候选区域作为所述候选区域。
[0040]可选地，选择识别概率平均值最大的所述现场动作作为识别结果包括：
[0041]根据公式(1)计算出所述概率平均值，
[0042][0043]其中，p
x
为所述概率平均值，p1、p2分别为基于光流信息计算的识别概率和基于图像信息计算的识别概率。
[0044]另一方面，本专利技术还提供一种基于双流CNN的行为识别与动作检测识别系统，所述识别系统包括处理器，所述处理器用于执行如上述任一所述的识别方法。
[0045]再一方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的识别方法。
[0046]通过上述技术方案，本专利技术提供的基于双流CNN的行为识别与动作检测识别方法与系统通过采集现场的光流信息和图像信息，结合两种神经网络进行计算和分配，实现了对现场施工人员行为动作的准确检测。
[0047]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0048]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：
[0049]图1是根据本专利技术的一个实施方式的基于双流CNN的行为识别与动作检测识别方法的流程图；
[0050]图2是根据本专利技术的一个实施方式的获取该光流信息和图像信息的方法的流程
图；
[0051]图3是根据本专利技术的一个实施方式的第一CNN模型的结构框图；
[0052]图4是根据本专利技术的一个实施方式的第二CNN模型的结构框图；
[0053]图5是根据本专利技术的一个实施方式的敏感区域筛选单元得到候选区域的方法的流程图。
具体实施方式
[0054]以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。
[0055]如图1所示是根据本专利技术的一个实施方式的基于双流CNN的行为识别与动作检测识别方法的流程图。在该图1中，该识别方法可以包括：
[0056]在步骤S10中，获取现场摄像设备的光流信息和图像信息。其中，为了提高由于摄像头本身在现场存在对焦的误差，会导致视频数据中存在多帧图像不清晰，因此，获取该光流信息和图像信息的方法可以进一步包括如图2中所示出的步骤。在该图2中，该步骤S10可以包括：
[0057]在步骤S20中，截取摄像设备的视频数据；
[0058]在步骤S21中，在视频数据中截取清晰度大于预设阈值的图片；
[0059]在步骤S22中，获取截取的图片的光流信息和图像信息。
[0060]在步骤S11中，依据光流信息和图像信息分别采用卷积神经网络进行计算，以得到现场动作的识别概率。其中，对于该卷积神经网络的具体结构，虽然可以是本领域人员所知的多种形式。但是在本专利技术的一个示例中，该卷积神经网络可以包括用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流CNN的行为识别与动作检测识别方法，其特征在于，所述识别方法包括：获取现场摄像设备的光流信息和图像信息；依据所述光流信息和图像信息分别采用卷积神经网络进行计算，以得到现场动作的识别概率；选择识别概率平均值最大的所述现场动作作为识别结果。2.根据权利要求1所述的识别方法，其特征在于，获取现场摄像设备的光流信息和图像信息包括：截取所述摄像设备的视频数据；在所述视频数据中截取清晰度大于预设阈值的图片；获取截取的所述图片的光流信息和图像信息。3.根据权利要求1所述的识别方法，其特征在于，所述卷积神经网络包括：第一CNN模型，用于根据所述光流信息计算现场动作的识别概率；第二CNN模型，用于根据所述图像信息计算现场动作的识别概率。4.根据权利要求3所述的识别方法，其特征在于，所述第一CNN模型包括：第一卷积层，用于输入所述光流信息；第一池化层，所述第一池化层的一端与所述第一卷积层的一端连接；第二卷积层，所述第二卷积层的一端与所述第一池化层的另一端连接；第二池化层，所述第二池化层的一端与所述第二卷积层的另一端连接；第三卷积层，所述第三卷积层的一端与所述第二池化层的另一端连接；第四卷积层，所述第四卷积层的一端与所述第三卷积层的另一端连接；第三池化层，所述第三池化层的一端与所述第四卷积层的另一端连接；全连接层，所述全连接层的一端与所述第三池化层的另一端连接，所述全连接层的另一端用于输出现场动作的概率。5.根据权利要求3所述的识别方法，其特征在于，所述第二CNN模型包括：敏感区域筛选单元，用于对输入的图像信息进行敏感区域判定，以得到待识别的敏感区域；预处理单元，用于根据所述敏...

【专利技术属性】
技术研发人员：汪运，马欢，刘文涛，朱仲贤，刘鑫，杜鹏，郭振宇，蒲道杰，蔡科伟，黄道钧，张学友，郭龙刚，杜瑶，常文婧，徐蒙福，吴翔，朱元付，汪伟伟，翁凌，杨乃旗，邵华，沈国堂，魏南，施雯，臧春华，陈迎，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：