一种图像行为识别方法、设备及计算机可读存储介质技术

本发明专利技术公开了一种图像行为识别方法、设备及计算机可读存储介质。该方法包括：对待识别图像中的目标所在区域进行子部件的划分，确定每个子部件所在的区域；从每个子部件所在的区域中提取每个子部件的特征，根据每个子部件的特征确定目标所属的行为类别。本发明专利技术通过局部区域全卷积网络LRFCN模型进行图像识别，只增加极少计算开销的情况下，可以有效提高识别的精确度。

An Image Behavior Recognition Method, Equipment and Computer Readable Storage Media

The invention discloses an image behavior recognition method, a device and a computer readable storage medium. The method includes: dividing the target area in the recognition image into sub-components to determine the region where each sub-component is located; extracting the features of each sub-component from the region where each sub-component is located, and determining the behavior category of the target according to the characteristics of each sub-component. The method can effectively improve the accuracy of image recognition by using LRFCN model of local area full convolution network with little computational overhead.

【技术实现步骤摘要】
一种图像行为识别方法、设备及计算机可读存储介质
本专利技术涉及图像处理
，特别是涉及一种图像行为识别、设备及计算机可读存储介质。
技术介绍
近年来，随着监控电子设备在各个领域的不断普及，更加高效的从监控视频中监测有价值信息的需求日益凸显。传统的监测方法是采用人工进行监测，但人工监测视频的方法效率低、准确度难以保证，所以迫切需要一种能够智能判别视频中的行为的方法，并能够对视频中的感兴趣行为进行检测。
技术实现思路
本专利技术提供一种图像行为识别方法、设备及计算机可读存储介质，用以在电池容量不变情况下，终端实现功耗控制的问题。为实现上述专利技术目的，本专利技术采用下述的技术方案：依据本专利技术的一个方面，提供一种图像行为识别方法，所述方法包括：对待识别图像中的目标所在区域进行子部件的划分，确定每个子部件所在的区域；从所述每个子部件所在的区域中提取每个子部件的特征，根据每个子部件的特征确定所述目标所属的行为类别。可选地，所述对待识别图像中的目标所在区域进行子部件的划分，确定每个子部件所在的区域，包括：根据预设的子部件平均比例值对所述目标所在区域进行子部件的划分；利用区域分割算法对划分的每个子部件区域进行前景背景分割，得到子部件的前景分割结果。可选地，在根据预设的子部件平均比例值对所述目标所在区域进行子部件的划分之前，还包括：对样本数据集中的包含目标的图像进行子部件的标注；根据标注的子部件的区域，确定子部件所占图像的比例值；统计所述样本数据集中相同子部件所在图像的比例值的和值，根据所述和值确定所述所述子部件平均比例值，其中，所述子部件平均比例值为不同子部件的和值的比值。可选地，所述区域分割算法包括以下至少一种：GrabCut算法、GraphCut算法以及RandomWalker算法。可选地，所述从所述每个子部件所在的区域中提取每个子部件的特征，根据每个子部件的特征确定所述目标所属的行为类别，包括：对所述子部件所在的区域和所述目标所在区域分别进行特征提取；将子部件提取的特征与所述目标所在区域提取的特征进行级联，级联后的特征作为所述目标特征；根据所述目标特征从预设分类模型中确定所述目标所属的行为类别。可选地，所述根据所述目标特征从预设分类模型中确定所述目标所属的行为类别，包括：根据所述目标特征从预设分类模型确定所属每种行为类别的概率；选取所述概率最大的行为类别作为所述目标所属的行为类别。可选地，在根据所述目标特征从预设分类模型中确定所述目标所属的行为类别之前，还包括：获取预训练分类模型；建立包含多类行为的样本数据集，并对所述样本数据集目标所在区域、行为类别以及子部件的所在区域进行标注；基于标注的样本数据集对所述预训练分类模型进行训练，得到所述预设分类模型。可选地，所述得到所述预设的分类模型之后，所述方法还包括：对所述样本数据集中的图像进行裁剪，以对所述样本数据集进行扩充；根据扩充后的样本数据集对能量损失函数进行优化，得到优化后的预设分类模型。依据本专利技术的一个方面，提供一种图像行为识别设备，包括：存储器和处理器；其中，所述存储器中存储计算机指令，当所述计算机指令被所述处理器执行时，以实现上述的图像行为识别方法中的全部步骤和部分步骤。依据本专利技术的一个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，当所述一个或者多个程序被所述处理器执行时，以实现上述的图像行为识别方法中的全部步骤和部分步骤。本专利技术有益效果如下：本专利技术实施例所提供的图像行为识别方法、设备及计算机可读存储介质，采用局部区域全卷积网络对池化过程进行了改进，通过将识别的目标所在区域进行子部件的划分，根据子部件得到的特征来确定最终的行为类别。因此，本专利技术通过对局部特征提取，只增加极少计算开销的情况下，可以有效提高识别的精确度。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明为了更清楚地说明本专利技术实施例或现有中的方案，下面将对实施例或现有描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中所提供的图像行为识别方法的流程图；图2为本专利技术实施例中所提供的图像行为识别方法的网络结构图；图3为本专利技术实施例中特征级联的示意图；图4为本专利技术实施例中所提供的图像行为识别设备的原理框图。具体实施方式以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不限定本专利技术。在计算机视觉领域，有诸多方法可以用于行为识别，但是，在许多情况下，背景建模、前景目标检测和跟踪的实时性和精度难以达到要求。而深度学习作为机器学习的一个新分支，在实时性和精确性上有了良好的改善。在目标检测领域，有一些典型的深度学习模型方案，主要分为两类，一类是基于回归的方法如YOLO(YouOnlyLookOnce)、SSD(SingleShotMultiboxDetector)等，这类方法效率相对较高但精度有限，一类是基于候选区的方法，如fasterRCNN(region-basedconvolutionalneuralnetworks)、RFCN(Region-basedFullyConvolutionalNetworks)等，这类方法精度更高但效率有所降低。考虑到行为识别问题和目标检测问题具有一定的相似性，但难度更大，因此，本专利技术选择在目前识别精度最高的RFCN的基础上进行改进，提出了一种基于局部区域全卷积网络(LocalRegion-basedFullyConvolutionalNetworks，简称LRFCN)的行为识别方法，用于视频的行为识别。方法实施例本专利技术实施例所提供的图像行为识别方法，如图1和图2所示，具体包括如下步骤：步骤101，对待识别图像中的目标所在区域进行子部件的划分，确定每个子部件所在的区域。步骤102，从每个子部件所在的区域中提取每个子部件的特征，根据每个子部件的特征确定目标所属的行为类别。本专利技术实施例将目标所在区域进行子部件的划分，并根据子部件提取的特征来确定目标所属最终的行为类别，基于此，本专利技术通过采用局部特征进行识别，只增加极少计算开销的情况下，可以有效提高识别的精确度。其中，本专利技术一可选实施例中，在对待识别图像的目标所在区域(也称为感兴趣区域RoI)进行识别时，可以采用区域推荐网络RPN进行感兴趣区域RoI的识别。对于“区域推荐网络RPN”已属于本领域人员所熟知的技术，这里不再进行说明。当然也可以采用其他识别技术进行感兴趣区域的识别，这里不做过多的限定。其中，在待识别图像的目标所在区域进行识别之前，对待识别图像进行归一化处理，以使图像经过归一化处理后能够得到统一形式的标准图像。其中，本专利技术一可选实施例中，对待识别图像中的目标所在区域进行子部件的划分时，包括根据预设的子部件平均比例值对目标所在区域进行子部件的划分；利用区域分割算法对划分的每个子部件区域进行前景背景分割，得到子部件的前景分割结果。这里通过子部件平均比本文档来自技高网...

【技术保护点】
1.一种图像行为识别方法，其特征在于，包括：对待识别图像中的目标所在区域进行子部件的划分，确定每个子部件所在的区域；从所述每个子部件所在的区域中提取每个子部件的特征，根据每个子部件的特征确定所述目标所属的行为类别。

【技术特征摘要】
1.一种图像行为识别方法，其特征在于，包括：对待识别图像中的目标所在区域进行子部件的划分，确定每个子部件所在的区域；从所述每个子部件所在的区域中提取每个子部件的特征，根据每个子部件的特征确定所述目标所属的行为类别。2.根据权利要求1所述的图像行为识别方法，其特征在于，所述对待识别图像中的目标所在区域进行子部件的划分，确定每个子部件所在的区域，包括：根据预设的子部件平均比例值对所述目标所在区域进行子部件的划分；利用区域分割算法对划分的每个子部件区域进行前景背景分割，得到子部件的前景分割结果。3.根据权利要求2所述的图像行为识别方法，其特征在于，在根据预设的子部件平均比例值对所述目标所在区域进行子部件的划分之前，还包括：对样本数据集中的包含目标的图像进行子部件的标注；根据标注的子部件的区域，确定子部件所占图像的比例值；统计所述样本数据集中相同子部件所在图像的比例值的和值，根据所述和值确定所述所述子部件平均比例值，其中，所述子部件平均比例值为不同子部件的和值的比值。4.根据权利要求2所述的图像行为识别方法，其特征在于，所述区域分割算法包括以下至少一种：GrabCut算法、GraphCut算法以及RandomWalker算法。5.根据权利要求1所述的图像行为识别方法，其特征在于，所述从所述每个子部件所在的区域中提取每个子部件的特征，根据每个子部件的特征确定所述目标所属的行为类别，包括：对所述子部件所在的区域和所述目标所在区域分别进行特征提取；将子部件提取的特征与所述目标所...

【专利技术属性】
技术研发人员：王勃飞，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44