暴力分拣行为识别方法和装置制造方法及图纸

本申请公开了一种暴力分拣行为识别方法和装置。该方法包括：获取待预测视频；对待预测视频进行灰度化；将灰度化后的待预测视频输入预定的三维卷积神经网络模型进行暴力分拣行为的识别，其中预定的三维卷积神经网络模型具有行为特征提取能力。本申请通过利用存在行为特征提取能力的模型构建三维卷积神经网络模型，利用灰度视频进行学习和暴力分拣行为识别。从而缩短了暴力分拣行为识别的周期，提高了判断的准确性。

Method and device of violence sorting behavior identification

【技术实现步骤摘要】
暴力分拣行为识别方法和装置
本专利技术涉及计算机视觉视频处理
，尤其涉及基于深度学习和知识迁移的暴力分拣行为识别的方法和装置。
技术介绍
近年来，随物流行业的发展，为了追求时效性，会出现暴力分拣的行为，例如还会出现扔或者踢包裹的现象，这些行为对包裹造成了损害，同时也使的各类投诉呈现激增的趋势。快递行业从业人员服务水平质量低以及对基层网点管理的不规范性导致暴力分拣的行为的存在，暴力分拣行为经常发现在正常的分拣行为之中，持续时间通常在一秒之内，所以基于视频的暴力分拣行为智能检测尤为重要。现今，深度学习被广泛的应用在图片分析和视频理解领域，但是目前深度学习都需要大量的训练数据，数据标注需要耗费时间和人力，除此之外。视频本身是由连续的多帧图片组成，对于神经网络的计算而言是比较耗时的，而且当视频帧率较低时，分拣行为的差异性会变小，容易造成结果的误判。因此，快速有效的识别暴力分拣行为是亟待解决的问题。
技术实现思路
针对现有技术存在的不足之处，本申请提出了一种暴力分拣行为识别方法，其有效地解决了现有技术中存在的耗时识别率不高的问题，提高了识别效率和准确率。第一方面，本申请实施例提供一种暴力分拣行为识别方法，该方法包括：获取待预测视频；对所述待预测视频进行灰度化；将所述灰度化后的待预测视频输入预定的三维卷积神经网络模型进行暴力分拣行为的识别，其中所述预定的三维卷积神经网络模型具有行为特征提取能力。其中，预定的三维卷积神经网络模型是通过以下步骤建立的：获取存在行为识别能力的第一模型和未输入任何参数的第二模型；将所述第一模型进行灰度化；提取所述灰度化后的第一模型的特征层参数；将所述特征层参数传输到所述第二模型中，生成存在行为特征提取能力的初始三维卷积神经网络模型；将多个已经灰度化并经过标注后的样本视频输入所述初始三维卷积神经网络模型进行训练，以形成所述预定的三维卷积神经网络模型。第二方面，本申请实施例还提供一种暴力分拣行为识别装置，包括：采集模块，用于获取待预测视频；处理模块，用于对所述待预测视频进行灰度化；识别模块，用于将所述灰度化后的待预测视频输入预定的三维卷积神经网络模型进行暴力分拣行为的识别，其中所述预定的三维卷积神经网络模型具有行为特征提取能力。其中识别模型中的预定的三维卷积神经网络模型包括:获取子模块，用于获取存在行为识别能力的第一模型和未输入任何参数的第二模型；处理子模块，用于将所述第一模型进行灰度化；参数提取子模块，用于提取所述灰度化后第一模型的特征层参数；传输子模块，用于将所述特征层参数传输到所述第二模型中，生成存在行为特征提取能力的初始三维卷积神经网络模型；模型生成子模块，用于将多个已经灰度化并经过标注后的样本视频输入所述初始三维卷积神经网络模型进行训练，以形成所述预定的三维卷积神经网络模型。与现有技术相比，本申请技术方案旨在解决暴力分拣行为识别速率慢，识别的准确率低的问题。现有的基于深度学习的方法利用二维卷积神经网络对视频中的每一图像帧提取图像级的特征，然后按照视频中图像帧的顺序组合(相加、串联或者LSTM)起来形成视频的特征，这样造成了很多低层时序特征的丢失，尽管有方法利用光流来增加行为识别的准确率，但是提前计算光流增加了时间复杂度，并且不能对视频进行端对端地学习，导致这样的方法只能学习到次优的结果。通过利用存在行为特征提取能力的模型构建三维卷积神经网络模型，利用灰度视频进行学习和暴力分拣行为识别。因为灰度视频比彩色视频少了两个通道，从而减少了计算量，并缩短了暴力分拣行为识别的周期，用具有一定行为特征提取能力的预训练模型，让模型能更容易学习暴力行为特征，提高了判断的准确性。进一步地，采用深度学习提高模型的学习能力和泛化能力，利用三维模型更好学习到时间特征，避免手工提取时间特征。进一步地，运用了知识迁移的方法，利用少量的分拣视频就可以将其迁移到暴力分拣行为识别任务上，缩短了训练的周期。进一步地，利用灰度视频作为模型训练的数据集，解决了彩色视频计算速度慢的问题。进一步地，通过下采样和插帧的方法进行视频的帧率处理，提高了视频识别的准确性。附图说明为了更清楚地说明本申请实施例的技术方案，下面对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，附图仅用于示出优选实施方法的目的，而并不认为是对本专利技术的限制。另外还需要说明的是，为了便于描述，附图中仅示出了本专利技术相关的部分而非全部。图1是本申请实施例一种暴力分拣行为识别方法的方法流程示意图；图2是本申请实施例预定的三维卷积神经网络模型建立的方法流程示意图；图3是本申请实施例将所述灰度化后的待预测视频输入预定的三维卷积神经网络模型进行暴力分拣行为的识别的方法流程示意图；图4是本申请实施例一种暴力分拣行为识别装置结构示意图；图5是本申请实施例预定的三维卷积神经网络模型建立的结构示意图；图6是本申请实施例一种暴力分拣行为识别装置中识别模块的结构示意图。图7是本申请实施例的服务器的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。第一方面，本申请实施例提供一种暴力分拣行为识别方法的示例性流程图。如图1所示，该方法包括：步骤110，获取待预测视频；具体的，可以将分拣监控视频按照时间切割成一秒一秒的片段，然后将这些视频片段中包含的分拣行为剪切出来，形成一个个仅包含单个分拣行为的一秒的视频片段，降低计算量，提高运行速度，并统一视频的帧数为16帧。进一步地，当视频片段的帧数大于16的下采样成16帧，可以将小于16帧的利用插帧算法补充成为16帧，插帧可以利用论文“VideoFrameInterpolationviaAdaptiveConvolution”(基于自适应可分离卷积的视频插帧)国际会议ICCV2017的论文中，作者为SimonNiklaus,LongMai,andFengLiu.VideoFrameInterpolationviaAdaptiveSeparableConvolution.IEEEICCV2017中提出的算法。插帧方法为：假设现在有8帧图片，I1，I2，......，I7，I8，常规的插帧为直接复制直接复制成，I1，I1，I2，I2，......，I7，I7，I8，I8，除此之外，还有一种插帧的方法为利用相邻两帧预测中间帧，因为中间帧的某一点的像素和前后两帧相应点周围的像素是强相关的，这里采用自适应可分离本文档来自技高网...

【技术保护点】
1.一种暴力分拣行为识别方法，其特征在于，包括：/n获取待预测视频；/n对所述待预测视频进行灰度化；/n将所述灰度化后的待预测视频输入预定的三维卷积神经网络模型进行暴力分拣行为的识别，其中所述预定的三维卷积神经网络模型具有行为特征提取能力。/n

【技术特征摘要】
1.一种暴力分拣行为识别方法，其特征在于，包括：
获取待预测视频；
对所述待预测视频进行灰度化；
将所述灰度化后的待预测视频输入预定的三维卷积神经网络模型进行暴力分拣行为的识别，其中所述预定的三维卷积神经网络模型具有行为特征提取能力。


2.根据权利要求1所述的暴力分拣行为识别方法，其特征在于，所述预定的三维卷积神经网络模型是通过以下步骤建立的：
获取存在行为识别能力的第一模型和未输入任何参数的第二模型；
将所述第一模型进行灰度化；
提取所述灰度化后的第一模型的特征层参数；
将所述特征层参数传输到所述第二模型中，生成存在行为特征提取能力的初始三维卷积神经网络模型；
将多个已经灰度化并经过标注后的样本视频输入所述初始三维卷积神经网络模型进行训练，以形成所述预定的三维卷积神经网络模型。


3.根据权利要求2所述的暴力分拣行为识别方法，其特征在于，还包括利用下采样法或插帧法对所述已经灰度化并经过标注后的样本视频进行帧率处理。


4.根据权利要求2所述的暴力分拣行为识别方法，其特征在于，将多个已经灰度化并经过标注后的样本视频输入所述初始三维卷积神经网络模型进行训练包括：
采取小批量随机梯度下降法，拟合所述样本视频以判断样本视频的分类。


5.根据权利要求1所述的暴力分拣行为识别方法，其特征在于，所述将所述灰度化后的待预测视频输入预定的三维卷积神经网络模型进行暴力分拣行为的识别，包括：
将所述灰度化后的待预测视频经过多个卷积层以提取其中的行为特征，输出张量；
对所述灰度视频的行为特征进行处理，将所述张量输入全局均值池化层后，输出向量；
将所述向量经过全连接层，进行行为特征分类，输出暴力分拣行为的概率，如果概率大于或等于预定...

【专利技术属性】
技术研发人员：虢齐，张玉双，袁益琴，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东;44