一种基于计算机视觉的快递暴力分拣识别方法技术

本发明专利技术公开了一种基于计算机视觉的快递暴力分拣识别方法，该方法包括以下步骤：基于深度摄像机的姿态估计：把人体姿势估计问题转换为对深度摄像机捕获到的深度图像像素进行分类的问题，通过使用随机森林的方法得到人体姿态估计；人体三维姿态相对时空特征提取：提取三维姿态中关节形成的点、线、面几何元素之间的相对空间位置及其变化的度量作为姿态的特征表示；基于递归神经网络的暴力分拣识别：通过长短时记忆型模型LSTM对时间上连续的从人体三维姿态中提取的姿态时空相对特征进行建模训练，从而实现对快递暴力分拣行为的识别。

【技术实现步骤摘要】
一种基于计算机视觉的快递暴力分拣识别方法
本专利技术属于计算机视觉以及模式识别
，涉及一种基于计算机视觉的快递暴力分拣识别方法。
技术介绍
随着电子商务、网络购物等新型服务业对快递服务的需求不断增加，我国快递行业呈现出高速发展的态势，快递已经成为联系亿万商家和广大人民群众的民生服务，在推动流通方式转型、促进消费升级中发挥着越来越重要的作用。与前几年相比，我国快递行业的服务质量以及分拣效率在不断提高，但“暴力分拣”等行业顽疾依然层出不穷。打开必应或者百度搜索，与暴力分拣相关的网页达到了数十万条，扔摔踩抛踢等“暴力分拣”乱象不仅损害了消费者和电商的利益，而且也有损快递企业自身的竞争力以及快递业声誉。视觉摄像机具有覆盖范围大、信息丰富、对环境和用户透明、非侵入的优点，随着硬件水平的不断提高，其成本也在逐步降低。在安全监控、智能交通以及环境检测等领域，摄像机及其网络得到了越来越广泛的应用。为规范分拣操作过程，目前绝大部分的快递企业在分拣场所都安装了摄像机系统，并主要依靠人工对视频图像进行辨别和监视以检测是否存在着暴力分拣等行为。然而，单纯依靠人对大量的视频数据进行分析不仅需要大量的人力物力，而且人工很难长时间对大量的视频图像进行实时监控，从而造成报警准确度低、漏报率和误报率高、报警周期长、视频数据难分析等弊端。为了克服人工辨别与检测的弊端，实现对快递暴力分拣行为的自动、智能识别，尚淑玲在文献《尚淑玲，基于计算机视觉的物流暴力分拣行为识别[J]，计算机仿真，2013，30(12):430-433.》中提出了一种基于计算机视觉的方法，该方法利用小波包分析方法，对采集的物流分拣图像行为特征进行提取，从而为物流暴力分拣识别提供相似性判断基础，当待分类图片和暴力分拣图片特征的欧式距离小于指定的阈值时，则判断该图片中存在暴力分拣行为。然而，该方法仅仅对单张图片进行判断，提取的特征也没有利用到连续的视频帧，而暴力分拣动作是由连续的帧构成的一段运动，因此该方法存在着明显的局限性。快递暴力分拣动作是人体运动的一种特殊形式，基于计算机视觉的快递暴力分拣识别属于机器视觉人体运动分析领域，包含人体检测、目标分类和跟踪、动作识别和高层行为理解等内容。事实上，基于计算机的人体运动分析一直是计算机视觉领域中最活跃的研究主题之一，基于视觉的快递暴力分拣识别的核心问题是如何利用计算机视觉技术对操作人员的分拣图像序列进行分析，识别出人的动作，通过连续的跟踪并结合上下文环境对其分拣行为的规范性进行推理和描述。根据文献《MoeslundTB,HiltonA,KrügerV.Asurveyofadvancesinvision-basedhumanmotioncaptureandanalysis[J].Computervisionandimageunderstanding,2006,104(2):90-126.》，人体动作行为识别可以从总体上分为特征提取和分类识别两个过程。特征提取是在视频数据中提取能够表征视频内容关键信息的特征，在提取了区分性特征后，则可以采用SVM、随机森林等分类学习算法建立识别模型，并对新数据中的人体行为类别进行标记。传统特征提取方法一般是通过人工设计出能够表征动作内容的区分性特征及其提取方法，其受限于人工提取特征表达能力不足以及浅层学习算法泛化能力不足。深度网络可以无监督地从低层次的特征中学习出特征之间的层次关系，从而得到高层次的特征，这种学习方式符合人类感知世界的机理。由于深度学习能够有效解决传统浅层结构机器学习存在的数据表示缺乏判别能力和有效语义等问题，因此，已经成为当前的研究热点。目前，研究者已经提出了一些基于深度学习的人体行为识别方法，根据所采用的深度学习技术的不同，可以分为基于卷积神经网络CNN的人体行为识别、基于自动编码器(AutoEncoder)的人体行为识别、基于深度置信网(DBF)的人体行为识别以及基于递归神经网络(RNN)的人体行为识别。尽管基于深度学习的人体行为识别已经取得了一定的进展，然而，基于二维视频的人体行为识别依然面临着诸多的挑战，包括类间和类内数据的差异以及场景变化等，这主要是由于人本身是一个复杂的非刚性物体，人体动作识别受到人体外表、姿势、动作、衣着的个体差异、视角变化和摄像机运动、光照变化、遮挡和复杂背景的影响，而二维视频得到的只是三维空间的一个投影，这给底层的动作识别造成很大的困难，很难满足实际复杂场景中快递暴力分拣识别的需要。综上所述，已有的基于计算机视觉的人体行为识别方法很难满足快递暴力分拣识别的需要。
技术实现思路
本专利技术目的在于针对上述现有技术的不足，提出了一种基于深度摄像机和递归神经网络的快递暴力分拣识别方法，该方法通过深度摄像机直接估计分拣操作人员的人体三维姿态，然后进一步提取人体三维姿态的相对时空特征，最后通过递归神经网络对提取的相对时空特征进行学习并得到暴力分拣行为识别分类模型。基于该分类模型，可以有效实现对固定分拣场所内快递暴力分拣行为进行自动、实时、准确地识别。本专利技术为解决上述技术问题所采取的技术方案是一种基于计算机视觉的快递暴力分拣识别方法，包括如下步骤：步骤1：基于深度摄像机的姿态估计：采用深度摄像机直接估计快递操作人员的人体三维姿态，并把人体姿势估计问题转换为对深度摄像机捕获到的深度图像像素进行分类的问题，通过使用随机森林的方法得到人体姿态估计；步骤2：人体三维姿态相对时空特征的提取：三维姿态中关节形成的点、线、面几何元素集合是不同动作模式对应的局部区域的最小构成单元，提取三维姿态中关节形成的点、线、面几何元素之间的相对空间位置及其变化的度量作为姿态的特征表示，通过不同局部区域包含的不同类型特征的权重组合，来表达广泛的姿态模式；步骤3：基于递归神经网络的暴力分拣识别：随着时间连续变化的姿态形成运动，分拣操作行为具有时间特性，通过LSTM型递归神经网络，对从时间连续的人体三维姿态中提取的相对时空特征进行建模训练，从而实现对快递暴力分拣行为的识别。进一步，上述步骤1的基于深度摄像机的姿态估计具体包括以下步骤：1)训练数据生成：使用运动捕捉技术采集高精度快递操作动作数据，将其加入到运动捕获数据库，然后对人体三维姿态集采用最大距离聚类分析方法，以剔除相似的冗余数据，最后，使用标准计算机图形学技术人工合成训练用的深度图像；2)人体部位标签定义：定义若干个人体部位标签，使它们可以稠密地覆盖整个身体，把深度图像与人体部位标签图绑定为一个数据对作为训练数据；3)深度图像特征提取：对于每个深度图像中的像素点，提取具有平移不变性的深度比较特征；4)随机决策森林构建：采用最大信息增益构建决策树，每棵决策树都在一个不同的随机合成图像集上训练，随机决策森林是由若干棵决策树所组成，每棵决策树都有若干个分支节点和叶子节点，每个分支节点都由一个特征和一个阈值组成；5)图像像素分类：对图像中的每个像素进行分类，从决策树根节点开始，根据特征值与阈值的比较结果往左或者往右分支，最终到达的决策树的叶子节点决定了该节点所属于的身体部位标签，对每个训练集上生成的决策树求平均值作为每个像素最终的所属身体部位标签；6)人体骨骼节点位置估计：根据每个像素所属于的身体部位标签的位置，使用均值漂移方法估计身本文档来自技高网...

【技术保护点】
一种基于计算机视觉的快递暴力分拣识别方法，其特征在于，所述方法包括如下步骤：步骤1：基于深度摄像机的姿态估计：采用深度摄像机直接估计快递操作人员的人体三维姿态，并把人体姿势估计问题转换为对深度摄像机捕获到的深度图像像素进行分类的问题，通过使用随机森林的方法得到人体姿态估计；步骤2：人体三维姿态相对时空特征的提取：三维姿态中关节形成的点、线、面几何元素集合是不同动作模式对应的局部区域的最小构成单元，提取三维姿态中关节形成的点、线、面几何元素之间的相对空间位置及其变化的度量作为姿态的特征表示，通过不同局部区域包含的不同类型特征的权重组合，来表达广泛的姿态模式；步骤3：基于递归神经网络的暴力分拣识别：随着时间连续变化的姿态形成运动，分拣操作行为具有时间特性，通过LSTM型递归神经网络，对从时间连续的人体三维姿态中提取的相对时空特征进行建模训练，从而实现对快递暴力分拣行为的识别。

【技术特征摘要】
1.一种基于计算机视觉的快递暴力分拣识别方法，其特征在于，所述方法包括如下步骤：步骤1：基于深度摄像机的姿态估计：采用深度摄像机直接估计快递操作人员的人体三维姿态，并把人体姿势估计问题转换为对深度摄像机捕获到的深度图像像素进行分类的问题，通过使用随机森林的方法得到人体姿态估计；步骤2：人体三维姿态相对时空特征的提取：三维姿态中关节形成的点、线、面几何元素集合是不同动作模式对应的局部区域的最小构成单元，提取三维姿态中关节形成的点、线、面几何元素之间的相对空间位置及其变化的度量作为姿态的特征表示，通过不同局部区域包含的不同类型特征的权重组合，来表达广泛的姿态模式；步骤3：基于递归神经网络的暴力分拣识别：随着时间连续变化的姿态形成运动，分拣操作行为具有时间特性，通过LSTM型递归神经网络，对从时间连续的人体三维姿态中提取的相对时空特征进行建模训练，从而实现对快递暴力分拣行为的识别。2.根据权利要求1所述的一种基于计算机视觉的快递暴力分拣识别方法，其特征在于，所述步骤1的基于深度摄像机的姿态估计具体包括以下步骤：1)训练数据生成：使用运动捕捉技术采集高精度快递操作动作数据，将其加入到运动捕获数据库，然后对人体三维姿态集采用最大距离聚类分析方法，以剔除相似的冗余数据，最后，使用标准计算机图形学技术人工合成训练用的深度图像；2)人体部位标签定义：定义若干个人体部位标签，使它们可以稠密地覆盖整个身体，把深度图像与人体部位标签图绑定为一个数据对作为训练数据；3)深度图像特征提取：对于每个深度图像中的像素点，提取具有平移不变性的深度比较特征；4)随机决策森林构建：采用最大信息增益构建决策树，每棵决策树都在一个不同的随机合成图像集上训练，随机决策森林是由若干棵决策树所组成，每棵决策树都有若干个分支节点和叶子节点，每个分支节点都由一个特征和一个阈值组成；5)图像像素分类：对图像中的每个像素进行分类，从决策树根节点开始，根据特征值与阈值的比较结果往左或者往右分支，最终到达的决策树的叶子节点决定了该节点所属于的身体部位标签，对每个训练集上生成的决策树求平均值作为每个像素最终的所属身体部位标签；6)人体骨骼节点位置估计：根据每个像素所属于的身体部位标签的位置，使用均值漂移方法估计身体部位的密度，取最大密度的中心作为人体骨骼关节位置。3.根据权利要求1所述的一种基于计算机视觉的快递暴力分拣识别方法，其特征在于，所述步骤2的人体三维姿态相对时空特征的提取具体包括以下步骤：1)定义三维人体关节模型，选择其中最重要的若干个关节作为三维姿态表示；2...

【专利技术属性】
技术研发人员：陈松乐，孙知信，胡冰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32