潜在信息融合的家庭安防系统中的人体行为识别的方法技术方案

一种潜在信息融合的家庭安防系统中的人体行为识别的方法，以跟踪得到的人体运动时序序列作为研究对象，将姿态特征与行为之间、交互物体特征与行为之间、行为与行为之间的相关性作为潜在信息，通过在姿态时空特征的提取以及交互物体的特征提取中引入约束条件充分挖掘潜在信息对家庭安防系统中的人体行为识别的影响，从而增大行为类间差异，同时减小行为类内差异，提高人体行为识别方法的准确性和泛化性。将每个关节点关于行为类别的互信息作为约束条件，对得到的所有互信息进行排序，保留能表示特定行为的互信息最大的关节点组，使用筛选后的关节点组和交互物体特征融合进行行为识别，提高识别的实时性和准确性。

Method of human behavior recognition in family security system with potential information fusion

【技术实现步骤摘要】
潜在信息融合的家庭安防系统中的人体行为识别的方法
本专利技术涉及计算机视觉
，特别涉及潜在信息融合的家庭安防系统中的人体行为识别的方法。
技术介绍
目前，很多人开始在家中安装视频监控系统，保障自己的财产和生命安全。但是这些监控系统是安装在家庭内部的，不能防患于未然，并且传统的数字监控系统主要依赖于监控人员对监视画面的监视和分析，不仅效率低下，而且实时性和有效性也都无法满足越来越高的安全性需求。
技术实现思路
为了克服上述现有技术的不足，本专利技术的目的在于提供潜在信息融合的家庭安防系统中的人体行为识别的方法，通过计算机代替家人对于监控画面中的人体行为进行自动分析，当发现异常现象时，可以立即提示家人注意家门口的情况，不但可以进行24×7全天候可靠监控，而且实时性和有效性均得到大幅度提升。为了实现上述目的，本专利技术采用的技术方案是：提供潜在信息融合的家庭安防系统中的人体行为识别的方法，包括以下步骤；步骤一，使用摄像头采集图像；步骤二，使用基于背景差分法的光照自适应方法对采集的图像进行人体目标检测，然后使用Staple方法对检测到的人体目标进行跟踪，获得人体运动时序序列；步骤三，对检测到的人脸进行识别，判断其是否为家人，若是家人，对步骤二中得到的运动时序序列不进行任何操作，反之，进行人体行为识别；步骤四，对步骤二中得到的运动时序序列提取人体的姿态时空特征；步骤五，采用线索增强的深度卷积神经网络完成交互物体特征的提取；步骤六，融合步骤四和步骤五中提取到的全局的姿态时空特征和局部的交互物体特征；步骤七，将融合后的特征向量输入到SVM分类器中进行行为识别。所述的步骤二中，对进入到检测范围内的人体使用基于背景差分法的光照自适应方法检测，使用Vibe算法进行背景建模，记录前一帧检测到的人体目标的像素点数，用Y表示，当前帧检测到的前景目标的像素点数，用L表示，由于在光照突变的一瞬间，会出现大面积白色，系统会将背景误检为前景，此时L>Y。因此在前景检测的时候设定一个阈值(前一帧中检测到人体目标范围的像素点数)判断前景的检测范围，若范围超过该阈值，则说明发生了光照突变，反之，则没有发生光照突变，若发生光照突变，则利用像素点在相邻两帧图像的亮度变化值对背景模型进行光照补偿，补偿公式如下：Δt(x,y)＝|Vt(x,y)-Vt-1(x,y)|其中：Vt表示图像It(x,y)的全局平均亮度值，式中n为图像中的总的像素点数，n＝1280×480＝614400个像素点，It(x,y)max(R,G,B)和It(x,y)min(R,G,B)分别表示像素点(x,y)处R，G，B分量中的最大值与最小值；检测到人体目标后使用Staple方法对检测到的人体目标进行跟踪，在跟踪的过程中使用平移滤波器和颜色滤波器找到目标的位置，然后利用尺度滤波器得到目标的大小，最终获得人体运动时序序列。所述的步骤四中，对得到的人体运动时序序列提取姿态时空特征，具体过程包括：1)计算每个关节点的互信息，通过互信息判断每个关节点对某个特定行为的响应程度，最终保留能表示特定行为的互信息最大的关节点组，计算每个关节点的互信息的公式如下：I(fj,Y)＝H(fj)-H(fj|Y)其中H(fj)表示第j个关节点的信息熵，j＝1，2，...，20，表示第j个关节点随时间变化的动态过程，N表示人体运动时序序列的帧数，Y为人体行为的类别，在家庭安防场景下，主要识别送水、送快递、送外卖、朋友、保洁人员、其他人等，因此Y＝1，2，3，4，5，6，其中熵的计算公式如下：其中p(fj)是概率密度函数，i表示时序序列的帧数i＝1,2...,N；2)对上述经过筛选后的关节点提取姿态时空特征，其中空间维度上的特征为：其中K表示人体姿态的关节点，K＝1，2，...，20，N表示人体运动时序序列的帧数，选取人体髋关节点作为人体质心，T表示关节坐标轨迹特征矩阵，θ表示每个删选后的每个关节点相对于人体质心的方向矩阵，D表示任意两个关节点的空间距离矩阵，ψ表示任意2个关节构成的向量相对于质心向上的向量的方向矩阵，A表示任意3个关节点构成的3个内角大小矩阵；时间维度上的特征为：其中，ΔT为关节点的轨迹位移矩阵，Δθ为同一关节点随位移的方向，ΔD为任意两个关节点的距离随时间变化的矩阵，Δψ为任意两个关节点相对质心向上的向量的方向变化，ΔA为任意3个关节点构成的内角大小变化矩阵。提取到的姿态时空特征表示为：Fpose＝Fspatial+Ftemporal。所述的步骤五中，通过将检测到的人体作为线索，将与人交互的有效物体作为高级线索，使用卷积神经网络提取与人交互的物体的特征，隐式的将检测到的人体中的物体与人之间的位置关系整合到卷积神经网络中，提取与人交互的有效物体的特征；训练过程中使用损失函数，并在损失反向传播之时进行参数的调整，混合损失函数计算公式为：L(M,D)＝Lmain(M,D)+αLhint(M,D)其中Lmain(M,D)表示交互物体特征提取的损失函数，Lhint(M,D)表示距离暗示任务的损失是函数，M表示网络模型，作为N个样本图片的训练集合，表示N张图像，表示相关的类别标签，α取值在0～1之间。所述的步骤六中，由于姿态时空特征和交互物体特征对于不同人体行为识别的响应程度不同，所以对得到的两种特征进行加权融合，公式如下：F＝w1Fpose+w2Fobject其中，w1为姿态时空特征的加权系数，w2为人体交互物体特征的加权系数，且w1+w2＝1，Fpose表示姿态时空特征，Fobject表示交互物体特征。所述的步骤七中，将融合后的特征向量输入到SVM分类器中进行分类，得到最后的识别结果。本专利技术的有益效果：本专利技术使用机器视觉技术对家庭安防环境下的人体进行行为检测，在行为检测之前首先进行人脸识别，判断是否为家人，若是家人就不进行行为检测，反之进行行为检测，在行为检测中融合了交互物体检测，提高了识别准确率，在按门铃之前检测出行为，能够防患于未然，提高实时性和有效性。本专利技术中将人体交互物体和人体运动的本体特征结合起来进行行为检测，对处理不同场景下通过交互物体识别人体行为具有重要的研究价值。附图说明图1是本专利技术实施例提供的行为识别方法流程图。图2是本专利技术实施例提供的人体目标检测流程图。图3是本专利技术实施例提供的姿态时空特征提取流程图。具体实施方式下面结合附图对本专利技术作进一步详细说明。针对现有家庭安防系统存在的外人入侵问题以及传统的数字监控存在的实时性和有效性无法满足安全需求的问题。本专利技术将机器视觉技术使用在安防场景中，无需监控人对监控图像进行分析，对家人采用人脸识别技术，对家人之外的人采用人体行为识别技术，在敲门之前检测出人体的行为，及时通知给家人，防患于未然本文档来自技高网...

【技术保护点】
1.提供潜在信息融合的家庭安防系统中的人体行为识别的方法，其特征在于，包括以下步骤；/n步骤一，使用摄像头采集图像；/n步骤二，使用基于背景差分法的光照自适应方法对采集的图像进行人体目标检测，然后使用Staple方法对检测到的人体目标进行跟踪，获得人体运动时序序列；/n步骤三，对检测到的人脸进行识别，判断其是否为家人，若是家人，对步骤二中得到的运动时序序列不进行任何操作，反之，进行人体行为识别；/n步骤四，对步骤二中得到的运动时序序列提取人体的姿态时空特征；/n步骤五，采用线索增强的深度卷积神经网络完成交互物体特征的提取；/n步骤六，融合步骤四和步骤五中提取到的全局的姿态时空特征和局部的交互物体特征；/n步骤七，将融合后的特征向量输入到SVM分类器中进行行为识别。/n

【技术特征摘要】
1.提供潜在信息融合的家庭安防系统中的人体行为识别的方法，其特征在于，包括以下步骤；
步骤一，使用摄像头采集图像；
步骤二，使用基于背景差分法的光照自适应方法对采集的图像进行人体目标检测，然后使用Staple方法对检测到的人体目标进行跟踪，获得人体运动时序序列；
步骤三，对检测到的人脸进行识别，判断其是否为家人，若是家人，对步骤二中得到的运动时序序列不进行任何操作，反之，进行人体行为识别；
步骤四，对步骤二中得到的运动时序序列提取人体的姿态时空特征；
步骤五，采用线索增强的深度卷积神经网络完成交互物体特征的提取；
步骤六，融合步骤四和步骤五中提取到的全局的姿态时空特征和局部的交互物体特征；
步骤七，将融合后的特征向量输入到SVM分类器中进行行为识别。


2.根据权利要求1所述的提供潜在信息融合的家庭安防系统中的人体行为识别的方法，其特征在于，所述的步骤二中，对进入到检测范围内的人体使用基于背景差分法的光照自适应方法检测，使用Vibe算法进行背景建模，记录前一帧检测到的人体目标的像素点数，用Y表示，当前帧检测到的前景目标的像素点数，用L表示，由于在光照突变的一瞬间，会出现大面积白色，系统会将背景误检为前景，此时L>Y。因此在前景检测的时候设定一个阈值(前一帧中检测到人体目标范围的像素点数)判断前景的检测范围，若范围超过该阈值，则说明发生了光照突变，反之，则没有发生光照突变，若发生光照突变，则利用像素点在相邻两帧图像的亮度变化值对背景模型进行光照补偿，补偿公式如下：
Δt(x,y)＝|Vt(x,y)-Vt-1(x,y)|
其中：



Vt表示图像It(x,y)的全局平均亮度值，式中n为图像中的总的像素点数，n＝1280×480＝614400个像素点，It(x,y)max(R,G,B)和It(x,y)min(R,G,B)分别表示像素点(x,y)处R，G，B分量中的最大值与最小值；
检测到人体目标后使用Staple方法对检测到的人体目标进行跟踪，在跟踪的过程中使用平移滤波器和颜色滤波器找到目标的位置，然后利用尺度滤波器得到目标的大小，最终获得人体运动时序序列。


3.根据权利要求1所述的提供潜在信息融合的家庭安防系统中的人体行为识别的方法，其特征在于，所述的步骤四中，对得到的人体运动时序序列提取姿态时空特征，具体过程包括：
1)计算每个关节点的互信息，通过互信息判断每个关节点对某个特定行为的响应程度，最终保留能表示特定行为的互信息最大的关节点组，计算每个关节点的互信息的公式如下：
I(fj,Y)＝H(fj)-H(fj|Y)
其中H(fj)表示第j个关节点的信息熵，j＝1，2，...，20，表示第j个关节点随时间变化的动态过程，N表示人...

【专利技术属性】
技术研发人员：李颀，姜莎莎，
申请(专利权)人：陕西科技大学，
类型：发明
国别省市：陕西;61