一种基于协同异质深度学习网络的红外人体行为识别方法技术

本发明专利技术公开了一种基于协同异质深度学习网络的红外人体行为识别方法，属于计算机视觉领域，包括如下步骤：首先，构建基于红外图像的动作的视图表征，分别构建同一动作的红外图像空间信息视图和红外光流时间信息视图；其次，分别搭建卷积神经网络和长短时记忆网络，构建出两个异质深度网络进行基于视图差异的异质网络协同训练，训练过程中采用基于多次输出一致性和置信度评估两种方法来挑选未标签数据；最后，通过协同训练好的异质网络模型进行特征提取并进行特征融合，然后输入到随机森林进行训练及分类识别，有效克服了深度学习和半监督学习在行为识别中存在的弊端，将深度学习和半监督学习结合进行人体行为完美识别。监督学习结合进行人体行为完美识别。监督学习结合进行人体行为完美识别。

【技术实现步骤摘要】
一种基于协同异质深度学习网络的红外人体行为识别方法

：
[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于协同异质深度学习网络的红外人体行为识别方法。

技术介绍
：
[0002]行为识别的目的是模拟人类的视觉感知功能，在不同的环境下准确的识别出行为的类别。目前，人体行为识别方法主要分为两类：手工特征提取方法[1]和深度学习方法[2]。
[0003]手工特征提取方法因其设计复杂、普适性低等原因逐渐被深度学习方法取代，随着深度学习在图像识别领域的成功应用，以及传统行为识别方法的弊端日益明显，研究者自然的将深度学习引入行为识别[3]。Karpathy等人[4]将视频的连续帧输入到卷积神经网络(Convolution Neural Network，CNN)，但CNN仅是对动作的空间信息进行理解，未对视频中动作的时序信息进行分析。但深度学习取得的优异成绩往往依靠大量的有标签数据。在现实生活中，数据集的标记往往需要消耗大量的人力、物力资源，难以获取。如何减少模型对有标签数据的依赖是行为识别一项挑战。
[0004]另外，随着视频行业的快速发展，含有丰富语义信息的无标签数据的获取日益便捷。如何通过挖掘大量无标记样本中的语义信息来提升识别系统的性能成为行为识别的另一项挑战。
[0005]人们为了解决标记数据带来的人力、物力损耗，同时充分利用未标记样本中的潜在信息，提出半监督学习(Semi
‑
Supervised Learning,SSL)[5]，即使用少量的有标记样本，利用大量未标记样本来提升模型的识别性能。
[0006]半监督学习是结合监督学习和无监督学习的一种学习范式，在机器学习和数据挖掘等领域应用广泛，但与行为识别结合后主要出现两点限制：一方面是传统方法的特征提取复杂且不充分，另一方面是少量数据训练深度模型会产生过拟合。
[0007]目前，单独传统半监督解决人体行为识别的不足，主要体现在如下几方面：
[0008]传统的半监督学习解决人体行为识别往往依靠专家手工设计的特征点，这类特征点主要是凭借人们对几何学以及数学上的一些认识，对图像中的某一块特殊区域进行建模得到描述函数。典型的比如SIFT，利用差分高斯金字塔计算图像中比较特殊的点，再通过该点的领域信息对其进行描述，得到最终的描述函数。在对行为提取特征点时，通常会出现特征点扎堆的现象。显然，对于图像、视频中空间信息里纹理多的地方，特征点自然会提取得多。这将导致图像某一块位置提取到的特征点特别多，而其他区域提取到的点特别少，甚至是没有。
[0009]另一方面，手工特征提取方法难以提取深层特征，对行为的表征能力不强，在对无标记数据进行标记时预测准确度不高，往往会产生较多的错误标记，从而在分类器进行训练时会引入较多的噪声数据，导致模型没有较好的识别效率。
[0010]目前，单独深度学习解决人体行为识别的不足，主要体现在如下方面：
[0011]解释性差：传统特征提取算法总是有着良好的可解释性，即对每个算法都较好的提出优化目标，并可以给出几何表示；深度学习虽然是逐步进行提取，但是中间的神经元输出往往不呈现规律，输入与输出之间更没有因果性的表征。
[0012]模型设计及优化：深度学习的模型设计非常复杂，需要投入大量的人力、物力和时间进行开发新的算法和模型，目前大部分人只能使用现成的模型去解决人体行为识别问题；而且深度学习过程中会遇到梯度消失、爆炸等问题，除此之外，还会遇到局部最优值的问题，给训练带来了相当的困难。
[0013]训练速度：为了追求识别准确率的提升，神经网络层数不断增长、数据集不断扩充，导致计算强度大大增加，训练速度问题突出，需要在硬件和软件的不断更新中才能改善，其中所需成本越来越高。
[0014]数据集要求高：深度学习的性能好坏一方面取决于数据集的大小，如果不能进行大量有效的训练，往往会导致过拟合问题的出现；另外一方面依赖于训练数据的平衡性，当训练数据不平衡时，模型会把训练数据少的类别误识别为训练数据多的类别。
[0015]综上述，要解决行为识别中弊端，如何将深度学习和半监督学习结合进行人体行为识别，是目前亟待解决的难题。
[0016]参考文献如下：
[0017]1.Tang,C.,etal.,UsingaMultilearnertoFuseMultimodalFeaturesforHumanActionRecognition.MathematicalProblemsinEngineering,2020.2020:p.4358728.
[0018]2.Das,B.andA.Saha,ASurveyonCurrentTrendsinHumanActionRecognition.2021:AdvancesinMedicalPhysicsandHealthcareEngineering.
[0019]3.Zyer,T.,D.S.Ak,andR.Alhajj,Humanactionrecognitionapproacheswithvideodatasets—Asurvey.Knowledge
‑
BasedSystems,2021.222(6):p.106995.
[0020]4.Karpathy,A.,etal.Large
‑
ScaleVideoClassificationwithConvolutionalNeuralNetworks.in2014IEEEConferenceonComputerVisionandPatternRecognition.2014.
[0021]5.Hady,M.andF.Schwenker,Semi
‑
SupervisedLearning.JournaloftheRoyalStatisticalSociety,2006.172(2):p.530
‑
530.

技术实现思路
：
[0022]为了弥补现有技术问题，本专利技术的目的是提供一种基于协同异质深度学习网络的红外人体行为识别方法，将深度学习和半监督学习结合进行人体行为识别，有效克服了深度学习和半监督学习在行为识别中存在的弊端。
[0023]本专利技术的技术方案如下：
[0024]一种基于协同异质深度学习网络的红外人体行为识别方法，其特征在于，包括如下步骤：
[0025]步骤一、构建协同异质深度学习网络中的动作视图：基于红外图像的动作视图表征，分别构建同一动作的红外图像视图和红外光流视图；
[0026]步骤二，构建基于红外图像视图和红外光流视图的协同异质深度学习网络：分别
搭建卷积神经网络和长短时记忆网络，构建出两个异质深度网络进行基于视图差异的异质网络协同训练，协同训练后获得两个异质的深度网络模型，分别是卷积神经网络模型和长短时记忆网络模型；
[0027]步骤三，对未标记样本评估：在两个异质的深度网络模型的协同训练过程中，采用一致性和置信度评估两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于协同异质深度学习网络的红外人体行为识别方法，其特征在于，包括如下步骤：步骤一、构建协同异质深度学习网络中的动作视图：基于红外图像的动作视图表征，分别构建同一动作的红外图像视图和红外光流视图；步骤二，构建基于红外图像视图和红外光流视图的协同异质深度学习网络：分别搭建卷积神经网络和长短时记忆网络，构建出两个异质深度网络进行基于视图差异的异质网络协同训练，协同训练后获得两个异质的深度网络模型，分别是卷积神经网络模型和长短时记忆网络模型；步骤三，对未标记样本评估：在两个异质的深度网络模型的协同训练过程中，采用一致性和置信度评估两种评估标准，多次输出选取可信度高的无标签数据纳入对方网络的训练集中，提高模型对动作潜在信息的理解能力，稳定的选取无标签数据添加伪标签；步骤四：进行特征融合：协同训练后的两个异质的深度网络模型对全连接层的输出进行归一化，得到两个网络对同一动作预测出的不同结果，选取决策级融合中采用不同比例的加权融合进行分类，对比最大值融合，提高模型的泛化能力。2.根据权利要求1所述的基于协同异质深度学习网络的红外人体行为识别方法，其特征在于，所述的红外图像视图为红外图像空间信息视图，是直接获得的红外图像数据本身；红外光流视图具体为红外光流时间信息视图，通过红外图像视频构建出来。3.根据权利要求1或2所述的基于协同异质深度学习网络的红外人体行为识别方法，其特征在于:所述红外光流视图构建过程如下，给定基于红外图像视图的少量有标签数据和大量无标签数据从以下三个步骤构建红外光流视图：1)、通过Farneback光流法Flow()，即公式(1)提取相邻两帧红外图像即公式(1)提取相邻两帧红外图像间动作运动的x方向位移和y方向位移和y方向位移2)、使用Polar(),即公式(2)对进行笛卡尔坐标转化极坐标，将得到的极径和极角通过Color()，即公式(3)进行颜色空间转化为灰度图消除杂乱背景对行为识别的影响：景对行为识别的影响：3)、对使用直方图正规化方法进行图像增强，自动的调整灰度级范围以提高对比度和局部特征的表征能力，得到对应的光流图对应的光流图其中，I
max
、I
min
分别为的最大、最小灰度级，[O
min
,O
max
]为的灰度级范围；构建出具有红图图像视图和红外光流视图的数据集和
其中，view∈{Infra,Flow}。4.根据权利要求1所述的基于协同异质深度学习网络的红外人体行为识别方法，其特征在于:所述协同异质深度学习网络的学习过程：(a)、在有标记红外图像视图数据集和有标记红外光流视图数据集上分别训练卷积神经网络和长短时记忆网...

【专利技术属性】
技术研发人员：唐超，童安炀，
申请(专利权)人：合肥学院，
类型：发明
国别省市：