基于智能高层语义的视频行为识别方法技术

本发明专利技术公开了一种基于智能高层语义的视频行为识别方法，主要解决现有高层语义不完备而导致识别率低的问题。其实现方案是：1)提取视频行为特征，进行行为识别，获取混淆矩阵；2)针对混淆矩阵，人工定义能够区分混淆行为的高层语义集合；3)对人工定义的高层语义集合进行表达性和判别性的量化评估；4)利用遗传算法，获取更完备的高层语义集合，并训练和学习更完备的高层语义特征；5)将更完备的高层语义特征输入到SVM分类器中，获取行为识别的结果。本发明专利技术的智能高层语义具有更好的鉴别性，有效提高了视频行为识别的准确率，可用于视频监控。

【技术实现步骤摘要】
基于智能高层语义的视频行为识别方法
本专利技术属于视频处理
，特别涉及一种视频行为识别方法，用于视频检索、智能监控、机器人导航、智能交通及游戏娱乐的人机交互和视频监控安防。
技术介绍
近年来，计算机视觉作为一门新兴学科发展十分迅速，行为识别作为视频分析和理解的关键技术，其重要的学术价值、潜在的商业价值和巨大的应用前景，使其迅速成为计算机视觉领域研究的热点和难点，目前已广泛应用于视频检索、智能监控、机器人导航、智能交通及游戏娱乐等人机交互领域，越来越多的学者和机构在相关方面相继进行了大量的研究工作。随着海量视频异构数据的不断涌现，研究者发现，人工定义的高层语义虽然对具有复杂时空结构的视频行为有较好的描述能力，且对易混淆行为视频具有较强的判别能力，但基于人工定义的高层语义具有一定的主观性和局限性，且高层语义学习过程中因为有噪声、奇异点的存在，弱化了高层语义的判别能力。因此亟待从人工定义的高层语义中衍生出更丰富的高层语义信息，并挖掘同时具备较强表达性和判别性的高层语义特征，从而进一步提高视频行为识别准确率。目前已提出的高层语义构建方法主要有：(1)ZhangZ,WangC,XiaoB,etal.Attributeregularizationbasedhumanactionrecognition[J].IEEETransonInformationForensicsandSecurity,2013,8(10):1600-1609.文章将属性正则化作为惩罚项，添加到多任务学习模型当中，明确地考虑了底层特征、属性和行为之间的关系，在学习时不仅在属性和行为之间分享底层特征，而且添加了属性对类别的约束项，使得行为和属性之间的关系具有一致性。但人为定义的属性具有一定的主观性和局限性。(2)UmedaT,SunY,IrieG,etal.AttributeDiscoveryforPersonRe-Identification[C].InternationalConferenceonMultimediaModeling.SpringerInternationalPublishing,2016:268-276.文章提出了一个新的属性发现方法，通过一个成对学习过程，发现和学习新属性，新学习到的属性虽没有具体的语义含义，但能有针对性地实现相似行为的判别。然而该新属性的学习方法需要遍历所有的样本，根据混淆样本人工定义新属性，所花费的人力消耗和计算复杂度均会大大增加。
技术实现思路
本专利技术的目的是针对上述已有技术的不足，提出基于智能高层语义的视频行为识别方法，以获取更丰富的高层语义，并挖掘同时具备较强表达性和判别性的高层语义特征，进一步提高了视频行为识别的准确率。本专利技术的技术思路是：将视频行为特征应用于行为识别，获得混淆矩阵；针对混淆矩阵，人工定义能够区分混淆行为的高层语义集合；对已定义的高层语义集合进行表达性和判别性的量化评估；利用遗传算法对高层语义集合进行选择、复制和交叉，以获取更完备的高层语义集合，并训练和学习相应的高层语义特征；将高层语义特征输入到SVM分类器中，进行视频行为识别，输出分类结果。根据上述思路，本专利技术的技术方案包括如下：(1)提取视频行为特征并应用于行为识别，获得混淆矩阵，针对混淆矩阵，人工定义能够区分混淆行为的高层语义，并获取人工定义的高层语义集合HSet；(2)对人工定义的高层语义集合HSet，进行表达性和判别性的量化评估：(2.1)对步骤(1)获得的人工定义的高层语义集合HSet，设置相应的正负样本：若某类视频行为中包含某一个高层语义，则将该类视频行为的标签设置为1，并作为正样本；否则，将该类视频行为的标签设置为0，并作为负样本；(2.2)将所有正样本组成的集合划分成为正样本训练集Train_SetT和正样本测试集Test_SetT，同样，将所有的负样本组成的集合划分成为负样本训练集Train_SetF和负样本测试集Test_SetF；(2.3)将正样本训练集Train_SetT和负样本训练集Train_SetF合并作为整个训练集Train_Set，将正样本测试集Test_SetT和负样本测试集Test_SetF合并作为整个测试集Test_Set；(2.4)利用第m个高层语义hm的训练集Train_Set[hm]，训练对应的分类器SVM[hm]；(2.5)计算各高层语义在整个训练集Train_Set上的类内触发频度Rep(hm)，以便对人工定义的高层语义集合HSet进行表达性的量化评估；(2.6)将测试集Test_Set中的视频行为输入到步骤(2.4)获得的分类器SVM[hm]中，计算各高层语义在测试集Test_Set上的类内触发频度，以获取人工定义高层语义集合HSet的判别性量化指标；(3)对高层语义集合HSet，执行遗传算法中的选择、复制和交叉运算，以获取更完备的高层语义集合H′Set及对应的判别式分类器集合SVM_High_Set：(3.1)利用表达性度量指标Rep(hm)和判别性度量指标Freqin(hm)，以计算适应度函数Fit(hm)；(3.2)将人工定义的高层语义集合HSet作为第一代个体，采用“最佳个体保护法”选择HSet中适应度较高的个体，并直接复制到下一代，同时设阈值为TEnt，当Fit(hm)大于TEnt时，该高层语义被选择，并复制到下一代；(3.3)对于当代所有的高层语义个体，按照交叉概率pc选择参与交叉的个体，以“单点交叉方式”实现交叉运算，获取新的高层语义个体；(3.4)重复执行步骤(3.1)到步骤(3.3)，若连续两代经遗传算法获取的新高层语义都未达到阈值TEnt，或遗传算法已达到预定的进化代数Ngen时，停止循环，输出更完备的高层语义集合HS′et及对应的判别式分类器集合SVM_High_Set：其中，为更完备的高层语义集合H′Set中第m个高层语义对应的判别式分类器，1≤m≤M，M为更完备高层语义集合H′Set中高层语义的个数。(4)利用步骤(3.4)获得的判别式分类器集合SVM_High_Set，学习更完备的高层语义特征：(4.1)将测试集Test_Set中的每一个视频行为特征，依次输入到判别式分类器集合SVM_High_Set中，获得判分值sco(Vn,hm)；(4.2)将获取的M个判分值sco(Vn,hm)进行串接，得到测试集Test_Set中更完备的高层语义特征HFeat_Test；(5)交换训练集Train_Set和测试集Test_Set，将更新后更完备的高层语义判别式分类器集合表示为SVM_High_Set′，重复步骤(4)，得到训练集Train_Set中所有视频行为更完备的高层语义特征HFeat_Train；(6)利用训练集Train_Set中更完备的高层语义特征HFeat_Train，训练SVM分类器，最后将测试集Test_Set中更完备的高层语义特征HFeat_Test，输入到训练好的SVM分类器中进行行为识别，获取行为识别的结果。本专利技术与现有技术相比具有以下优点：1)本专利技术针对混淆行为，在人工定义高层语义的基础上，利用智能遗传算法，进一步自动获取更完备的高层语义，对视频行为具有更强的鉴别力，有效提高了视频行为识别的准确率。2)本专利技术在智能学习更本文档来自技高网...

【技术保护点】
1.基于智能高层语义的视频行为识别方法，包括：(1)提取视频行为特征并应用于行为识别，获得混淆矩阵，针对混淆矩阵，人工定义能够区分混淆行为的高层语义，并获取人工定义的高层语义集合HSet；(2)对人工定义的高层语义集合HSet，进行表达性和判别性的量化评估：(2.1)对步骤(1)获得的人工定义的高层语义集合HSet，设置相应的正负样本：若某类视频行为中包含某一个高层语义，则将该类视频行为的标签设置为1，并作为正样本；否则，将该类视频行为的标签设置为0，并作为负样本；(2.2)将所有正样本组成的集合划分成为正样本训练集Train_SetT和正样本测试集Test_SetT，同样，将所有的负样本组成的集合划分成为负样本训练集Train_SetF和负样本测试集Test_SetF；(2.3)将正样本训练集Train_SetT和负样本训练集Train_SetF合并作为整个训练集Train_Set，将正样本测试集Test_SetT和负样本测试集Test_SetF合并作为整个测试集Test_Set；(2.4)利用第m个高层语义hm的训练集Train_Set[hm]，训练对应的分类器SVM[hm]；(2.5)计算各高层语义在整个训练集Train_Set上的类内触发频度Rep(hm)，以便对人工定义的高层语义集合HSet进行表达性的量化评估；(2.6)将测试集Test_Set中的视频行为输入到步骤(2.4)获得的分类器SVM[hm]中，计算各高层语义在测试集Test_Set上的类内触发频度，以获取人工定义高层语义集合HSet的判别性量化指标；(3)对高层语义集合HSet，执行遗传算法中的选择、复制和交叉运算，以获取更完备的高层语义集合HS′et及对应的判别式分类器集合SVM_High_Set：(3.1)利用表达性度量指标Rep(hm)和判别性度量指标Freqin(hm)，以计算适应度函数Fit(hm)；(3.2)将人工定义的高层语义集合HSet作为第一代个体，采用“最佳个体保护法”选择HSet中适应度较高的个体，并直接复制到下一代，同时设阈值为TEnt，当Fit(hm)大于TEnt时，该高层语义被选择，并复制到下一代；(3.3)对于当代所有的高层语义个体，按照交叉概率pc选择参与交叉的个体，以“单点交叉方式”实现交叉运算，获取新的高层语义个体；(3.4)重复执行步骤(3.1)到步骤(3.3)，若连续两代经遗传算法获取的新高层语义都未达到阈值TEnt，或遗传算法已达到预定的进化代数Ngen时，停止循环，输出更完备的高层语义集合H′Set及对应的判别式分类器集合SVM_High_Set：...

【技术特征摘要】
2017.12.29 CN 20171146936971.基于智能高层语义的视频行为识别方法，包括：(1)提取视频行为特征并应用于行为识别，获得混淆矩阵，针对混淆矩阵，人工定义能够区分混淆行为的高层语义，并获取人工定义的高层语义集合HSet；(2)对人工定义的高层语义集合HSet，进行表达性和判别性的量化评估：(2.1)对步骤(1)获得的人工定义的高层语义集合HSet，设置相应的正负样本：若某类视频行为中包含某一个高层语义，则将该类视频行为的标签设置为1，并作为正样本；否则，将该类视频行为的标签设置为0，并作为负样本；(2.2)将所有正样本组成的集合划分成为正样本训练集Train_SetT和正样本测试集Test_SetT，同样，将所有的负样本组成的集合划分成为负样本训练集Train_SetF和负样本测试集Test_SetF；(2.3)将正样本训练集Train_SetT和负样本训练集Train_SetF合并作为整个训练集Train_Set，将正样本测试集Test_SetT和负样本测试集Test_SetF合并作为整个测试集Test_Set；(2.4)利用第m个高层语义hm的训练集Train_Set[hm]，训练对应的分类器SVM[hm]；(2.5)计算各高层语义在整个训练集Train_Set上的类内触发频度Rep(hm)，以便对人工定义的高层语义集合HSet进行表达性的量化评估；(2.6)将测试集Test_Set中的视频行为输入到步骤(2.4)获得的分类器SVM[hm]中，计算各高层语义在测试集Test_Set上的类内触发频度，以获取人工定义高层语义集合HSet的判别性量化指标；(3)对高层语义集合HSet，执行遗传算法中的选择、复制和交叉运算，以获取更完备的高层语义集合HS′et及对应的判别式分类器集合SVM_High_Set：(3.1)利用表达性度量指标Rep(hm)和判别性度量指标Freqin(hm)，以计算适应度函数Fit(hm)；(3.2)将人工定义的高层语义集合HSet作为第一代个体，采用“最佳个体保护法”选择HSet中适应度较高的个体，并直接复制到下一代，同时设阈值为TEnt，当Fit(hm)大于TEnt时，该高层语义被选择，并复制到下一代；(3.3)对于当代所有的高层语义个体，按照交叉概率pc选择参与交叉的个体，以“单点交叉方式”实现交叉运算，获取新的高层语义个体；(3.4)重复执行步骤(3.1)到步骤(3.3)，若连续两代经遗传算法获取的新高层语义都未达到阈值TEnt，或遗传算法已达到预定的进化代数Ngen时，停止循环，输出更完备的高层语义集合H′Set及对应的判别式分类器集合SVM_High_Set：其中，为更完备的高层语义集合H′Set中第m个高层语义对应的判别式分类器，1≤m≤M，M为更完备高层语义集合H′Set中高层语义的个数。(4)利用步骤(3.4)获得的判别式分类器集合SVM_High_Set，学...

【专利技术属性】
技术研发人员：同鸣，郭志强，陈逸然，闫娜，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61