人类行为识别的标签和交互关系联合学习方法技术

一种用于人类行为识别的标签和交互关系联合学习方法，包括以下步骤：1)，使用CNN特征、HOG特征、HOF特征及人与人之间的距离、头部朝向等信息构造能量函数，包含一元能量项、二元能量项、交互能量项和正则化项；2)使用大间隔结构化学习训练所有模型参数；3)标签和交互关系预测，使用交替搜索策略求解复杂推理问题，在迭代中交替优化标签和交互结构。本发明专利技术适用于包含多人、多行为类别的图像和视频，能够同时识别个人行为和人与人之间的交互行为。

The joint learning method of human behavior identification by label and interaction

A learning method is used to identify the human behavior and the interaction between the label, which comprises the following steps: 1), the use of CNN features, HOG features, between HOF features and the distance between people, the head towards the information structure of energy function, contains one yuan two yuan energy, energy, interaction energy term and regularization; 2) using a large interval of structured learning training all model parameters; 3) prediction labels and interactive relationship, using alternate search strategy for solving the complex reasoning problems, alternating optimization label and interaction structure in iteration. The present invention is suitable for images and videos containing multiple people and multiple behavior categories, and can identify the individual behavior and the interaction between people and people at the same time.

【技术实现步骤摘要】
人类行为识别的标签和交互关系联合学习方法
本专利技术属于计算机视觉中的行为识别领域，涉及一种人类的行为识别方法。该专利技术在识别个人行为的同时判断人之间的交互。
技术介绍
识别图像或视频中的人类行为在计算机视觉中是一个基本的问题，这在许多应用如运动视频分析，监控系统和视频检索中至关重要。最近的工作中，深度学习明显提高了行为识别的性能。然而，这些工作不适用于处理包含多人互动的数据。首先，他们专注于分给每个图像一个行为标签，这不适用于包含多个行为类别的图像。第二，他们忽视了人之间的相互关系为识别复杂的人类活动像握手，战斗和足球比赛等提供了重要的语境信息。为了表示人之间的交互，大多数CRF模型使用预定义的图形结构，通常使用领域知识或启发式方法来确定其结构，例如，人之间的距离，但是其对数据变化和成像条件的变化不敏感。使用这样的图通常导致不良的识别性能。更好的策略是从数据中学习CRF图。然而，人类交互结构通常是多样化的，这使得传统的图学习方法无效。Lan等提出通过潜在的结构化SVM来联合估计个人行为和交互，其中交互被视为隐含变量，这导致非凸的训练问题。
技术实现思路
为了克服已有的人类行为识别方式本文档来自技高网...

【技术保护点】
一种用于人类行为识别的联合标签交互学习的方法，其特征在于：所述方法包括以下步骤：1)构造能量函数令G＝(V，E)表示图，其中节点集V表示所有人的个人行为，边集E表示他们的交互信息，eij∈E表示人i和人j之间有交互，而边est的缺失则表示人s与人t之间没有交互，I表示一张图像，

【技术特征摘要】
1.一种用于人类行为识别的联合标签交互学习的方法，其特征在于：所述方法包括以下步骤：1)构造能量函数令G＝(V，E)表示图，其中节点集V表示所有人的个人行为，边集E表示他们的交互信息，eij∈E表示人i和人j之间有交互，而边est的缺失则表示人s与人t之间没有交互，I表示一张图像，是人i的个人行为标签，a＝[ai]i＝1，...，n是包含n个人的个人行为标签的向量；给定一个新的输入I，目标是通过解决以下的问题(1)来预测个人行为标签a和交互信息G；其中其中是一个指示函数，如果ai＝s,它的值为1，反之则为0；当eij＝z时指示函数的值为1，反之则为0；同样地，当ai＝s且aj＝t时，指示函数为1，反之为0；2)训练模型的参数训练样本集Gk＝(Vk，Ek)，边集Ek表示在第k张训练样本的图片中，人之间的真实的交互信息，ek是Ek的向量形式，使用下面的最大边距式公式来训练所有的模型参数w＝[wu，wc，wτ，wr，ws]：

【专利技术属性】
技术研发人员：王振华，金佳丽，刘盛，张剑华，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33