一种群组行为识别方法技术

本发明专利技术属于计算机技术领域，具体地说，本发明专利技术公开了一种群组行为识别方法。该种群组行为识别方法包括将待识别视频中的每个人的特征进行提取，获得每个人的个人特征；根据每个人的个人特征，捕获人与人之间的关系特征，获得带有关系特征的个人特征；从待识别视频中识别出关键人物；根据关键人物的带有关系特征的个人特征，获得组群行为识别结果；通过在群组成员的个人特征中融入群组成员之间的交互关系特征，并且通过聚焦关键参与者建模来完成最终的场景识别，提高识别精度。提高识别精度。提高识别精度。

【技术实现步骤摘要】
一种群组行为识别方法


[0001]本专利技术属于计算机
，具体地说，涉及一种群组行为识别方法。

技术介绍

[0002]人类行为识别是一个具有挑战性的计算机视觉问题，并且一直是学术界广泛关注的热点问题。其中的挑战包括各种因素，例如动作类别内的可变性，背景混乱以及不同动作类别之间的相似性等。群组行为识别是人类行为识别课题的子课题，其特点是群组活动往往是由多人共同参与完成的，应用包括视频监控，体育分析以及视频搜索和检索，应用场景可以包括智慧社区/园区,智慧安防等场景。
[0003]群组行为识别的特殊挑战在于它不仅需要单个人特征属性，还需要成员间的交互信息，并且由于群组成员众多，特征具有冗余性，如何精简群组特征聚焦少数关键参与者是群组识别提高精度减少计算复杂度的又一个关键因素，这就需要一种算法来结合群组成员之间的交互关系和聚焦关键参与者建模来完成最终的场景识别。
[0004]有鉴于此，特提出本专利技术。

技术实现思路

[0005]本专利技术要解决的技术问题在于克服现有技术中的不足，提供一种群组行为识别方法，以通过在群组成员的个人特征中融入群组成员之间的交互关系特征，并且通过聚焦关键参与者建模来完成最终的场景识别，提高识别精度。
[0006]为解决上述技术问题，本专利技术采用技术方案的基本构思是：一种群组行为识别方法，包括：
[0007]将待识别视频中的每个人的特征进行提取，获得每个人的个人特征；
[0008]根据每个人的个人特征，捕获人与人之间的关系特征，获得带有关系特征的个人特征；
[0009]从待识别视频中识别出关键人物；
[0010]根据关键人物的带有关系特征的个人特征，获得组群行为识别结果。
[0011]进一步地，所述将待识别视频中的每个人的特征进行提取，获得每个人的个人特征的步骤，包括；
[0012]将待识别视频输入到特征提取网络中对每个人的特征进行提取，获得每个人的个人特征；
[0013]所述特征提取网络包括CNN和LSTM。
[0014]进一步地，所述CNN包括空间CNN和时间CNN；所述LSTM包括SLSTM和TLSTM；
[0015]通过空间CNN得到的个人外观特征为其中表示第i个人的外观特征，k是人的数量；
[0016]将个人外观特征输入至SLSTM得到个人的SLSTM特征其中，表示第i个人的SLSTM特征；
[0017]将个人光流特征输入至SLSTM得到个人的TLSTM特征其中，表示第i个人的TLSTM特征；
[0018]则第t帧的所有人的特征输出为F
t
＝(P1,P2...P
i
...P
k
)。
[0019]进一步地，所述根据每个人的个人特征，捕获人与人之间的关系特征，获得带有关系特征的个人特征的步骤，包括：
[0020]将每个人的个人特征输入到层级关系网络中，捕获人与人之间的关系特征，获得带有关系特征的个人特征；
[0021]所述层级关系网络为通过残差结构构建的多层感知机网络。
[0022]进一步地，所述关键人物包括核心人物和活跃人物；
[0023]所述从待识别视频中识别出关键人物的步骤，包括：根据待识别视频中每个人的平均运动强度识别出核心人物；根据待识别视频中其他人与核心人物的空间距离和运动特征相关性，识别出活跃人物。
[0024]进一步地，所述根据关键人物的带有关系特征的个人特征，获得组群行为识别结果的步骤，包括：
[0025]根据关键人物的带有关系特征的个人特征，获得关键人物的带有加强关系特征的个人特征，根据关键人物的带有加强关系特征的个人特征，获得组群行为识别结果。
[0026]进一步地，所述根据关键人物的带有关系特征的个人特征，获得关键人物的带有加强关系特征的个人特征的步骤，包括：
[0027]将关键人物的带有关系特征的个人特征输入至关键人物网络中，获得关键人物的带有加强关系特征的个人特征；
[0028]所述关键人物网络为BiLSTM。
[0029]进一步地，所述根据关键人物的带有加强关系特征的个人特征，获得组群行为识别结果的步骤，包括：
[0030]将关键人物的带有加强关系特征的个人特征输入至群组识别网络中，获得组群行为识别结果；
[0031]所述群组识别网络为softmax分类器。
[0032]进一步地，所述根据核心人物和关键人物的带有关系特征的个人特征，获得组群行为识别结果步骤之后，还包括：
[0033]将待识别视频及对应的识别结果输入至CRF层中进行纠错，得到最终群组行为识别结果；
[0034]所述CRF层是将待识别视频中的每一个帧作为一个节点，将视频序列帧与帧的关系作为边构建的。
[0035]采用上述技术方案后，本专利技术与现有技术相比具有以下有益效果。
[0036]1、通过将群组成员之间的交互关系和聚焦关键参与者建模来完成最终的场景识别，提高识别精度。
[0037]2、本申请提出了一种新的群组成员关系建模方法，构建无向关系图，通过共享多层感知机来捕获交互关系图中边的特征，并将节点所有边的特征求和后作为此节点新的特征；为了获得高阶的层级交互关系表征，堆叠了多个关系层，并学习每个人的层级关系表征。
[0038]3、本申请还提出了一种新的关键人物建模方法，定义运动特征最强的一个成员为核心人物，依据与核心人物的空间距离和运动特征相关性，定义其他关键人物；再将所有关键人物的特征输入到Bi
‑
LSTM，学习关键人物之间隐含的交互关系。
[0039]下面结合附图对本专利技术的具体实施方式作进一步详细的描述。
附图说明
[0040]附图作为本专利技术的一部分，用来提供对本专利技术的进一步的理解，本专利技术的示意性实施例及其说明用于解释本专利技术，但不构成对本专利技术的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0041]图1是本专利技术实施例提供的群组行为识别方法的流程图；
[0042]图2为本专利技术实施例提供的群组行为识别装置的结构示意图；
[0043]图3为本专利技术实施例提供的群组行为识别设备的结构示意图。
[0044]需要说明的是，这些附图和文字描述并不旨在以任何方式限制本专利技术的构思范围，而是通过参考特定实施例为本领域技术人员说明本专利技术的概念。
具体实施方式
[0045]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0046]在本专利技术的描述中，需要说明的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“内”、“外”等指示的方位或位置关系为基于
[0047]附图所示的方位或位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种群组行为识别方法，其特征在于，包括：将待识别视频中的每个人的特征进行提取，获得每个人的个人特征；根据每个人的个人特征，捕获人与人之间的关系特征，获得带有关系特征的个人特征；从待识别视频中识别出关键人物；根据关键人物的带有关系特征的个人特征，获得组群行为识别结果。2.根据权利要求1所述的群组行为识别方法，其特征在于，所述将待识别视频中的每个人的特征进行提取，获得每个人的个人特征的步骤，包括；将待识别视频输入到特征提取网络中对每个人的特征进行提取，获得每个人的个人特征；所述特征提取网络包括CNN和LSTM。3.根据权利要求2所述的群组行为识别方法，其特征在于，所述CNN包括空间CNN和时间CNN；所述LSTM包括SLSTM和TLSTM；通过空间CNN得到的个人外观特征为其中表示第i个人的外观特征，k是人的数量；将个人外观特征输入至SLSTM得到个人的SLSTM特征其中，表示第i个人的SLSTM特征；将个人光流特征输入至SLSTM得到个人的TLSTM特征其中，表示第i个人的TLSTM特征；则第t帧的所有人的特征输出为F
t
＝(P1,P2...P
i
...P
k
)。4.根据权利要求3所述的群组行为识别方法，其特征在于，所述根据每个人的个人特征，捕获人与人之间的关系特征，获得带有关系特征的个人特征的步骤，包括：将每个人的个人特征输入到层级关系网络中，捕获人与人之间的关系特征，获得带有关系特征的个人特征；所述层级关系网络为通过残差结构构建的多层感知机网络。5.根据权利要求4所述的群组行为识别方法，其特征在于，所述关...

【专利技术属性】
技术研发人员：陈斌，刘继超，金岩，邱敏，郑慧芬，孙少峰，安广飞，
申请(专利权)人：青岛海纳云智能系统有限公司，
类型：发明
国别省市：