【技术实现步骤摘要】
本专利技术涉及行为检测识别方法，尤其涉及一种基于深度学习的群体行为检测识别方法及系统。
技术介绍
1、社会群体的行为呈现出多样性和互动性，对于各个领域都具有重要意义。群体行为分析不仅能深入理解人类社会互动，还为各种应用领域提供了关键见解。这种分析方法不仅适用于日常生活中的行为观察和分析，还在诸如体育赛事研究和社交行为分析等方面具有重要应用前景。研究群体行为，特别是核心特征的建模，是一项复杂而具有挑战性的任务。在这一过程中，主要挑战之一是如何确定和建模群体的核心特征。另一个挑战是在复杂的场景中准确识别群体行为，排除无关人员的干扰，聚焦于群体内部的行为模式。
2、传统方法通常依赖于手工制作的特征，例如运动轨迹、hog(梯度直方图)或mbh(运动边界直方图)等来识别群体行为。这些方法从两个角度分析：一种是自上而下，研究整个群体或每个子组的整体运动模式；另一种是自底向上，分别对每个个体进行识别，从个人和群体层面开展分析。随着深度学习技术的兴起，越来越多的研究开始采用深度模型来分析群体行为。这些深度学习模型能够直接从原始数据中学习更高级的特征表示，捕捉到群体行为中更微妙的变化和模式。尤其是针对以图像为输入的模型，能够学习到群体行为的时空关系变化，从而提高了识别的准确性和鲁棒性。目前，基于深度学习的群体行为识别算法通常经历三个处理分析阶段。首先，利用各种网络架构进行特征学习和提取，用于检测群体行为场景中的人体，其次，通过获得的人体跟踪序列对其个体行为进行表征和识别。然后结合人体与人体、人体与场景的交互信息对群体行为进行识别。在一
3、早期提出的基于轨迹特征的去表征群体活动的方式大多通过两个实体轨迹的因果关系强度和类型以及传统的速度和位置特征，来探究物体实体之间的关系。这种方式在进行配对群体行为识别时是有效的，但识别精度不高。深度学习模型通常被认为是黑盒模型，其内部运行机制和决策过程较难解释，这可能限制了对模型识别结果的分析和理解。除此之外，一些网络如cnn(convolutional neural network)/3dcnn和双流网络等计算开销比较大，受复杂背景干扰影响较大，而双流网络要分别对rgb视频序列和光流数据分别进行处理，并分别训练两个网络，计算开销则更大。rnn(recurrent neural network)/lstm(long short time memory)对时序数据采用串行的处理方式，网络架构训练较为困难，对训练数据的需求量比较大，对硬件要求也比较高。transformer采用并行计算的方式，能有效降低计算时间，然而该架构不能利用序列数据中的顺序信息，需要引入位置编码信息，也需要大量的数据进行网络训练。目前，transformer在群体行为识别领域的应用较少，技术尚不成熟。
4、为了解决上述问题，本专利技术提出一种基于深度学习的群体行为检测识别方法及系统。
技术实现思路
1、本专利技术的目的在于提出一种基于深度学习的群体行为检测识别方法及系统以解决
技术介绍
中所提出的问题。本专利技术通过综合利用图像视频中人物运动的轨迹特征和图像特征，构成了包含个人运动特征、群组成员交互特征和群组整体特征的多层次信息，考虑了个体间的空间关系、动态变化和交互行为，解决了应该使用何种特征在保证精度的情况下，能对核心的群体行为特征进行建模这一问题。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种基于深度学习的群体行为检测识别方法，包括以下步骤：
4、s1、采集群体图像视频，对采集到群体图像视频进行轨迹特征提取，获取个人行为特征和交互行为特征；
5、s2、对采集到的群体图像视频中的图像进行处理，获取群体行为特征；
6、s3、基于s1中所得的个人行为特征和交互行为特征以及s2中所得的群体行为特征，设计一种与合作博弈论相结合的支路融合策略对上述三种不同层次的特征进行权重调整，实现一种动态的权重分配策略；
7、s4、设计一种基于深度学习的群体行为识别网络，对经过s3处理的三种不同层次的行为特征进行处理，实现准确的分类预测，获得最终的分类结果；
8、s5、在pycharm软件上利用pyqt工具设计实现了一套群体行为识别系统，输入s4中所得分类结果，可视化当前群体行为类别。
9、优选地，s1中所述获取个人行为特征，具体包括如下内容：
10、a1、在时间帧级别上对任务的个体运动信息进行明确定义，具体内容如下：定义在时间帧t上的人物j的个体运动信息为其中，t＝0,1,.....,t′，j＝0,1.....,j′；个体运动信息的函数表示为：
11、
12、式中，pi表示中心位置；vi表示速度；ai表示加速度；
13、a2、将当前帧中每个组员的运动信息进行整合，获得所有组员运动信息的综合表征pt，具体函数表示为：
14、
15、a3、将整段视频切分为t个连续帧，并将t帧的运动信息整合到一起作为该视频段的最终信息表征，上述信息表征记作集合g，其具体函数表示为：
16、g＝{p0,p1,p2,.....,pt′} (3)
17、式中，pt’表示第t’帧所有组员运动信息的综合表征。
18、优选地，s1中所述获取交互行为特征，具体包括如下内容：
19、b1、捕捉人物m与n之间的相对位置dm,n，获得二者的空间接触程度或接近程度；
20、b2、获取人物m与n之间的速度差vm,n，用于反映二者之间的运动协调性或冲突性；
21、b3、获取人物m与n的加速度信息，用于反映个体运动状态变化的快慢程度；进一步获取人物m与n之间的加速度差异am,n，用于反映个体之间的运动协调和互动情况；
22、b4、综合b1～b3中的多种因素，构建人物m与n的交互信息为am,n，具体函数表示为：
23、am,n＝{dm,n,vm,n,am,n} (4)
24、并在此基础上，生成当前时间帧下，群体成员m与其他成员之前的交互信息集合am，具体函数表示为：
25、am＝{am,0,am,1,am,2,......,am,j′} (5)
26、b5、使用双向交互的方式，构建整个图像中所有交互信息的综合表示i，具体函数表示为：
27、i＝{a0,a1,a2,......,aj′} (6)
28、式中，矩阵i表示一个包含多个维度的矩阵，其中每个元素用于反映不同组员之间的交互特征；
29、b6、应用卷积操作对b5中提取的交互特征进行加工，定义一个一维的卷积核k，卷积操作的函数表示如下：
30、e＝i*k (7)
【技术保护点】
1.一种基于深度学习的群体行为检测识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的群体行为检测识别方法，其特征在于，S1中所述获取个人行为特征，具体包括如下内容：
3.根据权利要求1所述的一种基于深度学习的群体行为检测识别方法，其特征在于，S1中所述获取交互行为特征，具体包括如下内容：
4.根据权利要求1所述的一种基于深度学习的群体行为检测识别方法，其特征在于，S2中所述获取群体行为特征，具体包括如下内容：
5.根据权利要求1所述的一种基于深度学习的群体行为检测识别方法，其特征在于，所述S3具体包括如下内容：
6.根据权利要求1所述的一种基于深度学习的群体行为检测识别方法，其特征在于，所述S4具体包括如下内容：
7.一种基于权利要求1-6任一项所述方法构建的基于深度学习的群体行为检测识别系统，其特征在于，所述系统包括：
【技术特征摘要】
1.一种基于深度学习的群体行为检测识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的群体行为检测识别方法，其特征在于，s1中所述获取个人行为特征，具体包括如下内容：
3.根据权利要求1所述的一种基于深度学习的群体行为检测识别方法，其特征在于，s1中所述获取交互行为特征，具体包括如下内容：
4.根据权利要求1所述的一种基于深度学习的群体行为检测识别方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。