【技术实现步骤摘要】
本专利技术涉及轻量级动作识别，具体为一种基于知识蒸馏与动态网络的轻量级动作识别方法。
技术介绍
1、动作识别在诸如视频监控、智能安防、人机交互等领域具有广泛应用。目前的动作识别方法通常依赖复杂的深度神经网络，这些网络在预测准确性方面表现优异，但计算复杂度高，推理速度慢，不适用于低功耗设备和实时应用。因此，开发一种轻量级且准确的异常动作识别方法具有重要意义。
2、传统的动作识别方法主要包括基于手工特征的方法和基于深度学习的方法。基于手工特征的方法主要依赖对视频数据的人工特征提取，如光流、hog、hof等，然后利用分类器进行动作识别。这类方法存在特征提取效果受限和泛化能力不足的问题。
3、随着深度学习的快速发展，基于深度神经网络的动作识别方法逐渐成为主流。这些方法通常使用卷积神经网络(cnn)或循环神经网络(rnn)等结构对视频数据进行特征提取和动作识别。例如，使用三维卷积神经网络(3d-cnn)对时空信息进行建模，或将长短时记忆网络(lstm)与cnn相结合来捕捉视频的时序信息。虽然这些方法在预测准确性方面取得了显著成果，但由于网络结构的复杂性，它们在计算和存储方面的需求较高，限制了在资源受限的环境中的应用。
4、为降低复杂度，一些研究者尝试使用轻量级网络结构，如mobilenet、squeezenet等。然而，这些轻量级网络在降低计算量的同时，往往会牺牲一定的识别性能。因此，如何在保持较高识别准确性的同时，降低网络复杂度和计算需求成为了一个关键挑战。
5、知识蒸馏技术是一种通过将大
6、综上所述，为了实现轻量级且准确的动作识别方法，在保持高识别准确性的同时降低计算复杂度和推理速度，需要研究将异构网络蒸馏策略与动态网络技术相结合的新型方法。这将对视频监控、智能安防、人机交互等领域具有重要的实用价值和广泛的应用前景。
技术实现思路
1、本专利技术的目的在于提供一种基于知识蒸馏与动态网络的轻量级动作识别方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种基于知识蒸馏与动态网络的轻量级动作识别方法，包括以下步骤：
3、s1、选择大规模和丰富预训练数据的动作识别网络作为教师网络；
4、s2、输入训练数据，对教师网络的特征提取和动作识别能力进行预训练处理；
5、s3、对轻量级学生网络进行构建；
6、s4、对特征层面和输出层面进行异构知识网络蒸馏；
7、s5、对特征层面和输出层面异构知识网络蒸馏的损失函数进行更新；
8、s6、通过优化损失函数实现学生网络与教师网络之间的知识传递，使学生网络能够学习到教师网络的高级特征表示和动作识别能力；
9、s7、通过动态网络技术对学生网络根据输入视频的难度进行评估，依据输入视频的运动强度、画面复杂度等指标来评估难度，自适应地选择合适的网络分支；
10、s8、整合轻量级学生网络，对异常动作进行识别。
11、作为优选，所述s2中的对教师网络的特征提取和动作识别能力进行预训练处理具体包括：假设输入视频帧集合为x＝{x1,x1,…xn}，其中n为输入视频帧的数量x为视频帧，训练集为o，其他所需模块定义说明，定义动作识别教师骨干网络t，允许该网络大，参数量多，对视频特征的提取能力比较强，采用基于resnet-101的全局注意力的i3d网络，定义教师分类器为ft，则定义教师骨干网络的输出特征为t(x)，最终分类得分为ft(t(x))，使用交叉熵损失函数在训练数据上训练教师模型，定义为：
12、
13、其中y是该视频是否所属对应类别的标签。
14、作为优选，所述s4中的对特征层面蒸馏进行异构知识网络蒸馏具体包括以下步骤：
15、s41、计算教师骨干网络视频特征t(x)与选中的第i个学生网络分支的特征si(x)的损失；
16、s42、教师网络和学生网络是异构网络，输出特征的维度和大小不一样，
17、s43、引入一个特征对齐模块a，将教师模型的输出特征与学生分支的一致；
18、s44、使用四层1*1的卷积对齐通道，使用差值模块来对齐特征大小，记为a(t(x))，其中θa为特征对齐网络的参数，则特征层面的损失函数可以表示lfeat为：
19、lfeat＝||si(x)-a(t(x)；)||2。
20、作为优选，所述s4中的对输出层面进行异构知识网络蒸馏具体包括以下步骤：
21、s401、输出层面使用k在输出层面蒸馏中，计算教师网络t的软标签和学生网络s的输出概率分布之间的损失；
22、s402、使用kullback-leibler散度衡量两个分布之间的差异，具体的输出损失lout定义为：
23、lout＝kl(ft(t(x))||fsi(si(x)))，
24、其中fsi是学生网络第i个分支所对应的分类头，kl代表kullback-leibler散度，定义为：
25、
26、作为优选，所述s5中网络蒸馏的损失函数ldistill定义为：
27、ldistill＝λ*lfeat+(1-λ)lout，
28、其中，λ为一个权重参数，用于平衡特征层面损失和输出层面损失的贡献，根据ldistill，通过反向传播算法更新学生子网络si的权重。
29、作为优选，所述s5中的对特征层面和输出层面异构知识网络蒸馏的损失函数进行更新具体包括以下步骤：
30、s51、首先定义基础的分类损失，同教师网络一样使用交叉熵损失函数作为学生子网的基础分类函数，定义为：
31、
32、其中y是该视频是否所属对应类别的标签；
33、s52、最终的损失函数定义为：ldistill＝α*ldistill+(1-λ)lsce，
34、其中α控制蒸馏函数的权重，实际取α＝0.5；
35、s53、使用随机梯度下降的方法更新学生网络和特征对齐模块的参数，教师网络与动态路由网络的参数不随着训练而更新。
36、作为优选，所述s401中的软标签为软化后的概率分布标签。
37、作为优选，所述s7中的通过动态网络技术对学生网络根据输入视频的难度自适应地选择合适的网络分支具体包括以下步骤：
38、s71、设置一个路由决定模块d来输出视频的难本文档来自技高网...
【技术保护点】
1.一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，所述S2中的对教师网络的特征提取和动作识别能力进行预训练处理具体包括：假设输入视频帧集合为X＝{x1,x1,…xn}，其中n为输入视频帧的数量x为视频帧，训练集为O，其他所需模块定义说明，定义动作识别教师骨干网络T，允许该网络大，参数量多，对视频特征的提取能力比较强，采用基于ResNet-101的全局注意力的I3D网络，定义教师分类器为ft，则定义教师骨干网络的输出特征为T(X)，最终分类得分为ft(T(X))，使用交叉熵损失函数在训练数据上训练教师模型，定义为：
3.根据权利要求2所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，所述S4中的对特征层面蒸馏进行异构知识网络蒸馏具体包括以下步骤：
4.根据权利要求3所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，所述S4中的对输出层面进行异构知识网络蒸馏具体包括以下步骤：
5.根据权利要求
6.根据权利要求5所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，所述S5中的对特征层面和输出层面异构知识网络蒸馏的损失函数进行更新具体包括以下步骤：
7.根据权利要求6所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，所述S401中的软标签为软化后的概率分布标签。
8.根据权利要求7所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，所述S7中的通过动态网络技术对学生网络根据输入视频的难度自适应地选择合适的网络分支具体包括以下步骤：
9.根据权利要求8所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，所述S7中的动态网络技术的输入视频难度推理方法具体包括以下步骤：
...【技术特征摘要】
1.一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，所述s2中的对教师网络的特征提取和动作识别能力进行预训练处理具体包括：假设输入视频帧集合为x＝{x1,x1,…xn}，其中n为输入视频帧的数量x为视频帧，训练集为o，其他所需模块定义说明，定义动作识别教师骨干网络t，允许该网络大，参数量多，对视频特征的提取能力比较强，采用基于resnet-101的全局注意力的i3d网络，定义教师分类器为ft，则定义教师骨干网络的输出特征为t(x)，最终分类得分为ft(t(x))，使用交叉熵损失函数在训练数据上训练教师模型，定义为：
3.根据权利要求2所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在于，所述s4中的对特征层面蒸馏进行异构知识网络蒸馏具体包括以下步骤：
4.根据权利要求3所述的一种基于知识蒸馏与动态网络的轻量级动作识别方法，其特征在...
【专利技术属性】
技术研发人员：孙可，张尹锋，项琳，项显周，
申请(专利权)人：厦门天堉物联网科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。