一种基于多特征融合的动作识别方法及系统技术方案

本发明专利技术涉及一种基于多特征融合的动作识别方法及系统，其方法包括：获取目标连续视频帧及其对应的动作角度序列，利用第一识别模型和恰可察觉对所述目标连续视频帧进行预处理，消除其中的噪声和反射；利用第二识别模型对预处理后的目标连续视频帧，进行边界评估和多特征提取，并将提取到的多个特征与目标的动作角度序列进行对齐，得到特征向量；将所述特征向量和目标的动作角度序列，输入到DTW模型中，得到目标连续视频帧的动作类别。本发明专利技术通过结合SIRR和多个识别模型减小动作角度序列照中的边界不清晰，并将特征向量与DTW模型中，提高其多场合的适应性以及不连续动作识别的鲁棒性。多场合的适应性以及不连续动作识别的鲁棒性。多场合的适应性以及不连续动作识别的鲁棒性。

【技术实现步骤摘要】
一种基于多特征融合的动作识别方法及系统


[0001]本专利技术属于视觉识别和深度学习
，具体涉及一种基于多特征融合的动作识别方法及系统。

技术介绍

[0002]人体动作识别一直以来都是计算机视觉领域的热门课题之一，但是随着视频网络信息量的急剧增加，传统的机器学习方法，如基于人体关节点、基于时空兴趣点和基于密集轨迹等，已经不能满足日益增长的应用需求。所以动作识别的重心转向基于视频数据的深度学习，卷积神经网络(ConvolutionalNeuralNetwork,CNN)已经在图像分类研究中取得的成果，为视频分类任务提供了大量的信息。然而，相对于图像而言，视频还有一个待解决的时间维度，怎么捕获到视频相邻帧之间的时间维度则是研究的重点，其难点主要在于场景复杂性、动作边界的不确定性、动作的连续性和非连续性。
[0003]目标检测是计算机视觉领域的核心任务，是实现目标跟踪、行为识别的基础，目前主流基于卷积神经网络的目标检测算法分为一阶段和两阶段类型。由于框架在自然语言处理(NLP)领域取得巨大成功，研究者尝试将其迁移到计算机视觉领域。近年来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的动作识别方法，其特征在于，包括：获取目标连续视频帧及其对应的动作角度序列，利用第一识别模型和恰可察觉对所述目标连续视频帧进行预处理，消除其中的噪声和反射；利用第二识别模型对预处理后的目标连续视频帧，进行边界评估和多特征提取，并将提取到的多个特征与目标的动作角度序列进行对齐，得到特征向量；将所述特征向量和目标的动作角度序列，输入到DTW模型中，得到目标连续视频帧的动作类别。2.根据权利要求1所述的基于多特征融合的动作识别方法，其特征在于，所述第二识别模型包括：所述第二识别模型包括第一卷积神经网络和第二卷积神经网络，所述第一卷积神经网络，用于对预处理后的目标连续视频帧，进行边界评估和多特征提取，得到每个目标的边界及其多维图像特征；所述第二卷积神经网络，用于将目标连续视频帧中并按预设时间长度，将每个目标的边界和图像特征进行对齐和融合，得到目标连续视频帧的特征向量。3.根据权利要求2所述的基于多特征融合的动作识别方法，其特征在于，所述第一卷积神经网络为Center
‑
net，所述第二卷积神经网络为Transformer。4.根据权利要求1所述的基于多特征融合的动作识别方法，其特征在于，所述将所述特征向量和目标的动作角度序列，输入到DTW模型中，得到目标连续视频帧的动作类别包括：确定目标连续视频帧的一个或多个模板动作序列；基于所述特征向量和欧式距离计算每个模板动作序列与目标连续视频帧的相似度；将匹配到的相似度最高的模板动作序列的类别，作为目标连续视频帧的动作类别。5.根据权利要求4所述的基于多特征融合的动作识别方法，其特征在于，所述基于所述特征向量和欧式距离计每个模板动作序列与目标连续视频帧的相似度包括：基于特征向量和规整路径，确定并计算匹配的目标连续...

【专利技术属性】
技术研发人员：蒲诗睿，夏勇，
申请(专利权)人：武汉启创赋能智能科技有限公司，
类型：发明
国别省市：