基于双支路多尺度特征融合的新生儿肢体动作识别方法技术

本发明专利技术提供一种基于双支路多尺度特征融合的新生儿肢体动作识别方法，通过采集不同肢体动作状态下的新生儿视频，构建新生儿肢体动作视频样本集；构建基于双支路多尺度特征融合的新生儿肢体动作识别模型包括第一支路特征提取网络、第二支路特征提取网络、特征融合模块和分类器；得到新生儿肢体动作识别模型；利用得到的新生儿肢体动作识别模型对新输入的测试视频进行动作识别；该方法使用双支路从不同帧率的视频中提取动作特征，提升对细微动作变化的捕捉能力，并采用多尺度卷积注意力机制聚焦肢体动作的关键特征，有效提高新生儿肢体动作识别的准确率。

【技术实现步骤摘要】

本专利技术涉及一种基于双支路多尺度特征融合的新生儿肢体动作识别方法，属于动作识别。

技术介绍

1、动作是一种特殊的交流分析方式，能够在无法用语言表达时，通过观察他们细微的身体动作和姿态变化，揭示他们的内心状态和需求，这种反应通常在不自觉的情况下自然发生，很难被隐藏或者控制，它往往直接关联到一个人的真实情绪，能够揭示他们内心的真实感受和心理状况。新生儿的肢体动作作为动作识别研究的一个分支，专注于分析和解释婴儿在无法用语言表达时的身体语言，能够更深入的理解新生儿的非语言沟通方式，从而为他们提供更精准和及时的护理，因此新生儿相关的动作识别在人机交互、早期健康检测、医疗诊断辅助和家庭护理等领域都有非常重要的应用。

2、新生儿肢体动作识别作为一种新兴的研究领域，已经吸引了众多研究者的关注。虽然研究人员也在尝试引入注意力机制和时间金字塔网络进行动作识别，但已有的方法对于新生儿的肢体动作往往细微且短暂，现有技术可能难以准确捕捉这些微小动作的开始和结束。

3、在实际应用场景中，新生儿的动作会受到复杂背景的干扰和模型计算量大的问题，导致现有方法可能无本文档来自技高网...

【技术保护点】

1.一种基于双支路多尺度特征融合的新生儿肢体动作识别方法，其特征在于：包括以下步骤，

2.如权利要求1基于双支路多尺度特征融合的新生儿肢体动作识别方法，其特征在于：步骤S1中，新生儿肢体动作标签包括头部晃动、手指张开、握拳、手臂挥动、蹬腿和静止不动。

3.如权利要求1基于双支路多尺度特征融合的新生儿肢体动作识别方法，其特征在于：步骤S1中，时间间隔T的取值范围为8帧～64帧。

4.如权利要求1-3任一项基于双支路多尺度特征融合的新生儿肢体动作识别方法，其特征在于：步骤S2中，第二支路特征提取网络包括抽帧模块、深度卷积神经网络Net2、3个多尺度卷积注意...

【技术特征摘要】

1.一种基于双支路多尺度特征融合的新生儿肢体动作识别方法，其特征在于：包括以下步骤，

2.如权利要求1基于双支路多尺度特征融合的新生儿肢体动作识别方法，其特征在于：步骤s1中，新生儿肢体动作标签包括头部晃动、手指张开、握拳、手臂挥动、蹬腿和静止不动。

3.如权利要求1基于双支路多尺度特征融合的新生儿肢体动作识别方法，其特征在于：步骤s1中，时间间隔t的取值范围为8帧～64帧。

4.如权利要求1-3任一项基于双支路多尺度特征融合的新生儿肢体动作识别方法，其特征在于：步骤s2中，第二支路特征提取网络包括抽帧模块、深度卷积神经网络net2、3个多尺度卷积注意力模块和3个残差连接模块，

5.如权利要求4基于双支路多尺度特征融...

【专利技术属性】
技术研发人员：卢官明，张振，魏金生，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：