【技术实现步骤摘要】
基于多普勒雷达时频图像序列与交叉卷积神经网络人体动作重构方法及系统
本专利技术涉及到雷达图像目标动作序列的重构和以深度学习为基础的图像处理
，特别是一种基于多普勒雷达时频图像序列与交叉卷积神经网络重构人体动作方法及系统。
技术介绍
人体动作检测是一种热门的
，其在人机交互、生物医疗和计算机行为学
上拥有大量的研究。在传统的动作检测的领域上，使用压力传感器、Kinect深度摄像头和可穿戴设备用于识别人体动作并进行检测的方法是最为经典且为最有效的技术，特别是Kinect摄像头可用于人机交互的领域中，而在新兴的领域中，就有使用雷达图像技术来识别人体动作和手势类型的方法，这其中就包含了使用多普勒雷达图像进而识别人体动作类型的相关研究。多普勒雷达的原理是多普勒效应，而雷达的多普勒效应是通过发射某个频率的雷达波束，并接收运动人体返回回波的多普勒频率来计算出目标人体的速度。与其他雷达相比较，其优点在于多普勒雷达作用范围较于其他雷达的可作用范围要远，并且人体任意一个部位的运动都会产生多普勒频率，因而可以被多...
【技术保护点】
1.基于多普勒雷达时频图像序列与交叉卷积神经网络的人体动作重构方法，其特征在于：包括以下步骤：/n获取人体运动的多普勒雷达数据；获取人体运动的人体目标运动数据；/n对多普勒雷达数据进行时频分析处理得到相应的时频谱图；将多普勒雷达数据的时频谱图划分为数段的子多普勒雷达数据；/n将各子多普勒雷达数据输入到现实图像神经网路；/n将人体目标运动数据划分为数段的子人体目标运动数据；通过子人体目标运动数据得到人体各肢体的运动增量，并制作运动增量的标签集；/n将各子人体目标运动数据输入到运动估计神经网络进行网络训练处理；/n将运动估计神经网络输出的结果与现实图像神经网络的运算结果进行对比...
【技术特征摘要】 【专利技术属性】
1.基于多普勒雷达时频图像序列与交叉卷积神经网络的人体动作重构方法，其特征在于：包括以下步骤：
获取人体运动的多普勒雷达数据；获取人体运动的人体目标运动数据；
对多普勒雷达数据进行时频分析处理得到相应的时频谱图；将多普勒雷达数据的时频谱图划分为数段的子多普勒雷达数据；
将各子多普勒雷达数据输入到现实图像神经网路；
将人体目标运动数据划分为数段的子人体目标运动数据；通过子人体目标运动数据得到人体各肢体的运动增量，并制作运动增量的标签集；
将各子人体目标运动数据输入到运动估计神经网络进行网络训练处理；
将运动估计神经网络输出的结果与现实图像神经网络的运算结果进行对比，得到单位时长中人体目标的增量值；
根据初始人体动作与人体目标的增量值计算得到人体目标的动作坐标。
2.如权利要求1所述的方法，其特征在于：所述人体运动的人体目标运动数据是通过Kinect摄像头采集得到的Kinect人体运动数据，所述人体目标运动数据包括人体关节的运动数据。
3.如权利要求1所述的方法，其特征在于：所述时频谱图按照以下步骤得到：
合成多普勒雷达数据；
对合成后的多普勒雷达数据使用短时傅里叶变换；
并对处理中的数据进行加窗处理得到时频谱图。
4.如权利要求1所述的方法，其特征在于：所述子多普勒雷达数据为等时子多普勒雷达数据，所述子人体目标运动数据为等时子人体目标运动数据，所述时子多普勒雷达数据和等时子人体目标运动数据按照以下步骤进行分割处理：设置时长tp，并按照时长tp分割人体目标运动数据和多普勒雷达数据。
5.如权利要求1所述的方法，其特征在于：所述各子多普勒雷达数据转化为RGB三通道后输入现实图像神经网路的输入层。
6.如权利要求1所述的方法，其特征在于：所述运动估计神经网络采用交叉卷积神经网络，所述交叉卷积神经网络按照以下方式进行网络训练处理：
设置交叉卷积神经网络；所述交叉卷积神经网络的中间层并采用Sigmoid函数作为激活函数，设置交叉卷积神经网络的卷积层和池化层，所述卷积层的卷积核和池化层的池化核均采用等步长移动；
将人体各肢体的运动增量输入到输入层；
计算人体运动增量作和神经网络的实际输出值的均方误差；
将均方误差作为损失函数进行训练，并更新交叉卷积神经网络的权重；
交叉卷积神经网络输出单位时长的增量值。
7.如权利要求1所述的方法，其特征在于：所述运动估计神经网络进行网络训练处理完成后按照以下步骤计算人体目标的动作坐标：
将运动估计神经网络处理后输出的运动增量和人体目标运动数据的按照输出顺序进行组合得到每个关节的组合数据；
技术研发人员：向宇涛，贾勇，陈怡良，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。