基于深度卷积对抗神经网络的人体动作雷达图像分类方法技术

本发明专利技术涉及一种基于深度卷积对抗神经网络的人体动作雷达图像分类方法，包括：构建数据集；通过DCGAN实现雷达图像数据增强：建立DCGAN网络，利用网络单独学习每一个雷达谱图，根据网络学到的特征生成新的雷达谱图，在数据量一定的情况下，扩充训练集样本，通过网络调节参数，使得生成失败图像最少，最大限度的扩充数据集，实现数据增强；提取雷达图像的上、中、下三个包络，作为特征向量，上下包络代表人体四肢回波径向速度，中间包络代表人体躯干的回波径向速度，将三个特征向量作为支持向量机分类器的输入，利用支持向量机对雷达图像数据分类。

Human motion radar image classification method based on deep convolution and anti neural network

The invention relates to a classification method of human action radar image based on depth convolution countermeasure neural network, which includes: constructing data sets; enhancing radar image data through DCGAN; establishing DCGAN network; learning each radar spectrum by network alone; generating a new radar spectrum according to the characteristics learned by network; and in number In the case of a certain amount of data, the training set samples are expanded, and the parameters are adjusted by the network to minimize the number of failed images and maximize the data set to enhance the data. The upper, middle and lower envelopes of radar images are extracted as feature vectors, and the upper and lower envelopes represent the radial velocity of human limb echoes and the tundish. Three feature vectors are used as input of SVM classifier to classify radar image data, which represents the radial velocity of human trunk.

【技术实现步骤摘要】
基于深度卷积对抗神经网络的人体动作雷达图像分类方法
本专利技术属于人体动作行为识别、雷达目标检测、数据增强、深度卷积对抗神经网络(DCGAN，DeepConvolutionalGenerativeAdversarialNetworks)与机器学习领域，涉及对雷达图像的特征提取并利用DCGAN进行数据增强并进行人体动作分类的问题。
技术介绍
人体动作行为识别[1]是近年来计算机视觉领域一个研究热点，其广泛应用于人机交互、虚拟现实、和视频监控等领域，尽管近几年来国内外人体动作行为识别的研究取得了诸多进展，但人体运动的高复杂性和多变化性使得识别高效性与准确度不能完全满足各个行业的相关要求。人体动作行为识别的难点主要在于空间的复杂性与时间的差异性。空间复杂性包括不同的视角、背景、光照的动作场景问题，人体动作在不同方向、角度上的不同幅度问题，人与人、人与物之间的相互遮挡问题；时间差异性包括无法确定人体动作发生的时间点问题，判断动作作用的有效时间和间隔问题，动作中出现的空白间隙问题。这两个问题使得人体动作行为识别研究领域没有统一有效的框架、相关技术和统一有效的分析分类方法。因此本专利技术使用多普勒雷达作为传感器来检测人体动作行为。随着多普勒雷达[2]精度的上升和使用成本的下降，利用其检测人体目标成为了新的研究热点。雷达发射的信号照射在运动目标产生的回波包含了丰富的多普勒频率信息，同时身体各部位的相对运动会产生复杂的微多普勒频移(Micro-Doppler)，微多普勒频移包含丰富的运动信息。因此利用多普勒雷达检测人体动作行为有很大的发展空间。利用多普勒雷达检测人体目标可以广泛的应用到灾害援助、安全防护、国防建设等多个方面。接收器接收到的回波信号可以通过短时傅里叶变换(ShortTimeFourierTransform,STFT)得到的雷达谱图，再选用合适的分类工具进行分类。支持向量机[3](supportvectormachine，SVM)是在1995年正式发表的一种经典的二分类模型，支持向量机的分类标准起源于Logistic回归，其基本模型定义为特征空间上的间隔最大的线性分类器。因其在文本任务分类中的显示出的卓越性能很快成为机器学习的主流技术。统计学习带来的核函数(kernelfunction)使得支持向量机具备强大的生命力，核函数直接决定了支持向量机的最终性能，但核函数的选择一直是一个未决问题，比较通用的核函数包括：线性核、多项式核、高斯核等等。生成式对抗网络[4](GenerativeAdversarialNets，GAN)自2014年提出就得到了广泛的关注，其模型主要由一个生成器和一个判别器组成。生成式对抗网络中生成器和判别器之间的相互对抗，使得输出的数据分布无限接近真实数据分布，GAN给众多研究者提供了新的训练思路，极大的推动了人工智能的发展。[1]李瑞峰,王亮亮,&王珂.(2014).人体动作行为识别研究综述.模式识别与人工智能,27(1),35-48.[2]Chen,V.C.(2000).Analysisofradarmicro-Dopplerwithtime-frequencytransform.StatisticalSignalandArrayProcessing,2000.ProceedingsoftheTenthIEEEWorkshopon(pp.463-466).IEEE.[3]Ukil,A.(2002).Supportvectormachine.ComputerScience,1(4),1-28.[4]Goodfellow,I.J.,Pouget-Abadie,J.,Mirza,M.,Xu,B.,Warde-Farley,D.,&Ozair,S.,etal.(2014).Generativeadversarialnets.InternationalConferenceonNeuralInformationProcessingSystems(Vol.3,pp.2672-2680).MITPress.本专利技术将生成式对抗网络与雷达人体动作分类达相结合，对于安全防护，军事监控，消防救援等实际工作具有极大帮助。
技术实现思路
本专利技术的目的是提供一种针对雷达数据量不足的实际问题，提出一种切实可靠的数据增强方法并将此方法应用于人体动作雷达图像分类方法。本专利技术以支持向量机作为分类器，对七种人体动作行为雷达数据进行分类，考虑到雷达图像数据量不足的情况，本专利技术采用生成式对抗式网络进行数据增强。技术方案如下：一种基于深度卷积对抗神经网络的人体动作雷达图像分类方法，包括下列步骤：(1)构建数据集；利用光学运动捕捉器采集人体行为动作的数据构建数据集，该数据集的雷达回波在椭球形人体模型下计算得到。雷达回波经过短时傅里叶变换得到雷达谱图；(2)通过DCGAN实现雷达图像数据增强：建立DCGAN网络，利用网络单独学习每一个雷达谱图，根据网络学到的特征生成新的雷达谱图，在数据量一定的情况下，扩充训练集样本，通过网络调节参数，使得生成失败图像最少，最大限度的扩充数据集，实现数据增强；(3)提取雷达图像的上、中、下三个包络，作为特征向量，上下包络代表人体四肢回波径向速度，中间包络代表人体躯干的回波径向速度，将三个特征向量作为支持向量机分类器的输入，利用支持向量机对雷达图像数据分类；(4)将DCGAN生成的雷达图像作为增强数据加入训练集中，通过支持向量机训练得到分类模型。本专利技术依据生成式对抗网络可以自主实现无监督学习的特点，提出一种适用于提高雷达图像识别效果的数据增强方式来提高人体行为识别的准确率。本专利技术以基于MOCAP数据集生成的雷达多普勒图像和经过数据增强后的图像为研究对象，包括数据集的构建与增强、生成式对抗网络的建立、模型训练和测试。本专利技术根据雷达系统的优点，针对雷达数据量不足的客观条件，提出了一种新颖的数据增强方法，进而使基于雷达图像的人体动作分类准确率得到提高。附图说明图1为DCGAN结构模型。图2为生成器结构模型。图3为人体椭球模型。图4为七种动作的雷达频谱图像。具体实施方式为使本专利技术的技术方案更加清楚，下面对本专利技术具体实施方式做进一步地描述。本专利技术按以下步骤具体实现：1.雷达时频图像数据集构建本专利技术采用由卡内基梅隆大学图形实验室建立的MOCAP数据集。该数据集依据人体椭球体动作模型采集数据，该模型源自Boulic人体步态模型，Boulic在1990年提出的一个全球人体步态模型，该模型对人体目标回波建模，可以将人体分为十个散射部位，分别是头部、胸腔、左大臂、右大臂、左小臂、右小臂、左大腿、右大腿、左小腿和右小腿。不同的肢体运动有不同的运动曲线方程，人体的回波形式即所有不同肢体运动情况的加和。这十个散射部位建模所用到的形状以及各自的相关参数取值具体如表1所示。表1：人体散射部位列表散射部位形状长度符号值/m半径符号值/m头部球体----Rhe0.20躯干椭球体Hto0.80Rto0.25上臂椭球体Hua0.45Rua0.05前臂椭球体Hla0.45Rla0.04大腿椭球体Hul0.50Rul0.10小腿椭球体Hll0.50Rll0.07圆和椭球体的RCS计算公式如下：σ＝πR2(1)人体十个散射部位的本文档来自技高网...

【技术保护点】
1.一种基于深度卷积对抗神经网络的人体动作雷达图像分类方法，包括下列步骤：(1)构建数据集；利用光学运动捕捉器采集人体行为动作的数据构建数据集，该数据集的雷达回波在椭球形人体模型下计算得到。雷达回波经过短时傅里叶变换得到雷达谱图；(2)通过DCGAN实现雷达图像数据增强：建立DCGAN网络，利用网络单独学习每一个雷达谱图，根据网络学到的特征生成新的雷达谱图，在数据量一定的情况下，扩充训练集样本，通过网络调节参数，使得生成失败图像最少，最大限度的扩充数据集，实现数据增强；(3)提取雷达图像的上、中、下三个包络，作为特征向量，上下包络代表人体四肢回波径向速度，中间包络代表人体躯干的回波径向速度，将三个特征向量作为支持向量机分类器的输入，利用支持向量机对雷达图像数据分类；(4)将DCGAN生成的雷达图像作为增强数据加入训练集中，通过支持向量机训练得到分类模型。

【技术特征摘要】
1.一种基于深度卷积对抗神经网络的人体动作雷达图像分类方法，包括下列步骤：(1)构建数据集；利用光学运动捕捉器采集人体行为动作的数据构建数据集，该数据集的雷达回波在椭球形人体模型下计算得到。雷达回波经过短时傅里叶变换得到雷达谱图；(2)通过DCGAN实现雷达图像数据增强：建立DCGAN网络，利用网络单独学习每一个雷达谱图，根据网络学到的特征生成新的雷达谱图，在数据量一定的情况下，...

【专利技术属性】
技术研发人员：侯春萍，徐金辰，杨阳，郎玥，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12