基于生成对抗网络的人体步态图像视角转化方法技术

本发明专利技术属于步态识别技术领域，具体提供一种基于生成对抗网络的人体步态图像视角转化方法。本发明专利技术通过在训练过程中引入多种不同类型的判别器，并通过合理设置训练策略，从而使得该视角转化方法可以将输入视角下步态图像转化到多个不同目标视角，并且在转化的过程中有效避免身份信息的丢失。该视角转化方法可以被有效应用在跨视角步态识别场景中，通过将不同视角的步态图像转化到多个统一的视角，一方面，消除了视角差异对于步态识别准确率的影响，另一方面，相比于其他方法只转化到一个统一视角，本方法通过转化到多个统一视角，为后续身份识别提供了更加丰富的数据，可以有效提升跨视角步态识别准确率。

【技术实现步骤摘要】
基于生成对抗网络的人体步态图像视角转化方法
本专利技术属于步态识别
，具体涉及一种基于生成对抗网络的人体步态图像视角转化方法。
技术介绍
随着现代社会的快速发展，信息化和智能化已经逐渐深入社会建设的各个方面；而运用信息技术和智能技术保障社会安全，降低各类违法犯罪率，提升人民生活的安全感和幸福感是社会建设中的重要一环；在这当中，对于用户进行身份识别是保障公民个人信息安全和公共安全的有效手段之一。相比于传统的人体身份识别特征诸如人脸、指纹、DNA等，人体步态特征的获取无需受测者的配合，无需侵入受测者体内，识别距离较远，能够在受测者未察觉的情况下获取身份特征，从而难以对识别系统进行误导和欺骗；与此同时，相比于DNA等需要进行化学提取和分析的生物特征，步态特征可以通过监控摄像头直接获取并进行识别，其实时性较高。因此，步态识别作为一种生物特征识别技术，具有重要潜在应用价值。然而，步态识别技术在发展的过程中，也面临着一些棘手的问题，其中，跨视角问题是最具有代表性的一类；由于人体行走方向的不确定性，摄像头与人体往往形成一定的角度，在不同角度下得到的具有相同身份的人体步态图像具有显著差别。根据相关文献和资料，在步态识别的应用场景中，当获取到的需要识别的步态图像集(验证集)的视角与用于比对的步态图像集(注册集)的视角差别较大时，步态身份识别的准确率会出现断崖式地下降；这也成为了步态识别走向大规模应用的一大障碍。传统的基于图像特征提取的步态识别方法由于在视角跨度较大的情形下难以有效提取与角度无关的人体步态特征，故识别率受视角变化的影响较为严重。而近些年来，随着机器学习技术和深度学习技术的不断发展，有研究人员开始尝试将不同视角下的步态图像转化到统一视角，以此来消除视角差异对于步态识别的影响，并且已经取得了一定的研究成果，被学术界和工业界认为是解决跨视角步态识别问题的一种有效思路。而步态图像视角转化作为这一过程的核心技术，其方法性能的优劣对于能否有效提升跨视角步态识别准确率来说至关重要。然而，就目前的研究及应用状况来说，现有的人体步态图像视角转化方法往往只是相对粗糙地对人体行走轮廓进行角度转化，在转化过程中丢失了许多不同人体步态图像所独有的身份信息，因此得到的转化后图像往往存在着失真、与原图像差异过大、不同类别间差异不明显等情况，会严重影响后续步态识别的准确率。除此之外，现有的步态图像视角转化方法往往只能将不同视角下的步态图像转化到某一固定的视角，比如统一转化到90度视角下的步态图像；然而，对于步态身份识别任务来说，某一固定视角下的步态图像含有的身份信息往往较为有限，例如90度视角下的步态图像无法反映测试者正面的身材、走路时身体的左右摇晃等信息；而0度视角下的步态图像无法反映测试者行走时四肢的摆动，身体的前后摇晃和形体姿态(如驼背)等信息，而上述这些信息都可以作为判断受测者身份的重要依据；可见，只将步态图像转化至某一固定视角，可能会造成某些对识别来说重要的身份信息在这一视角下无法表现出来，从而对身份的识别造成局限。这对以上问题，我们对人体步态图像的视角转化方法展开研究，并且提出一种新型的基于生成对抗网络的人体步态图像视角转化方法，从而利用某一个体在某一视角下的步态图像，得到该个体其他不同视角的清晰准确的步态图像，对于提升跨视角步态识别的准确率，推动步态识别尽快走向实际应用具有重要意义。
技术实现思路
本专利技术的目的在于针对步态图像视角转化过程中存在的问题，提供了一种基于生成对抗网络的人体步态图像视角转化方法；不同于以往方法中只能将步态图像转化至某一固定视角，本专利技术能够由某一视角下的步态图像，直接一次性得到该个体在所有视角下对应的步态图像，并且在转化过程中避免其身份信息发生丢失。利用此视角转化模型，一方面能够消除注册集和验证集之间步态图像视角差异对于步态识别任务造成的影响，另一方面，利用得到的不同视角下的步态图像，能够获取到反映该个体身份的更加丰富的特征，从而有效提高跨视角步态身份识别的准确性。为实现上述目的，本专利技术采用的技术方案为：一种基于生成对抗网络的人体步态图像视角转化方法，包括以下步骤：步骤1：基于高斯背景模型对步态视频序列进行背景建模，通过背景提取得到二值化的步态前景轮廓图；对步态前景图轮廓图进行范围归一化处理，随后利用图像形态学操作对轮廓图进行进一步处理，消除轮廓图中存在的空洞和噪声，最后对以上处理过后且位于单位步态周期的步态轮廓图进行平均处理，得到步态图像；步骤2：根据预设目标角度，将步态图像与目标视角输入视角转化网络，视角转化网络输出目标视角下步态图像；所述视角转化网络为具有多个判别器的生成对抗网络，包括：图像生成器G、图像真假判别器Drf、步态图像视角判别器Dview、跨视角身份保持判别器Dcr与同视角身份保持判别器Dca；所述图像生成器G由相互对称的CNN网络(卷积神经网络)和TCNN网络(转置卷积神经网络)组成，且CNN网络和TCNN网络中对称层短路连接；其中，CNN网络和TCNN网络均包括4层卷积层；进一步的，所述图像生成器G中，CNN网络和TCNN网络的每层卷积层的卷积核大小为4、步长为2；所述CNN网络中第1层卷积层的输入通道数为1，第1层～第4层卷积层的输出通道数依次为96、192、384、768；所述TCNN网络与CNN网络对称设置。所述图像真假判别器Drf由CNN网络和FC网络组成；其中，CNN网络包括5层卷积层，FC网络包括4层全连接层；进一步的，所述图像真假判别器Drf中，CNN网络的每层卷积层的卷积核大小为3，第1层～第4层卷积层的步长为2、第5层的卷积层的步长为1，第1层卷积层的输入通道数为1，第1层～第5层卷积层的输出通道数依次为32、64、128、256、512；FC网络的第1层全连接层的输入通道数为512，第1层～第4层全连接层的输出通道数依次为100、50、10、1。所述步态图像视角判别器Dview由CNN网络和FC网络组成，其中，CNN网络与图像真假判别器Drf中CNN网络相同，FC网络包括3层全连接层；进一步的，所述步态图像视角判别器Dview中，FC网络的第1层全连接层的输入通道数为512，第1层～第3层全连接层的输出通道数依次为100、50、Q，Q表示步态图像视角总数。所述跨视角身份保持判别器Dcr与同视角身份保持判别器Dca结构相同、均由局部信息判别分支和全局信息判别分支构成，为了方便表述，将Dcr和Dca的全局信息判别分支分别令为Dcrg和Dcag，局部信息判别分支分别令为Dcrl和Dcal。其中，局部信息判别分支由CNN网络组成、包括4层卷积层；全局信息判别分支由CNN网络和FC网络组成，CNN网络包括5层卷积层，FC网络与图像真假判别器Drf中FC网络结构相同；进一步的，所述跨视角身份保持判别器Dcr中，局部信息判别分支中CNN网络的每层卷积层的步长为2，第1层～第3层卷积层的卷积核大小为2、第4层卷积层的卷积核大小为1，第1层卷积层的输入通道数为2，第1层～第4本文档来自技高网...

【技术保护点】
1.基于生成对抗网络的人体步态图像视角转化方法，包括以下步骤：/n步骤1：基于高斯背景模型对步态视频序列进行背景建模，通过背景提取得到二值化的步态前景轮廓图；对步态前景图轮廓图进行范围归一化处理，随后利用图像形态学操作对轮廓图进行进一步处理，最后对处理后且位于单位步态周期的步态轮廓图进行平均处理，得到步态图像；/n步骤2：根据预设目标角度，将步态图像与目标视角输入视角转化网络，视角转化网络输出目标视角下步态图像；/n所述视角转化网络为具有多个判别器的生成对抗网络，包括：图像生成器G、图像真假判别器D

【技术特征摘要】
1.基于生成对抗网络的人体步态图像视角转化方法，包括以下步骤：
步骤1：基于高斯背景模型对步态视频序列进行背景建模，通过背景提取得到二值化的步态前景轮廓图；对步态前景图轮廓图进行范围归一化处理，随后利用图像形态学操作对轮廓图进行进一步处理，最后对处理后且位于单位步态周期的步态轮廓图进行平均处理，得到步态图像；
步骤2：根据预设目标角度，将步态图像与目标视角输入视角转化网络，视角转化网络输出目标视角下步态图像；
所述视角转化网络为具有多个判别器的生成对抗网络，包括：图像生成器G、图像真假判别器Drf、步态图像视角判别器Dview、跨视角身份保持判别器Dcr与同视角身份保持判别器Dca；
所述图像生成器G由相互对称的CNN网络(卷积神经网络)和TCNN网络(转置卷积神经网络)组成，且CNN网络和TCNN网络中对称层短路连接；其中，CNN网络和TCNN网络均包括4层卷积层；
所述图像真假判别器Drf由CNN网络和FC网络组成；其中，CNN网络包括5层卷积层，FC网络包括4层全连接层；
所述步态图像视角判别器Dview由CNN网络和FC网络组成，其中，CNN网络与图像真假判别器Drf中CNN网络相同，FC网络包括3层全连接层；
所述跨视角身份保持判别器Dcr与同视角身份保持判别器Dca结构相同、均由局部信息判别分支和全局信息判别分支构成，为了方便表述，将Dcr和Dca的全局信息判别分支分别令为Dcrg和Dcag，局部信息判别分支分别令为Dcrl和Dcal。其中，局部信息判别分支由CNN网络组成、包括4层卷积层；全局信息判别分支由CNN网络和FC网络组成，CNN网络包括5层卷积层，FC网络与图像真假判别器Drf中FC网络结构相同。


2.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法，其特征在于，所述图像生成器G中，CNN网络和TCNN网络的每层卷积层的卷积核大小为4、步长为2；所述CNN网络中第1层卷积层的输入通道数为1，第1层～第4层卷积层的输出通道数依次为96、192、384、768；所述TCNN网络与CNN网络对称设置。


3.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法，其特征在于，所述图像真假判别器Drf中，CNN网络的每层卷积层的卷积核大小为3，第1层～第4层卷积层的步长为2、第5层的卷积层的步长为1，第1层卷积层的输入通道数为1，第1层～第5层卷积层的输出通道数依次为32、64、128、256、512；FC网络的第1层全连接层的输入通道数为512，第1层～第4层全连接层的输出通道数依次为100、50、10、1。


4.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法，其特征在于，所述步态图像视角判别器Dview中，FC网络的第1层全连接层的输入通道数为512，第1层～第3层全连接层的输出通道数依次为100、50、Q，Q表示步态图像视角总数。


5.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法，其特征在于，所述跨视角身份保持判别器Dcr中，局部信息判别分支中CNN网络的每层卷积层的步长为2，第1层～第3层卷积层的卷积核大小为2、第4层卷积层的卷积核大小为1，第1层卷积层的输入通道数为2，第1层～第4层卷积层的输出通道数依次为32、64、128、1；
全局信息判别分支中CNN网络的每层卷积层的卷积核大小为3，第1层～第4层卷积层的步长为2、第五层的卷积层的步长为1，第1层卷积层的输入通道数为2，第1层～第5层卷积层的输出通道数依次为32、64、128、256、512。


6.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法，其特征在于，所述视角转化网络的训练过程如...

【专利技术属性】
技术研发人员：刘欣刚，孙睿成，韩硕，江浩杨，曾昕，代成，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51