基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法技术

基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，包括：利用多层压缩感知实现视频帧的视觉屏蔽效果并对数据集基于行为变化进行四分类提取前景帧；使用DCGAN技术进行时空信息迁移补偿用以对压缩态的图像补偿后既保留其视觉屏蔽效果又实现特征的强化的目的；对补偿后的图像提取同态BWLBP

【技术实现步骤摘要】
基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法。

技术介绍

[0002]由于人口老龄化和空巢老人数量的增加，对老年人健康监测的研究一直是一个热门的学术课题。有些调查报告还指出，大多数老年人受伤和住院的主要原因是跌倒。如果没有及时发现意外跌倒，老年人将因缺乏及时的治疗而受到严重的伤害。而且对于老人跌倒的姿势也需要一定程度的说明，坐着摔倒与走着跌倒也是不同的急救措施，因为不同姿势跌倒时，主要的伤害位置是不同的。因此，寻找一种有效的居家健康监测方法的研究将有助于更快地应对潜在的紧急情况，特别是对于独居老年人的监护人来说。
[0003]居家老人健康监测方法大致可分为三种类型：基于可穿戴设备的方法、基于环境设备的方法和基于视觉的方法。但是可穿戴设备一直佩戴会给人们带来一定程度的不适；基于环境设备的方法成本高、维护困难，不适用于普通家庭。而随着摄像机在健康监测系统中的日益应用，基于视觉的人体行为变化识别方法已经引起了广泛的关注。该方法只关注相机捕捉到的帧，利用图像处理和模式识别技术来检测行为变化。不仅设备安装成本较低，干扰程度较小，而且摄像机还可以同时记录各种日常活动。然而，传统的基于视觉上清晰的图像进行居家监测会带来隐私泄露的风险。特别是对于浴室和厕所这些容易泄露个人隐私的地点，而又是老年人最常发生意外的地方。因此，设计一个考虑到个人隐私的居家健康行为视频监测系统具有深远的意义和应用价值。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术提供一种基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，研究了一套从视觉屏蔽视频中提取人体动目标再进行特征强化的方法，接着基于提取出的时序性纹理特征设计了一个基于联合分类误差和标签一致正则化的多分类居家人体姿态变化识别方案。
[0005]为了达到上述目的，本专利技术是通过以下技术方案实现的：
[0006]本专利技术是一种基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，包括以下步骤：
[0007]步骤1：获取跌倒视频数据集，对其进行多层CS采样，使视频内容达到人眼不可辨的效果，再运用低秩稀疏分解理论与相似度距离的帧融合提取同态动目标；
[0008]步骤2：基于提取的前景帧运用DCGAN的方法进行时空信息迁移补偿，补偿后再进行粹化来过滤噪声点；
[0009]步骤3：视频同态BWLBP
‑
TOP特征提取，有效表达一个视频的动目标特征的一维时序纹理特征，不仅保留了空间特征信息，也保留了时间特征信息；
[0010]步骤4：基于联合分类误差和标签一致正则化的居家健康行为视频同态监测，得到四种人体行为变化下各自识别结果。
[0011]优选地，步骤1进一步包括：
[0012]步骤1.1：选取跌倒数据集
[0013]步骤1.2：对跌倒数据集进行多层CS采样编码处理，随着降维层数的增加，图像质量不断下降，视频内容逐渐达到屏蔽状态；将CS3层称为视觉屏蔽层或压缩态；
[0014]步骤1.3：将原始态视频与压缩态视频都进行低秩稀疏法来分离前后景，然后基于相似度距离的前景帧叠加方式减少压缩视频产生的随机噪声；对高相似度的视频帧融合，以使前景图像中的运动目标完整；然后提取出同态动目标。
[0015]优选地，步骤2进一步包括：
[0016]步骤2.1：了解DCGAN模型主要是通过生成器和判别器相互竞争，最终达到纳什均衡；整个过程可归纳为一个二元极小极大博弈：
[0017][0018]其中：V(D,G)为二分类任务里常用的交叉熵损失，P
data
(x)为真实数据分布，P
z
(z)为噪声分布，D(x)表x源于真实数据，G(z)表示随机噪声经生成器后的生成样本；在训练过程中，判别器D目的为最大化判别准确率，生成器G的目的在于最小化判别器D的判别准确率的最大值，即
[0019]步骤2.2：基于DCGAN进行改进，设计出DCGAN网络来实现时空信息迁移补偿，补偿器端的输入为压缩态动目标时空特征，迁移器端输入原始态动目标时空特征；
[0020]步骤2.2.1：对补偿器进行固定，训练迁移器，输入batchsize＝30的真实数据到迁移网络中，进行反向传播，网络权重优化；
[0021]步骤2.2.2：对迁移器保持不变，使达到最大，训练补偿器得到的fake张量，将此张量传递到迁移网络中进行反向传播，网络权重优化；
[0022]步骤2.2.3：迁移条件为每个图像对应的label值与Migrator得到的值进行计算并分别反馈给Compensator和Migrator，并依此进行优化器优化，然后输出Compensator特征补偿后的图像，重复第一步以及第二步，多次迭代后直到Compensator与Migrator达到纳什均衡；
[0023]步骤2.3：对得到的补偿帧通过低秩稀疏法与前景帧叠加的方式进行粹化，降低Migrator网络多层卷积下形成的大量噪声点。
[0024]优选地，步骤3进一步包括：
[0025]步骤3.1：为了得到补偿帧的基于块的不同贡献度的时序纹理特征，首先需要计算每一小块的权重矩阵：
[0026][0027]其中，i、j是块索引，取值为i、j＝1,2,3,...N；H和W分别代表每一个小块的高与宽；F表示补偿帧；
[0028]步骤3.2：通过运动强度C
ij
归一化到[0,1]得到时序纹理特征的权重矩阵M
ij
：
[0029]M
ij
＝C
ij
/MAX({C
ij
|i,j＝1,2,3,...,N})
[0030]其中，函数MAX表示运动强度C
ij
的集合中的最大值；
[0031]步骤3.3：LBP
‑
TOP是对图像的外观和运动进行三个方向的编码，即将LBP应用到XY、XT、YT三个平面，其中XY平面有着丰富的外观信息，XT、YT平面包含重要的时域信息；从每个块卷中分别提取三个平面的BWLBP
‑
TOP特征描述符并连接成一个向量；因此一个块卷的特征直方图公式描述为：
[0032][0033]其中分别表示XY、XT、YT三个平面的BWLBP
‑
TOP特征，提取的BWLBP
‑
TOP直方图公式与相应的权重相乘，形成多层压缩态视频四分类识别的加权特征，如下式所示：
[0034]H
′
i,j,t
＝M
ij
×
H
i,j,t
[0035]H
′
i,j,t
为时序加权特征，M
ij
为相应块的权重，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：所述监测方法包括如下步骤：步骤1：获取跌倒视频数据集，对其进行多层CS采样，使视频内容达到人眼不可辨的效果，再运用低秩稀疏分解理论与相似度距离的帧融合提取同态动目标，得到前景帧；步骤2：基于提取的前景帧运用DCGAN的方法进行时空信息迁移补偿，补偿后再进行粹化来过滤噪声点；步骤3：提取视频同态BWLBP
‑
TOP特征，获得表达一个视频的动目标特征的一维时序纹理特征即时序加权特征，同时保留空间和时间的特征信息；步骤4：结合得到的BWLBP
‑
TOP特征，基于分类误差和标签一致正则化LC
‑
KSVD2，实现居家健康行为视频同态监测，对人体行为变化进行识别。2.根据权利要求1所述基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：步骤1提取同态动目标包括如下步骤：步骤1.1：选取跌倒数据集步骤1.2：对跌倒数据集进行多层CS采样编码处理，随着降维层数的增加，图像质量不断下降，视频内容逐渐达到屏蔽状态；将CS3层称为视觉屏蔽层或压缩态；步骤1.3：将原始态视频与压缩态视频都进行低秩稀疏法来分离前后景，然后基于相似度距离的前景帧叠加方式减少压缩视频产生的随机噪声；对高相似度的视频帧融合，以使前景图像中的运动目标完整；然后提取出同态动目标。3.根据权利要求1所述的基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：所述步骤2中基于DCGAN时空信息迁移补偿过程具体包括如下步骤：步骤2.1：DCGAN模型的过程归纳为一个二元极小极大博弈：其中：V(D,G)为二分类任务里常用的交叉熵损失，P
data
(x)为真实数据分布，P
z
(z)为噪声分布，D(x)表示x源于真实数据，G(z)表示随机噪声经生成器后的生成样本；在训练过程中，判别器D目的为最大化判别准确率，生成器G的目的在于最小化判别器D的判别准确率的最大值，即步骤2.2：设计DCGAN网络来实现时空信息迁移补偿，补偿器Compensator端的输入为压缩态动目标时空特征，迁移器Migrator端的输入为原始态动目标时空特征，经过多次迭代输出结果：步骤2.3：对得到的补偿帧通过低秩稀疏法与前景帧叠加的方式进行粹化，降低噪声点。4.根据权利要求3所述的基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：步骤2.2中，设计的DCGAN网络包括补偿器Compensator和迁移器Migrator；补偿器Compensator依次包括两个由逆卷积层、BN层、ReLU层组成的单元、卷积层和Tanh层；迁移器Migrator依次包括六个由卷积层、BN层、LeakyReLU层组成的单元、Sigmoid层。
5.根据权利要求3所述的基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：步骤2.2包括如下步骤：步骤2.2.1：对补偿器进行固定，训练迁移器，输入batchsize＝30的真实数据到迁移网络中，进行反向传播，网络权重优化；步骤2.2.2：对迁移器保持不变，使达到最大，训练补偿器得到的fake张量，将此张量传递到迁移网络中进行反向传播，网络权重优化；步骤2.2.3：迁移条件为每个图像对应的label值与Migrator得到的值进行计算并分别反馈给Compensator和Migrator，并依此进行优化器优化，然后输出Compensator特征补偿后的图像，重复第一步以及第二步，多次迭代后直到Compensator与Migrator达到纳什均衡。6.根据权利要求1所述的基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：所述步骤3中视频同态BWLBP
‑
TOP特征提取具体包括如下步骤：步骤3.1：为了得到补偿帧的基于块的不同贡献度的时序纹理特征，首先需要计算每一小块的权重矩阵。类似于基于块的特征提取方式，将补偿帧分为互不重叠的W
×
H小块。那么，每一小块的运动强度(贡献度)C
i...

【专利技术属性】
技术研发人员：刘佶鑫，庄鑫，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：