一种基于MMDA的表情不变的隐私保护方法技术

本发明专利技术属于视频隐私保护技术领域，公开了一种基于MMDA的表情不变的隐私保护方法，利用MMDA多模式判别分析将人脸分解为不同属性的独立子空间，改变相应的子空间的特征而保持其他不变，实现了在人脸表情不变情况下保护人脸的隐私信息。在视频直播中保护人脸隐私信息的同时保留了表情信息，通过建立多模式特征空间，改变表情之外的属性特征，保持表情特征不改变，在实现人脸隐私保护的同时维持原始表情不变。本发明专利技术与以往直接对整张人脸进行保护的方法不同，通过多模式判别分析将人脸分解为不同属性的独立子空间，改变相应的子空间的特征而保持其他不变，实现了在人脸表情不变情况下保护人脸的隐私信息。

An expression invariant privacy protection method based on MMDA

This invention belongs to the field of video privacy protection technology, and discloses a kind of privacy preserving method based on MMDA, which uses MMDA multi pattern discriminant analysis to decompose human faces into independent subspaces of different attributes, and change the characteristics of the corresponding subspaces to keep the rest. The privacy information of the face. While preserving facial information in live video, the facial expression information is preserved. By establishing multi mode feature space, it changes the attribute features outside the expression, keeps the expression features unchanged, and maintains the original facial expression while protecting human face privacy. The invention is different from the previous method of protecting the whole face. Through multi pattern discriminant analysis, the human face is decomposed into independent subspace of different attributes, and the characteristics of the corresponding subspace are changed to keep the other invariable, and the privacy information of the face is protected under the condition of the face expression is constant.

【技术实现步骤摘要】
一种基于MMDA的表情不变的隐私保护方法
本专利技术属于视频隐私保护
，尤其涉及一种基于MMDA的表情不变的隐私保护方法。
技术介绍
互联网与视频监控系统、视频直播应用的快速发展，使得视频隐私保护越来越受到人们的关注。在保证视频应用的同时不泄露隐私信息。目前人脸隐私保护技术在经过保护后人脸的表情会发生变化。如模糊化、马赛克等技术对人脸进行隐私保护后脸部原始的表情信息等全部被改变，表情信息并没有被保存。K-Same等相关技术在利用相似的K张人脸图像求平均的过程中也会破坏表情信息，从而使得经过隐私保护后的人脸表情可能会发生变化。综上所述，现有技术存在的问题是：目前人脸隐私保护技术在经过保护后人脸的表情会发生变化。而在视频直播等应用中，对人脸的隐私保护除了要关心隐私信息是否被保护，同时还要保证在实时的视频中人脸的自然度与完整度，因此在保护人脸隐私的同时保持表情不变也是在视频直播等领域中需要解决的问题。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于MMDA的表情不变的隐私保护方法。本专利技术是这样实现的，一种基于MMDA的表情不变的隐私保护方法，所述基于MMDA的表情不变的隐私保护方法在视频直播中保护人脸隐私信息的同时保留表情信息，利用MMDA多模式判别分析将人脸分解为不同属性的独立子空间，建立多模式特征空间，改变表情之外的属性特征，保持表情特征不改变，同时维持原始表情不变。进一步，所述基于MMDA的表情不变的隐私保护方法包括以下步骤：步骤一，预处理与归一化：(1)从CK人脸库中选取包含20个对象的20张大小为640*490图像作为训练样本集，在训练样本集中每张图像拥有性别、种族和表情三种人脸属性，其中性别属性包含男性和女性，种族属性包含非洲与欧洲，表情属性包含微笑、生气、悲伤、恐惧与惊讶五类；(2)在视频直播中通过摄像头或其他设备获得连续的静态图像序列；(3)对人脸图像选取68个关键特征点，记录每个特征点的坐标位置并按顺序保存下来，形成一组向量集，获取图像的形状信息；(4)AAM建模与归一化；步骤二，MMDA分解与合成：(1)分别对每个属性特征下的样本进行白化预处理；(2)利用Fish准则对白化数据建立不同属性的特征子空间，且每个子空间保持相互正交；(3)得到独立的特征子空间后，利用特征空间对白化数据进行分解；(4)对变换后的参数向量进行合成，得到人脸向量。进一步，所述AAM建模与归一化进一步包括：(1)在得到所有样本的形状向量后，形状向量进行对齐，对第i个样本，记录的特征点坐标向量表示为：si＝{xi1，yi1，xi2，yi2，…，xi68，yi68}T；对于样本sj和si，两个样本进行旋转、放缩和平移，两个样本中的人脸大小、角度都相同，对向量s1和s2进行对齐：s1＝{x11，y11，x12，y12，…，x168，y168}T；s2＝{x21，y21，x22，y22，…，x268，y268}T：将s2归一标准化到s1，则通过Procrustes变换，得到：其中，θ为以s1的中心进行逆时针旋转的角度，s和t为s2的缩放尺度和平移量，且t＝[tx，ty，tx，ty，…，tx，ty]T；计算s1与的距离平方和：其中，n为特征点的数量；旋转s2，使相应特征点的距离的平方和最小，s1和s2的角度一致；(2)在得到形状模型后，利用Delaunay进行三角剖分，并得到剖分后的形状区域；同时对每个样本进行剖分，在每个样本中，通过三角形的每个点的位置，计算得到该点对应到形状模型中相应点的位置，然后用该点的像素值替换形状模型中对应点的值，得到n个映射后的模型，对n个模型求平均，得到平均纹理模型；(3)形状模型和纹理模型进行加权组合，得到组合模型。进一步，所述分别对每个属性特征下的样本进行白化预处理具体包括：计算每个属性i下的零均值样本数据的整体离散矩阵对得到的离散矩阵进行特征分解：U和D分别为的特征向量矩阵与特征值矩阵，保留D中的非零特征值以及U中对应的特征向量；得到变换矩阵P：P＝UD-1/2；矩阵P就是白化矩阵，利用白化矩阵对样本集X进行白化处理，得到白化后的数据进一步，所述分别计算每个属性i的类间离散矩阵和类内离散矩阵其中为每一类数据的均值；利用Fisher判别准则分解出各个属性下的特征子空间，对每个属性i，最大化IF(Vi)，得到最具判别性的子空间Vi：获得每个属性下的特征子空间；对每个特征向量减去其在每个子空间的基上的投影，并进行正交归一化，得到的即为剩余空间V0，特征空间V表示为：V＝[V1，V2，…Vk，V0]。进一步，所述得到独立的特征子空间后，利用特征空间对白化数据进行分解：对待分解向量利用正交子空间V进行，得到参数向量y：进一步，所述对变换后的参数向量进行合成，得到人脸向量Pr为白化矩阵P转置后再逆的矩阵。本专利技术的另一目的在于提供一种利用所述基于MMDA的表情不变的隐私保护方法的摄像头。本专利技术的另一目的在于提供一种利用所述基于MMDA的表情不变的隐私保护方法的视频监控系统。本专利技术通过利用MMDA多模式判别分析将人脸分解为不同属性的独立子空间，改变相应的子空间的特征而保持其他不变，实现了在人脸表情不变情况下保护人脸的隐私信息。在视频直播中保护人脸隐私信息的同时保留了表情信息，通过建立多模式特征空间，改变表情之外的属性特征，保持表情特征不改变，在实现人脸隐私保护的同时维持原始表情不变。MMDA多模式判别分析通过利用Fisher判别准则建立相互独立的属性子空间，将多个属性特征完全独立起来，因此在改变某一个属性特征时，其他特征并不会受到影响。对于本专利技术所提出的方案，在选择性的改变除表情属性特征外其他特征的同时，每个特征彼此之间互不影响，而未改变的表情特征仍然保持不变，并不会被改变。同时，在改变多个属性特征的情况下人脸的隐私信息已经得到保护，而表情特征也没有发生变化，因此实现了表情不变的人脸隐私保护。现有的视觉隐私保护技术如K-Same、K-Same-M、模糊等方法，虽然很好的保护了人脸的隐私信息，但对于人脸的表情却没有进行很好的维持。利用Face++人脸识别器与表情分类器(微笑)对20张CK人脸样本图片进行实验，对比本专利技术所述方案以及现有技术K-Same、K-Same-M、模糊，在改变强度σ为4、k为10、模糊度为5时，计算人脸识别率与表情识别率，得到如下数据，本专利技术方案K-SameK-Same-M模糊人脸识别率0.380.570.750.45表情识别率0.9840.430.680.75通过表格可以看出，本专利技术方案在人脸识别率较低时仍能保持较高的表情识别率，而其他三种方案则在人脸识别率较高的同时表情识别率较低，因此表明本专利技术方案在人脸隐私保护上具有较好性能的同时表情也能很好的保持不变。附图说明图1是本专利技术实施例提供的基于MMDA的表情不变的隐私保护方法流程图。图2是本专利技术实施例提供的基于MMDA的表情不变的隐私保护方法实现流程图。图3是本专利技术实施例提供的利用Face++检测CK样本集在本专利技术方案不同改变强度σ下的人脸识别率。图4是本专利技术实施例提供的利用Face++检测CK样本集在本专利技术方案不同改变强度σ下的表情识别率。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施本文档来自技高网...

【技术保护点】
一种基于MMDA的表情不变的隐私保护方法，其特征在于，所述基于MMDA的表情不变的隐私保护方法在视频直播中保护人脸隐私信息的同时保留表情信息，利用MMDA多模式判别分析将人脸分解为不同属性的独立子空间，建立多模式特征空间，改变表情之外的属性特征，保持表情特征不改变，同时维持原始表情不变。

【技术特征摘要】
1.一种基于MMDA的表情不变的隐私保护方法，其特征在于，所述基于MMDA的表情不变的隐私保护方法在视频直播中保护人脸隐私信息的同时保留表情信息，利用MMDA多模式判别分析将人脸分解为不同属性的独立子空间，建立多模式特征空间，改变表情之外的属性特征，保持表情特征不改变，同时维持原始表情不变。2.如权利要求1所述的基于MMDA的表情不变的隐私保护方法，其特征在于，所述基于MMDA的表情不变的隐私保护方法包括以下步骤：步骤一，预处理与归一化：(1)从CK人脸库中选取包含20个对象的20张大小为640*490图像作为训练样本集，在训练样本集中每张图像拥有性别、种族和表情三种人脸属性，其中性别属性包含男性和女性，种族属性包含非洲与欧洲，表情属性包含微笑、生气、悲伤、恐惧与惊讶五类；(2)在视频直播中通过摄像头或其他设备获得连续的静态图像序列；(3)对人脸图像选取68个关键特征点，记录每个特征点的坐标位置并按顺序保存下来，形成一组向量集，获取图像的形状信息；(4)AAM建模与归一化；步骤二，MMDA分解与合成：(1)分别对每个属性特征下的样本进行白化预处理；(2)利用Fish准则对白化数据建立不同属性的特征子空间，且每个子空间保持相互正交；(3)得到独立的特征子空间后，利用特征空间对白化数据进行分解；(4)对变换后的参数向量进行合成，得到人脸向量。3.如权利要求2所述的基于MMDA的表情不变的隐私保护方法，其特征在于，所述AAM建模与归一化进一步包括：(1)在得到所有样本的形状向量后，形状向量进行对齐，对第i个样本，记录的特征点坐标向量表示为：si＝{xi1，yi1，xi2，yi2，…，xi68，yi68}T；对于样本si和si，两个样本进行旋转、放缩和平移，两个样本中的人脸大小、角度都相同，对向量s1和s2进行对齐：s1＝{x11，y11，x12，y12，…，x168，y168}T；s2＝{x21，y21，x22，y22，…，x268，y268}T；将s2归一标准化到s1，则通过Procrustes变换，得到：其中，θ为以s1的中心进行逆时针旋转的角度，s和t为s2的缩放尺度和平移量，且t＝[tx，ty，tx，ty，…，tx，ty，]T；计算s1与的距离平方和：其中，n为特征点的数量；旋转s2，使相应特征点的距离的平方和最小，s1和s2的角度一致；(2)在...

【专利技术属性】
技术研发人员：王祥，熊琛，裴庆祺，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61