一种用于电子相册管理的人物家庭关系构建方法技术

本发明专利技术公开了一种用于电子相册管理的人物家庭关系构建方法，该方法主要内容是：首先，本发明专利技术通过人脸聚类、父母‑孩子关系判别等步骤初步识别电子相册照片中的人脸，生成家庭树的骨架；然后，利用图结构模型，视每张照片为树的部分枝干，根据可变形部件思想，综合考虑树的整体结构以及各枝干间的协调性，最终生成一棵完整的家庭树，同时给出相册集中所有人物在树中的对应位置。本发明专利技术属于计算机视觉领域，从相册集角度出发，利用每位家庭成员多个图像样本间的协同作用，提升亲属相似性挖掘的可靠性。同时，图结构模型在识别过程中起到的调整和纠正作用，能有效提升照片中亲属关系类型识别的准确性。

【技术实现步骤摘要】
一种用于电子相册管理的人物家庭关系构建方法
本专利技术属于计算机视觉、图像处理领域，尤其涉及一种用于电子相册管理的人物家庭关系构建方法。
技术介绍
家庭照片是一类重要且特殊的图像资源，对其中的亲属关系进行识别可用于家谱构建以及电子相册管理。目前，基于图像的亲属关系识别已成为人脸分析领域的一个新的分支。但是，已有方法以单张照片为研究对象，且将重点放在成对关系类型的判别上，没有从家庭整体结构考虑，导致亲属关系识别准确率不高。因此，基于但不限于图像处理的视觉方法，从相册集角度出发，提出一种家庭树构建算法以提升亲属关系识别率，对于有效分析家庭完整结构和成员关系十分有益。
技术实现思路
专利技术目的：针对上述现有方法存在的问题和不足，本专利技术旨在基于人脸识别的视觉方法，从相册集整体考虑，提出一种基于图结构模型的家庭树自动构建算法，同步进行人物家庭关系的识别，进而实现电子相册的自动管理。技术方案：为实现上述专利技术目的，本专利技术具体技术方案如下：一种用于电子相册管理的人物家庭关系构建方法，该方法包括以下步骤：(1)对电子相册中所有照片进行人脸检测，确定人脸框位置和人脸标志点坐标；(2)根据人脸视觉特征，采用聚类算法，得到人脸聚类；(3)根据照片上下文约束对聚类结果进行调整，将不可能出现在同一类中的样本分开，并根据类共现情况合并误分开的类；(4)对各聚类结果中的多个人脸样本进行年龄、性别估计，经过数据过滤和平均，为每个聚类确定年龄、性别估计的最终结果；(5)对父母-孩子关系进行判别；(6)基于图结构模型组合家庭树；(7)生成一棵完整的家庭树，完成所有照片人物间亲属关系类型的识别。其中，步骤(3)中，所述照片上下文约束，一方面从照片层面考虑，在步骤(2)实施DBSCAN聚类算法过程中，限制同一张照片中出现的多个人脸不属于同类，避免将不同人聚为一类；另一方面，在人脸聚类层面上，根据照片样本中的人物共现关系构建人脸聚类共现图，也即根据各个聚类中人物的照片样本，统计照片样本中参与拍照的人物集合。若不同的类统计出的人物集合相似度达到给定阈值，则将这些不同的类合并为一类，避免将同一人误分为多类。其中，步骤(4)中，对步骤(3)聚类后的人脸图像进行年龄和性别估计，使用包含3个卷积层、2个全连接层的卷积神经网络，再经过一个八分类、一个二分类的RBF核SVM分类器，分别输出八个年龄段和男性、女性的分类结果，完成对每个人脸样本的属性预测；通过数据过滤和平均，得出每个人脸聚类年龄、性别估计的最终结果，并根据年龄信息对家庭成员进行分层，即孩子、父母和祖父母，相邻的上下两层间存在父母-孩子的亲属关系。其中，步骤(5)中，所述父母-孩子核心亲属关系判别方法，基于人脸部件字典进行待查询人脸的重构，挖掘亲属间的局部相似性。其中，步骤(5)中，所述父母-孩子关系判别方法如下：在步骤(4)基础上，选择家庭成员分层中的相邻两层进行孩子-父母亲属关系匹配，即为每个孩子寻找其最可能归属的父母。首先，根据步骤(1)中的人脸标志点坐标，将所有样本的面部区域分割成多个部件；然后，根据年龄和性别选出候选夫妻，并按部件类别不同，分别构建出属于该对夫妻的各类部件特征字典；最后，针对每个待查询孩子人脸样本，使用SparseGroupLasso方法，在候选夫妻部件字典中对各人脸部件进行动态组合，得到待查询人脸的最佳重建，并将重建系数最大的候选夫妻判断为待查询孩子的双亲。其中，步骤(6)中，所述图结构模型组合家庭树时，同时考虑树中单个节点安放位置的可能性和两个节点安放位置的兼容性，从而调整步骤(4)和(5)中人脸属性分析结果对节点预测的安放位置。其中，步骤(6)中，所述基于图结构模型组合家庭树的方法如下：利用有向图表示家庭树，并通过预设约束使其满足树结构。完成树中节点和边的定义后，家庭树示例的结构可由位置信息给出；其中，由相册集分析构造家庭树模型的目标即为最大化能量函数，利用图结构模型，视每张照片为树的部分枝干，根据可变形部件思想，综合考虑树的整体结构以及各枝干间的协调性，构造出能量函数的数学表达式。其中，假设从相册集中共检测出n个人脸，每个人脸对应家庭树中的一个节点，由相册集分析构造家庭树模型的目标即为最大化如下能量函数：上式中，Pi(li)表示将节点vi放到位置li处的可能性，Cij(li,lj)表示将节点vi，vj分别放到位置li，lj处时，两节点位置关系的兼容性，为相册集中每张人脸找到最佳放置即可表示为：其中，在最大化能量函数中，对相册集中检测到的n个人脸进行特征提取，构成特征向量集合F＝[f1,f2,...,fn]，则Pi(li)表示将vi对应的人脸特征向量fi归入li对应的人脸聚类Ci中的置信度，在数值上等价于条件概率P(fi|Ci)，采用fi到类中心的马氏距离进行度量，距离用如下公式表示：其中，代表类Ci的中心点，为类Ci的协方差矩阵，用来描述类内数据点分布的离散情况，为协方差矩阵的行列式，采用极差变换法将所求距离D映射到[0，1]区间上作为Pi(li)的取值，得出将vi放在li处的置信度。其中，所述Cij(li,lj)用来描述vi,vj两节点安放位置的兼容性，节点间兼容性可根据预设的亲属关系规则进行判断。有益效果：与现有技术相比，本专利技术具有以下有益技术效果：1、本专利技术利用相册集多样本间的协同作用，克服了以往方法使用单张照片识别易受人物表情、光照等干扰因素影响的不足，使亲属关系类型识别具有更高的精度；2、本专利技术采用家庭树形式对所有家庭成员的角色进行描述，利用图结构模型在识别过程中起到的调整和纠正作用，有效提升了照片中人物亲属关系类型鉴别的效率和准确性。附图说明图1是本专利技术一种用于电子相册管理的人物家庭关系构建方法流程图。图2是本专利技术的处理步骤示意图。图3是本专利技术的人脸部件分割示意图。具体实施方式下面结合附图和实施例对本专利技术的技术方案作进一步的说明。本专利技术的一种用于电子相册管理的人物家庭关系构建方法，其流程图如图1所示，该方法的处理步骤如图2所示，详细步骤如下：(1)相册集人脸检测首先对相册集中人物照片进行预处理，使用基于三层级联架构设计的卷积神经网络MTCNN进行多任务人脸检测，同时完成人脸框和人脸标志点坐标的定位。(2)人脸聚类首先考虑人脸外貌特征，采用FaceNet通用人脸识别系统的嵌入向量表示人脸特征。由于FaceNet深度网络直接进行图像到欧氏距离的端到端学习，因此网络输出的128维人脸特征向量可直接用于后续聚类算法中人脸相似性度量。这里，采用无需设置初始类数目的密度聚类算法DBSCAN，对FaceNet输出的特征向量进行聚类。经过该步骤，所有人脸样本将被划分为多个类簇。(3)照片上下文调整由于人脸在不可控环境下受光照、拍摄角度等干扰因素影响，即使是深层卷积网络提取出的视觉特征也有表现不佳的时候。因此，仅通过人脸图像特征来聚类还不够，考虑加入照片中人脸以外的信息，也即“照片上下文”作为补充。由于经常出现在同一张照片中的人物，以下简称“人物共现度”，往往具有更亲密的关系，这种人物共现度信息作为一种稳定且易得的上下文，是理想的辅助信息。人物共现度信息主要在照片和人脸聚类两个层面上发挥作用：(3.1)“勿连”限制：在照片层面上，在一张照片中出现的多个人脸，不可能属本文档来自技高网...

【技术保护点】
1.一种用于电子相册管理的人物家庭关系构建方法，其特征在于，该方法包括以下步骤：(1)对电子相册中所有照片进行人脸检测，确定人脸框位置和人脸标志点坐标；(2)根据人脸视觉特征，采用聚类算法，得到人脸聚类；(3)根据照片上下文约束对聚类结果进行调整，将不可能出现在同一类中的样本分开，并根据类共现情况合并误分开的类；(4)对各聚类结果中的多个人脸样本进行年龄、性别估计，经过数据过滤和平均，为每个聚类确定年龄、性别估计的最终结果；(5)对父母‑孩子关系进行判别；(6)基于图结构模型组合家庭树；(7)生成一棵完整的家庭树，完成所有照片人物间亲属关系类型的识别。

【技术特征摘要】
1.一种用于电子相册管理的人物家庭关系构建方法，其特征在于，该方法包括以下步骤：(1)对电子相册中所有照片进行人脸检测，确定人脸框位置和人脸标志点坐标；(2)根据人脸视觉特征，采用聚类算法，得到人脸聚类；(3)根据照片上下文约束对聚类结果进行调整，将不可能出现在同一类中的样本分开，并根据类共现情况合并误分开的类；(4)对各聚类结果中的多个人脸样本进行年龄、性别估计，经过数据过滤和平均，为每个聚类确定年龄、性别估计的最终结果；(5)对父母-孩子关系进行判别；(6)基于图结构模型组合家庭树；(7)生成一棵完整的家庭树，完成所有照片人物间亲属关系类型的识别。2.根据权利要求1所述的一种用于电子相册管理的人物家庭关系构建方法，其特征在于：步骤(3)中，所述照片上下文约束，一方面从照片层面考虑，在步骤(2)实施DBSCAN聚类算法过程中，限制同一张照片中出现的多个人脸不属于同类，避免将不同人聚为一类；另一方面，在人脸聚类层面上，根据照片样本中的人物共现关系构建人脸聚类共现图，也即根据各个聚类中人物的照片样本，统计照片样本中参与拍照的人物集合。若不同的类统计出的人物集合相似度达到给定阈值，则将这些不同的类合并为一类，避免将同一人误分为多类。3.根据权利要求1所述的一种用于电子相册管理的人物家庭关系构建方法，其特征在于：步骤(4)中，对步骤(3)聚类后的人脸图像进行年龄和性别估计，使用包含3个卷积层、2个全连接层的卷积神经网络，再经过一个八分类、一个二分类的RBF核SVM分类器，分别输出八个年龄段和男性、女性的分类结果，完成对每个人脸样本的属性预测；通过数据过滤和平均，得出每个人脸聚类年龄、性别估计的最终结果，并根据年龄信息对家庭成员进行分层，即孩子、父母和祖父母，相邻的上下两层间存在父母-孩子的亲属关系。4.根据权利要求1所述的一种用于电子相册管理的人物家庭关系构建方法，其特征在于：步骤(5)中，所述父母-孩子核心亲属关系判别方法，基于人脸部件字典进行待查询人脸的重构，挖掘亲属间的局部相似性。5.根据权利要求1所述的一种用于电子相册管理的人物家庭关系构建方法，其特征在于，步骤(5)中，所述父母-孩子关系判别方法如下：在步骤(4)基础上，选择家庭成员分层中的相邻两层进行孩子-父母亲属关系匹配，即为每个孩子寻找其最可能归属的父母。首先，根据步骤(1)中的人脸标志点坐标，将所有样本的面部区域分割成多个部件；然后，根据年龄和性别选出候选夫妻，并按部件类别不同，分别构...

【专利技术属性】
技术研发人员：夏思宇，周源，夏朝，钱飞宏，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32