一种基于生成对抗网络的漫画人物身份识别方法技术

本发明专利技术公开了一种基于生成对抗网络的漫画人物身份识别方法，包括：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数；计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画行人与真实行人间的相似度分数进行重排序，设定阈值获取查询库中漫画行人在检索库中所对应的真实行人。本发明专利技术对漫画人物身份识别具有精度高、速度快的优点。

A method of comic character identification based on generative adversary network

【技术实现步骤摘要】
一种基于生成对抗网络的漫画人物身份识别方法
本专利技术涉及计算机视觉领域，更具体地，涉及一种基于生成对抗网络的漫画人物身份识别方法。
技术介绍
过去几十年人脸识别一直是计算机视觉领域重点研究的问题。近年来，随着科技的迅速发展，特别是随着深度学习的快速发展，深度人脸识别模型在一些数据集上已经达到甚至超越了人类的识别水平，例如，在人脸识别最常用的LFW数据集上，现有的人脸识别算法可以达到99％以上的准确率。但是，已有的人脸识别算法大都是围绕真实的人脸图像进行研究的，很少有专门的算法来研究漫画人脸识别这一主题，以用于对漫画人物身份进行识别。人脸识别是基于深度学习的面部分析技术，包括人脸检测与分析、五官定位、人脸比对与验证、人脸检索、活体检测等。漫画人脸识别属于人脸识别范式，称为异构人脸识别(HFR)。其任务是，识别出输入漫画人脸图对应身份的算法，即对于检索库中任意给定的漫画人脸图片，去查询库中寻找与之最相似的真实人脸图片，并通过相似度阈值判断两张图片是否是同一身份，如果是，返回对应的身份，否则返回不在库中。由于漫画具有强烈的讽刺性和幽默感，漫画人脸识别在计算机视觉领域中正受到越来越多的关注，漫画因其具有夸张的特征，这些特征往往会导致这些面部与隐含的人脸属性(例如面部对称性违反，异常的面部轮廓，不自然的肤色等)与大多数基准检测和识别技术存在着偏差。虽然这些技术在生物识别扫描仪和医疗保健设备等日常设备中广泛应用于人类，但卡通产业的惊人增长已经夸大了卡通面孔类似技术的需求，例如，在图像搜索引擎中加入用于搜索类似漫画的网页、与屏幕阅读器集成，以帮助视障人士了解卡通电影、帮助内容控制软件在社交媒体上审查不适当的卡通形象等。可以说，漫画人脸识别是一个具有广阔前景的研究主题，相信随着越来越多日漫数字化书籍的问世和各大娱乐平台的迅速发展，之后会有更多的漫画人脸技术应用到各个领域。当前，漫画人物身份识别还处于新兴阶段，常用的方法也是简单的套用异构人脸识别的方法或其组合。然而这些方法都是基于两种不同模态间的相互识别，如3D图片和2D图片、红外图片和可见光图片，以及高分辨率图片和低分辨率图片等，同时这些图片的来源都是来自真实图片。如果简单的使用这些异构人脸识别的方法来对漫画人脸进行识别，往往会忽视漫画人脸最本质的特征，如不符合比例的眼睛鼻子嘴巴、夸张的表情、怪异的发型等。同时，漫画因为其多样性、丰富性和夸张性，不能简单的看为是两种模态间的相互识别。目前已有的方法仍无法较好地实现漫画人物身份识别，漫画人物身份识别算法仍有继续改进和发展的空间。
技术实现思路
为了克服现有漫画人物身份识别方法的不足和基于传统人脸识别算法特征单一的缺点，本专利技术提出了一种基于生成对抗网络的漫画人物身份识别方法，该方法利用漫画生成、漫画人脸与行人特征融合、漫画图片风格分类以及重排序的策略，可提升查询库中漫画行人在检索库中检索真实行人的准确率。本专利技术的目的通过以下的技术方案实现：一种基于生成对抗网络的漫画人物身份识别方法，包括步骤：步骤S1：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；步骤S2：构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；步骤S3：构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；步骤S4：构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数；步骤S5：计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画行人与真实行人间的相似度分数进行重排序，设定阈值获取查询库中漫画行人在检索库中所对应的真实行人。优选的，步骤S2中构建人脸检测对齐模型，步骤是：步骤S21：在训练模型阶段，将WIDERFACE数据集中的真实人脸和WebCaricature(非日系风格)、DANBOORU2018(日系风格)数据集中漫画人脸作为训练数据分别送入到参数不共享的TinyDarknet网络中提取人脸特征；而后将真实人脸所对应的网络分为三个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归；将漫画人脸所对应的网络分为四个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归、第四个支路用于对漫画人脸风格进行分类；步骤S22：在测试模型阶段，利用训练好的真实人脸检测模型对检索库中真实行人图片进行人脸检测，得到人脸检测框和人脸关键点，而后通过人脸关键点对人脸进行对齐；利用训练好的漫画人脸检测模型对查询库中漫画行人图片进行人脸检测，得到人脸检测框、人脸关键点和漫画人脸风格类别，而后通过漫画人脸风格类别判断该漫画行人图片在检索库中是否有与之对应的真实行人图片，如果该漫画人脸图片的风格是日系，则不用去检索库中寻找与之对应的真实行人图片，直接返回检索库中没有与之对应身份的真实人脸图片，即返回-1；如果该漫画人脸图片的风格是非日系，则需要去检索库中寻找与之对应的真实行人图片，返回该真实行人图片的ID。优选的，步骤S3中构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片，步骤是：步骤S31：将成对原始真实人脸图片x、漫画人脸图片y，及其对应关键点送入生成网络G中，G分为三个支路，分别为风格编码、内容编码和关键点检测。接着利用编码的风格ES对编码的内容EC进行纹理渲染记为R，为了防止风格渲染后的图片丢失语义信息，在此增加一个身份重构损失Lidr＝E[||R(EC(x)，ES(x))-x||1],x为原始真实人脸图片，E[·]表示取一个训练批次中所有训练样本计算值的期望值。而后利用定位的关键点K与偏移量ΔK对渲染后的图片进行面部变形，记为W，得到生成的漫画图片W(R(EC(x),ES(x)),K,ΔK)；步骤S32：将生成的漫画图片送入到判别网络D中，通过损失函数对其进行约束训练，最终得到漫画生成模型。更进一步的，所述步骤S31中，关键点K是利用MTCNN方法对人脸图像进行检测，并将检测的左眼K1、右眼K2、鼻子K3、嘴左K4、嘴右K5五个关键点坐标进行保存；面部变形是通过网络学习一组偏移量ΔK＝ΔK1，ΔK2,…，ΔKn，n为关键点的数目5，然后通过薄板样条插值对网格进行采样，从而生成具有多种风格且适合人特定特征夸大的漫画图片。更进一步的，所述步骤S32中，通过三个损失函数对判别网络D进行约束，分别为对抗损失Ladv、身份一致性损失Lidc和漫画风格一致性损失Lcsc，其中，对抗损失为：Ladv＝E[-logD(G(x,ES))]+E[-logD(y)]；身份一致性损失为：Lidc＝E[-logD(G(x,ES(x)),l)]+E[-logD(y,l)]，l为x对应的真实标签；漫画风格一致性损失为：Lcsc＝E||MTCNN(G(x,ES))-k||1，k为y对应的关键点。优选的，步骤S4中构建漫画人物身份识别模型，提取检索库和查询库中图片的本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的漫画人物身份识别方法，其特征在于，包括步骤：/n步骤S1：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；/n步骤S2：构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；/n步骤S3：构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；/n步骤S4：构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数；/n步骤S5：计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画行人与真实行人间的相似度分数进行重排序，设定阈值获取查询库中漫画行人在检索库中所对应的真实行人。/n

【技术特征摘要】
1.一种基于生成对抗网络的漫画人物身份识别方法，其特征在于，包括步骤：
步骤S1：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；
步骤S2：构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；
步骤S3：构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；
步骤S4：构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数；
步骤S5：计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画行人与真实行人间的相似度分数进行重排序，设定阈值获取查询库中漫画行人在检索库中所对应的真实行人。


2.根据权利要求1所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，步骤S2中构建人脸检测对齐模型，步骤是：
步骤S21：在训练模型阶段，将WIDERFACE数据集中的真实人脸和WebCaricature、DANBOORU2018数据集中漫画人脸作为训练数据分别送入到参数不共享的TinyDarknet网络中提取人脸特征；而后将真实人脸所对应的网络分为三个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归；将漫画人脸所对应的网络分为四个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归、第四个支路用于对漫画人脸风格进行分类；
步骤S22：在测试模型阶段，利用训练好的真实人脸检测模型对检索库中真实行人图片进行人脸检测，得到人脸检测框和人脸关键点，而后通过人脸关键点对人脸进行对齐；利用训练好的漫画人脸检测模型对查询库中漫画行人图片进行人脸检测，得到人脸检测框、人脸关键点和漫画人脸风格类别，而后通过漫画人脸风格类别判断该漫画行人图片在检索库中是否有与之对应的真实行人图片，如果该漫画人脸图片的风格是日系，则不用去检索库中寻找与之对应的真实行人图片，直接返回检索库中没有与之对应身份的真实人脸图片；如果该漫画人脸图片的风格是非日系，则需要去检索库中寻找与之对应的真实行人图片，返回该真实行人图片的ID。


3.根据权利要求1所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，步骤S3中构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片，步骤是：
步骤S31：将成对原始真实人脸图片x、漫画人脸图片y，及其对应关键点送入生成网络G中，G分为三个支路，分别为风格编码、内容编码和关键点检测；接着利用编码的风格ES对编码的内容EC进行纹理渲染记为R，为了防止风格渲染后的图片丢失语义信息，在此增加一个身份重构损失Lidr＝E[||R(EC(x)，ES(x))-x||1],x为原始真实人脸图片，E[·]表示取一个训练批次中所有训练样本计算值的期望值；而后利用定位的关键点K与偏移量ΔK对渲染后的图片进行面部变形，记为W，得到生成的漫画图片W(R(EC(x),ES(x)),K,ΔK)；
步骤S32：将生成的漫画图片送入到判别网络D中，通过损失函数对其进行约束训练，最终得到漫画生成模型。


4.根据权利要求3所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，...

【专利技术属性】
技术研发人员：赖剑煌，程海杰，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44