【技术实现步骤摘要】
基于深度卷积神经网络和人脸关键点检测的妆后换脸方法
[0001]本专利技术涉及深度学习
,特别涉及一种基于深度卷积神经网络和人脸关键点检测的妆后换脸方法。
技术介绍
[0002]随着科技技术迅速发展,深度神经网格在众多领域得到了广泛的应用。妆后换脸属于风格迁移中的一个领域。基于深度神经网格的风格迁移是近来人工智能领域内的一个新的热门研究主题,它的基本原理是利用神经网络模型对于两幅输已知的图像(分别叫做风格图像和内容图像),是将风格(style)从“风格图像”迁移到“内容图像”的过程。目的是能够根据不同的风格图像生成同一内容的不同风格的新图像。
[0003]Gatys等人率先在在2016年CVPR(国际计算机视觉与模式识别大会上)的发表了文章“Image Style Transfer Using Convolutional Neural Networks”证实了卷积神经网络(CNN)的在图像风格迁移中表现出惊人的能力:通过分离和重新组合图片内容与风格,CNN可以创作出具有艺术魅力的作品。从那以后,在学术研究和产业 ...
【技术保护点】
【技术特征摘要】
1.一种基于深度卷积神经网络和人脸关键点检测的妆后换脸方法,其特征在于:包括以下步骤:步骤1,对妆后肖像图和目标肖像图分别进行人脸关键点检测并得到坐标,并对妆后肖像图的人脸关键点坐标进行校正后再保存;步骤2,分别计算得到妆后肖像图和目标肖像图的梯度图像作为妆后肖像图和目标肖像图的位置指南和步骤3,对妆后肖像图和目标肖像图分别进行以下操作:转化为灰度图,然后对灰度图像进行连续三次下采样的操作后,再调整成原尺寸,最后进行高斯模糊操作后得到模糊图像;步骤4,分别用未进行下采样的妆后肖像图和目标肖像图的灰度图减去妆后肖像图的模糊图像和目标肖像图的模糊图像,得到妆后肖像图和目标肖像图的外观指南和再修改的直方图使其与相匹配;步骤5,建立立方体查找表lookupcube,并基于和在lookupcube内存储妆后肖像图的RGB颜色通道信息;步骤6,根据目标肖像图的人脸关键点坐标并结合皮肤检测算法来获取人脸的第一轮廓,再对目标肖像图基于BiSeNet模型获得人脸的第二轮廓以及眼睛和嘴巴的轮廓,然后对第一轮廓和第二轮廓求交集获得准确的人脸轮廓,再结合眼睛和嘴巴的轮廓获得人脸人脸掩码mask;步骤7,用目标肖像图的人脸关键点、妆后肖像图的人脸关键点以及使用移动最小二乘法算法得到变形后的妆后肖像图的步骤8,将妆后肖像图和lookupcube输入到StyleBlit算法中得到风格化的图片StylizedImg;步骤9,使用人脸掩码mask,将StylizedImg中除人脸掩码mask之外的区域,替换为目标肖像图除人脸掩码mask之外的区域。2.根据权利要求1所述的基于深度卷积神经网络和人脸关键点检测的妆后换脸方法,其特征在于:所述步骤1中,采用Dlib框架,对妆后肖像图进行人脸关键点检测,得到妆后肖像图的68个人脸关键点坐标{(x1,y1),(x2,y2),(x3,y3)
…
(x
68
,y
68
)};然后对于嘴部的关键点坐标{(x
49
,y
49
),(x
50
,y
50
)
…
(x
68
,y
68
)}进行校正,先选取嘴部一个正确的关键点坐标,分别提取这个关键点坐标RGB三个通道的颜色的值,再移动其他不准确关键点的坐标,直到关键点坐标与选择的正确的关键点坐标的颜色差值小于预设阈值,得到校正后的68个人脸关键点坐标{(x1,y1),(x2,y2),(x3,y3)
…
(x
68
,y
68
)}并将这些关键点保存下来。3.根据权利要求2所述的基于深度卷积神经网络和人脸关键点检测的妆后换脸方法,其特征在于,选取嘴部一个正确的关键点坐标,是从用于定位上嘴唇的关键点中随机选取一个,作为正确的关键点坐标。4.根据权利要求1所述的基于深度卷积神经网络和人脸关键点检测的妆后换脸方法,其特征在于:所述步骤2中,是首先使用下式得到或的各像...
【专利技术属性】
技术研发人员:赵辉煌,张法超,梁小满,林睦纲,孙雅琪,王耀南,
申请(专利权)人:衡阳师范学院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。