一种人脸图像处理方法及装置制造方法及图纸

本发明专利技术公开了一种人脸图像处理方法，包括步骤：对当前图像帧做人脸检测，生成人脸基准区域；对人脸基准区域进行关键点检测，识别出人脸关键点；根据人脸关键点从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域；结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；利用混合高斯模型对皮肤区域和头发区域的像素点的特征向量进行概率分布估计；根据概率分布估计的结果该图像帧进行图像分割，得到该图像帧的人头区域；以及利用插值算法放大人头区域，得到处理后的图像帧。本发明专利技术还一并公开了相应的人脸图像处理装置。

【技术实现步骤摘要】

本专利技术涉及图像处理
，尤其是一种人脸图像处理方法及装置。
技术介绍
图像、视频数据作为信息的主要载体，由于其视觉上的直观性和表达的生动性，越来越受到人们的关注。目前，用户不仅仅满足于获取更加高品质的图像视频(由于视频可以看作是多帧图像的组合，以下讨论中以图像代替图像和视频)，也对图像的趣味性、美观性等提出了更高的要求。以往，要对图像进行修饰、处理，都需要专业技术人员来操作完成，普通用户很难根据自己喜好去调整图像内容。而现在，通过设置好的图像处理算法对图像内容进行修饰已经成为一种常见的手段，由于算法自动完成，不用进行过多用户交互，因此不需要用户掌握图像处理技巧、简单方便，因而越来越受大众欢迎。诸如现在流行的人像美颜、肤色调整等方法；除此之外，通过在人脸上加入额外内容(例如头盔、面具)来更改图像内容，也会使图像更加生动有趣，达到娱乐效果。
技术实现思路
为此，本专利技术提供了一种人脸图像处理方法及装置，以力图解决或者至少缓解上面存在的至少一个问题。根据本专利技术的一个方面，提供了一种人脸图像处理方法，包括步骤：对当前图像帧做人脸检测，生成人脸基准区域；对人脸基准区域进行关键点检测，识别出人脸关键点；根据人脸关键点从人脸基准区域中划分出该图像帧中初始人脸皮肤区域；结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；利用混合高斯模型对初始皮肤区域和初始头发区域的像素点特征向量进行概率分布估计；根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域；以及利用插值算法放大人头区域，得到处理后的图像帧。可选地，在根据本专利技术的人脸图像处理方法中，根据人脸关键点从人脸基准区域中划分出图像帧中的初始人脸皮肤区域的步骤包括：将人脸基准区域中除了预定区域之外的区域划分为人脸的皮肤区域，其中，预定区域由预定关键点确定，预定关键点包括眼睛、眉毛、嘴巴。可选地，在根据本专利技术的人脸图像处理方法中，结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域的步骤包括：将位于人脸基准区域上方预定比例、且为连通区域的区域初步判定为初始头发区域。可选地，在根据本专利技术的人脸图像处理方法中，混合高斯模型定义为：其中，为第k个高斯模型的概率密度函数，且K为高斯模型的个数，πk为第k个模型的权重，x为某个像素的特征向量，N为特征向量的维度，μk为均值向量，Ck为N*N的协方差矩阵。可选地，在根据本专利技术的人脸图像处理方法中，利用混合高斯模型对初始人脸皮肤区域和初始头发区域的像素点特征向量进行概率分布估计的步骤还包括：计算混合高斯模型的参数，其中参数包括每个模型的权重πk、均值向量μk、协方差矩阵Ck。可选地，在根据本专利技术的人脸图像处理方法中，根据概率分布估计结果对该图像帧进行图像分割的步骤还包括：通过分割算法、利用概率分布估计结果和像素点间颜色的相似性，分割出图像中的人头区域。可选地，在根据本专利技术的人脸图像处理方法中，在分割得到人头区域后，还包括步骤：提取所分割得到的人头区域的边缘；以及对边缘进行平滑处理。可选地，在根据本专利技术的人脸图像处理方法中，利用插值算法放大人头区域的步骤包括：以特定的关键点为基准点，对该人头区域作插值处理，得到放大后的人头区域，并将放大后的人头区域的基准点和原来的基准点对齐。可选地，在根据本专利技术的人脸图像处理方法中，特定的关键点包括鼻尖点、嘴中心点。可选地，在根据本专利技术的人脸图像处理方法中，还包括步骤：以当前图像帧的混合高斯模型的参数为初始值，利用EM算法估计下一图像帧中混合高斯模型中的参数。可选地，在根据本专利技术的人脸图像处理方法中，还包括步骤：若检测到当前图像帧中有多个人脸基准区域，则分割出多个人头区域；以及利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系。根据本专利技术的另一个方面，提供了一种人脸图像处理装置，包括：检测单元，适于对当前图像帧做人脸检测，生成人脸基准区域；识别单元，适于对人脸基准区域进行关键点检测，识别出人脸关键点；区域分割单元，适于根据人脸关键点从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域、且结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；计算单元，适于利用混合高斯模型对初始人脸皮肤区域和初始头发区域的像素点特征向量进行概率分布估计；区域分割单元还适于根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域；处理单元，适于利用插值算法放大人头区域，得到处理后的图像帧。可选地，在根据本专利技术的人脸图像处理装置中，区域分割单元包括：第一子单元，适于将人脸基准区域中除了预定区域之外的区域划分为人脸的皮肤区域，其中，预定区域根据所述预定关键点确定，预定关键点包括眼睛、眉毛、嘴巴。可选地，在根据本专利技术的人脸图像处理装置中，区域分割单元还包括：第二子单元，适于将位于人脸基准区域上方预定比例的、且为连通区域的区域初步判定为初始头发区域。可选地，在根据本专利技术的人脸图像处理装置中，混合高斯模型定义为：其中为第k个高斯模型的概率密度函数，且K为高斯模型的个数，πk为第k个模型的权重，x为某个像素的特征向量，N为特征向量的维度，μk为均值向量，Ck为N*N的协方差矩阵。可选地，在根据本专利技术的人脸图像处理装置中，计算单元还适于计算混合高斯模型的参数，其中参数包括每个模型的权重πk、均值向量μk、协方差矩阵Ck。可选地，在根据本专利技术的人脸图像处理装置中，区域分割单元还包括：第三子单元，适于通过分割算法、利用概率分布估计结果和像素点间颜色的相似性，分割出图像中的人头区域。可选地，在根据本专利技术的人脸图像处理装置中，还包括：边缘处理单元，适于对经区域分割单元分割中的人头区域进行边缘平滑处理。可选地，在根据本专利技术的人脸图像处理装置中，处理单元还适于以特定的关键点为基准点，对该人头区域作插值处理，得到放大后的人头区域，并将放大后的人头区域的基准点和原来的基准点对齐。可选地，在根据本专利技术的人脸图像处理装置中，特定的关键点包括鼻尖点、嘴中心点。可选地，在根据本专利技术的人脸图像处理装置中，计算单元还适于以当前图像帧的混合高斯模型的参数为初始值，利用EM算法估计下一图像帧中混合高斯模型中的参数。可选地，在根据本专利技术的人脸图像处理装置中，区域分割单元还适于在检测单元检测到多个人脸基准区域时，分割出多个人头区域；计算单元还适于利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系。根据本专利技术的人脸图像处理方案，首先通过图像检测等算法确定出图像帧中的初始皮肤区域和初始头发区域，然后利用概率建模，对初始皮肤区域和初始头发区域进行聚类，再结合聚类结果、利用图像分割算法自动分割出图像帧中的人头区域，对人头区域进行插值运算，输出放大人头的图像帧。进一步地，考虑到视频中图像帧与帧之间相互关联，当要处理具有连续多帧图像的视频时，不是对单帧图像分别进行分割处理，而是采用参数估计的方式，将上一帧图像的参数值作为下一帧图像的初始值，以保证视频中图像帧之间分割得一致性，在避免出现单帧跳变现象的同时，也提高了算法中的建模速度。另外，当图像帧中存在多个人头区域时，利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系，从而保证了GMM参数更新本文档来自技高网...

【技术保护点】
一种人脸图像处理方法，包括步骤：对当前图像帧做人脸检测，生成人脸基准区域；对所述人脸基准区域进行关键点检测，识别出人脸关键点；根据所述人脸关键点从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域；结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；利用混合高斯模型对所述初始人脸皮肤区域和所述初始头发区域的像素点的特征向量进行概率分布估计，其中所述特征向量包括颜色特征向量和纹理特征向量；根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域；以及利用插值算法放大所述人头区域，得到处理后的图像帧。

【技术特征摘要】
1.一种人脸图像处理方法，包括步骤：对当前图像帧做人脸检测，生成人脸基准区域；对所述人脸基准区域进行关键点检测，识别出人脸关键点；根据所述人脸关键点从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域；结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；利用混合高斯模型对所述初始人脸皮肤区域和所述初始头发区域的像素点的特征向量进行概率分布估计，其中所述特征向量包括颜色特征向量和纹理特征向量；根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域；以及利用插值算法放大所述人头区域，得到处理后的图像帧。2.如权利要求1所述的方法，其中所述根据人脸关键点从人脸基准区域中划分出图像帧中初始人脸皮肤区域的步骤包括：将人脸基准区域中除了预定区域之外的区域划分为初始人脸皮肤区域，其中，所述预定区域根据所述预定关键点确定，所述预定关键点包括眼睛、眉毛、嘴巴。3.如权利要求1或2所述的方法，其中所述结合人脸基准区域及先验知识计算出该图像帧中初始头发区域的步骤包括：将位于人脸基准区域上方预定比例的、且为连通区域的区域初步判定为初始头发区域。4.如权利要求1-3中任一项所述的方法，其中，所述混合高斯模型定义为：p(x)=Σk=1Kπkpk(x)]]>其中，pk(x)=1(2π)N|Ck|exp(-12(x-μk)TCk-1(x-μk))]]>为第k个高斯模型的概率密度函数，且K为高斯模型的个数，πk为第k个模型的权重，x为某个像素的特征向量，N为特征向量的维度，μk为均值向量，Ck为N*N的协方差矩阵。5.如权利要求4所述的方法，其中所述利用混合高斯模型对初始人脸皮肤区域和初始头发区域的像素点的特征向量进行概率分布估计...

【专利技术属性】
技术研发人员：万鹏飞，张伟，傅松林，曲晓超，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建;35