一种基于人脸色彩特征的自动白平衡方法及电子媒体装置制造方法及图纸
【技术实现步骤摘要】
一种基于人脸色彩特征的自动白平衡方法及电子媒体装置
本专利技术涉及影像技术和电子设备领域，特别的是摄像头图像处理系统中的色彩控制、处理和增强。
技术介绍
自动白平衡通常包括照明色彩及色温估计，色彩通道的增益调节和色彩矫正和增强。肤色物体表面通常是白平衡照明色彩及色温估计的比较棘手的场景。其一是种族和个体的肤色差，以及个人化妆等带来的随机变异。其二是白色或其它物体表面在一定的色温光照下和肤色难以分辨，从而使目前流行的一些白平衡算法如A.灰色世界、B.完全反射、C.多表面相关等在肤色充盈的场景下对环境色温发生误判。即便在主流品牌的摄像产品中，肤色引起的白平衡误差和肤色色彩还原误差也颇为多见。因此，美国专利申请公开号US2008037975A1中主张将人脸肤色从环境色温的估计中剔除。自动白平衡的一个主要难点是在估计环境色温时，摄像头看到的是未知光源的光照在未知色彩表面物体上的混叠。如果场景中有已知色彩的表面，比如像专业摄像常用的现场白平衡的灰板，计算则很简单。但这对普通照相用户是不方便的。
技术实现思路
本专利技术的其中一个目的在于提供一种基于人脸色彩特征的自动白平衡方法。解决本专利技术的其中一个目的所采取的方案是：提供一种基于人脸色彩特征的自动白平衡方法，其特征在于，该方法适用于电子媒体装置的图像及视频媒体的自动白平衡，包括如下步骤：步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的图像；对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；步骤二：根据所述人脸色彩特征集对图像背景和人脸分别进行环境...
【技术保护点】
一种基于人脸色彩特征的自动白平衡方法，其特征在于，该方法适用于电子媒体装置的图像及视频媒体的自动白平衡，包括如下步骤：步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的图像；对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；步骤二：获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸；根据所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温及色彩估计值C1、C2，综合C1、C2得到全图像的估计值C3；步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行白平衡矫正和色彩增强。
【技术特征摘要】
2014.11.11 CN 20141063083741.一种基于人脸色彩特征的自动白平衡方法，其特征在于，该方法适用于电子媒体装置的图像及视频媒体的自动白平衡，包括如下步骤：步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的多幅图像；对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；步骤二：获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸，所述用户为步骤一中已经预先建立人脸色彩特征集的用户；根据所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温及色彩估计值C1、C2，综合C1、C2得到全图像的色温及色彩估计值C3；步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行白平衡矫正和色彩增强。2.如权利要求1所述的方法，其特征在于，包括步骤一、步骤二及步骤三在一个或多个装置上实现的架构，其中，在多个装置上实现的架构包括：在第一电子媒体装置上实现获取图像，在第二电子媒体装置上实现人脸色彩特征集的获取，在第三电子媒体装置上实现步骤二、或步骤二及步骤三；或其它不同的步骤与装置的组合；所述电子媒体装置包括手机、相机、笔记本、平板电脑、掌上电脑、电视机、显示屏、游戏机、电脑、视频图像压缩编码器、网络传输装置、图像或视频编辑处理装置。3.如权利要求1所述的方法，其特征在于，所述步骤一的获取本征值的实现方法包括：在标准光源下拍摄含有用户人脸的图像；或在常用场景照明下拍摄同时含有标准参考色彩的表面和用户人脸的图像，并利用参考色彩的表面测定照明光源的色温及色彩特征；对人脸进行部位分割，获取各部位的轮廓，再用亮度阈值和色彩直方图对轮廓内的像素点进行筛选，取筛选后的像素点平均值作为人脸的肤色，眼白及牙齿的本征值；所述步骤一获取目标值的方法包括：通过人机界面显示一幅或多幅经过色彩增强的图像，或提供由用户自行调节人脸色彩和饱和度的界面，或并用上述两种方法，提示并获取用户的输入，根据用户的输入确定，并使用与上述获取本征值相同的特征提取方法所述步骤一获取上述部位的目标值，同时获取对应于从原始图像变换到用户确认图像的变换函数；将所获取的本征值，目标值及变换函数输入至人脸色彩特征集中对应于该用户的表项。4.如权利要求1所述的方法，其特征在于，所述步骤二照明色温及色彩估计实现方法包括：对于基于黑体辐射的光源特性的一种照明估计方法为：C1计算方式如下：设背景中任一像素点为ib，其R、G、B分量为rib，gib，bib，背景像素点总和为T1，平均色温的估计为αib为加权因子，与该点的色彩特征及亮度相关；将垂直投影到最近的白点轨迹曲线，即可得到C1；C2的计算，其基本原理与C1计算相似，每个人脸部位都看成是一个独立的参考表面，根据其实测的统计平均值在该表面的色温曲线中的投影位置，以及与色温估计的置信度相关的权重，可算出其对C2的贡献；设人脸图像上任一点ifj，j对应于各个不同的分割部位，与人脸色彩特征集表中的行列序号相对应，各部位的色温估计先分别进行计算，然后再加以综合，以肤色为例；肤色区的图像像素点坐标值乘以一个系数为该点对平均色温估计的贡献，与该点的色彩特征及亮度相关；其中代表人脸肤色像素点总数；将投影到该用户的人脸色彩特征集中本征值拟合的肤色参考线上的最近参考点或最近线段，就得到了人脸其余部位的色温估计，与肤色相似，令眼白的色温估计为牙齿为在计算C2，时，还需要再次通过查找人脸色彩特征值将和映射到白点轨迹上得到相应的和其中θj为估计的置信度加权因子；把C1，C2的坐标看成一个矢量，则全图的色温估计C3＝(C1*k1+C2*k2)/(k1+k2)；对于色彩与黑体辐射的光源特性的照明有一定差异的、需要做白平衡矫正的人工光源的照明色温和色彩估计和白平衡矫正，C1即为，即统计估计总体平均值不向白点色温曲线作投影，C2的人脸各部位计算与之类似。5.如权利要求1所述的方法，其特征在于，所述步骤三包括：方法一：将全图从当前的照明色温及色彩估计C3调节到D50或其他白平衡标准参考光源下的白点位置或某个与场景相关的体验最优值，其实现步骤如下：如果当前的照明色温估计C3在(B/G，R/G)色坐标系中的坐标是则对应于R通道和B通道的附加的白平衡增益调节为G/R1和G/B1；G通道增益不变，使自动曝光不受白平衡的影响；白平衡调节之后，还要进行一个3*3CCM色彩矫正矩阵[R′，G′，B′]＝A*[R，G，B]T。6.如权利要求1所述的方法，其特征在于，所述步骤三包括：方法二：将人脸各个部位的色彩从对应于当前估计的C2的本征值位置调节到人脸色彩特征中对应于该照明估计的目标值位置，而背景从当前的照明色温及色彩估计C1调节到D50或其他白平衡标准参考光源下的白点位置或某个与场景相关的体验最优值；方法二的第一种实现是在人脸色彩特征集中查找与当前估计C2最近色温点的变换函数，并对函数的参数做适当调节，再用调节后的函数对原图进行变换；或者：先来处理人脸的肤色，假设Rref，Bref和Gref肤色的对应于C2的目标值，并且Rcurrent，Bcurrent和Gcurrent是对应于C2的当前估计值，如果Gref与Gcurrent很接近，肤色的矫正由以下方法来计算：若Gref与Gcurrent相差比较大，则把肤色像素点从RGB空间转换到比如HSL空间，再将色彩和饱和度调节到用户优选的目标值，保持亮度不变，再将矫正后的像素点转换回RGB空间；上述色彩和饱和度的调节具体步骤包括，首先在HSL空间里，计算在当前照明下，人脸肤色像素以亮度和色彩为权重的统计加权平均值以及目标值在HSL空间里的坐标，(Hcurrent，Scurrent，Lcurrent)以及(Href，Sref，Lref)，然后计算其H和S分量的差值ΔH＝Href-Hcurrent；ΔS＝Sref-Scurrent，对与肤色区某一像素点(hcurrent0，scurrent0，lcurrent0)的调节采用以下公式；hcurrent1＝hcurrent0+γ×ΔH；Scurrent1＝scurrent0+θ×ΔS；其中，γ和θ是一个与亮度相关的加权因子；将调节后的像素点(hcurrent1，scurrent1，lcurrent0))转换到RGB空间；为了使人脸区的肤色与人体其他裸露部位的肤色的表达一致性，采取如下的处理：首先，进行人体肤色裸露部位的检测和定位，根据人脸的大小和方向性，预测一个人体区间矩形，将矩形的像素从RGB空间转变到YCbCr空间，在CbCr坐标系里以当前色温参考肤色的位置，f为核心、半径为L的圆为肤色滤波器，对所述人体矩形区进行滤波，对位于圆内的像素，再计算其与人体形态各部位的位置相关性以及人体肤色区部位的连通性特征，若被判断为裸露的肤色部位，则采用与上述人脸肤色相同的增益调节方法；人脸的其他部位如牙齿和眼白按照各自的本征值和目标值进行类似肤色的矫正和增强，或与背景同样处理；最后对采用不同矫正方法的图像区域的边缘进行平滑处理。7.如权利要求1所述的方法，其特征在于，基于机器学习的人脸色彩特征的自动提取和白平衡矫正模式，包括如下步骤：获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸；用C1作为照明的色温及色彩估计来进行白平衡调整，在无监督学习模式下，在某个估计的光照色温下，当估计的置信度w1高于某个阈值wt，进行人脸色彩特征本征值数据提取采集，缓存于一个候选数组中，当在同一个估计的光照色温下采集的候选数组中人脸色彩特征本征值数据对应于均值的均方差小于某个阈值的概率P1大于某个阈值P1t时，则认为C1的检测准确，将候选数组中的人脸色彩特征集本征值的均值进行采集，并录入人脸色彩特征集该用户该色温的表项，或者：在用户监督学习模式下，通过人机界面随机的显示含有用户人脸且基于C1的照明色温及色彩估计置信度较高的图像，通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C1的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；或者：在用户监督学习模式下，通过人机界面显示含有用户人脸且基于C1的照明色温及色彩估计并通过无监督学习合格的图像，进一步通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C1的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；目标值的获取方法是，通过人机界面显示一幅或多幅经过色彩增强的图像，或提供由用户自行调节人脸色彩和饱和度的界面，或并用上述两种方法，提示并获取用户的输入，根据用户的输入确定提取目标值，同时获取对应于从原始图像变换到用户确认图像的变换函数；将所获取的目标值及变换函数输入至人脸色彩特征集中对应于该用户该色温估计的表项；当用上述方法采集的人脸色彩特征集的数据充分覆盖了AWB所需覆盖的照明色温及色彩区时，学习过程完成，之后的白平衡的色温及色彩估计和矫正就使用上述数据来实现步骤二和步骤三；上述的机器学习还具有更新的模式，在该模式下，用户随时启动学习过程，更新本征值或目标值。8.一种电子媒体装置，其特征在于，包括至少一个前置工作模式的摄像头；一个或多个控制器，其中一个控制器用于控制该电子媒体装置的系统；固态或非暂时性存储器，用于存有可供控制器读取的指令集；动态存储器，用于供摄像头缓存帧图像和其它数据，以及控制器用来执行指令；可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；可显示图像和图形的显示屏；用户可控的人机交互界面；其中，所述摄像头包括镜头、图像传感器、存储器、摄像头控制器、及图像处理器；该图像处理器将图像传感器传过来的信号处理成符合应用格式化的图像或视频；其中，所述摄像头的上述部分或全部模块是资源独立的，或者是和宿主电子媒体装置资源共享的；该图像处理器包括自动白平衡模块，该自动白平衡模块通过其包括的电子逻辑和控制处理电路硬件模块及控制处理软件模块以及该电子媒体装置的其它资源来实现下述自动白平衡方法和步骤：步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的多幅图像，对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；步骤二：获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸，所述用户为步骤一中已经预先建立人脸色彩特征集的用户；运用所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温及色彩估计值C1、C2，综合C1、C2得到全图像的色温及色彩估计值C3；步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行白平衡矫正和色...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。