人脸图像的嘴部定位方法与装置、嘴形识别方法及系统制造方法及图纸

人脸图像的嘴部定位方法与装置、嘴形识别方法及系统，所述嘴部定位方法包括：对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；从第一图像中提取出嘴部预估区域，获得第二图像；基于第一图像，建立人脸的肤色模型；将第二图像向所述肤色模型进行投影以计算出肤色概率，获得第三图像；对第三图像进行二值化处理，形成第五图像；将第二图像基于色调分量形成第八图像，以第八图像对第五图像进行辅助检测，形成第九图像；对第九图像进行数学形态学操作，形成第十一图像；基于第十一图像，分别以水平投影和垂直投影来确定输入的人脸图像中嘴部区域的位置。本技术方案能有效实现嘴部精确定位。

【技术实现步骤摘要】

本专利技术涉及图像处理与模式识别领域，特别涉及一种人脸图像的嘴部定位方法与装置、嘴形识别方法及系统。
技术介绍
随着社会对现代智能技术需求的日益增长，对人脸嘴部的状态进行侦测也正在成为一项具有重要意义的新兴研究课题。例如:在与生命息息相关的交通安全监控领域，如果能实现对司机驾驶的实时智能监控，并能在监控中对张嘴打呵欠的疲劳情况给予及时提醒，必将显著降低交通事故率；在表情识别
中，嘴部的轮廓形状将是用作表情分类的一项重要特征；在针对聋哑人的唇语辅助识别
中，嘴形的连续变化过程将会是对话语内容进行识别的基本依据坐坐J/Π，寸寸O而以上这一切所需解决的首要前提是:实现对嘴部的有效定位。传统的方法是预先对大量人脸图像中的肤色、唇色进行统计，并建立颜色分布模型，再基于所建立的颜色分布模型实现对输入的人脸图像的嘴部定位。然而，有些输入的人脸图像却存在偏色的情况，这将给通常所采取的预先统计建立颜色分布模型的方法带来较大的干扰，从而导致嘴部定位失效。为使在人脸图像存在偏色情况时嘴部定位依然有效，提出一种能精确定位彩色人脸图像嘴部的方法显得十分必要。相关技术还可参考公开号为CN 1710595A的中国专利申请，该专利申请公开了一种嘴角定位方法。
技术实现思路
本专利技术要解决的问题是提供一种人脸图像的嘴部定位方法，能有效地实现对人脸图像中的嘴部精确定位，从而有助于提高对嘴形识别的准确率。为解决上述问题，本专利技术技术方案提供一种人脸图像的嘴部定位方法，包括:对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；从所述第一图像中提取出嘴部预估区域，获得第二图像；基于所述第一图像，建立人脸的肤色模型；将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第三图像；对所述第三图像进行二值化处理，形成第五图像；将所述第二图像基于色调分量形成第八图像，并以所述第八图像对所述第五图像进行辅助检测，形成第九图像；对所述第九图像进行数学形态学操作，形成第十一图像；基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置。可选的，从所述第一图像中提取出嘴部预估区域，获得第二图像包括从左至右以所述第一图像宽度的25%处作为所述嘴部预估区域的左边沿，以所述第一图像宽度的75%处作为所述嘴部预估区域的右边沿；从上至下以所述第一图像高度的65%处作为所述嘴部预估区域的上边沿，以所述第一图像的下边沿作为所述嘴部预估区域的下边沿；沿上、下、左、右四个边沿裁剪出所述嘴部预估区域形成所述第二图像。可选的，所述基于所述第一图像，建立人脸的肤色模型包括将所述第一图像转换到亮度与色度分离的色彩空间；选取所述色彩空间中的色度分量，统计建立所述肤色模型。可选的，所述亮度与色度分离的色彩空间为Lab色彩空间。可选的，所述肤色模型为高斯模型。可选的，对所述第三图像进行二值化处理，形成第五图像包括对所述第三图像进行二值化操作后获得第四图像；判断所述第四图像中白色像素的个数是否大于第一阈值，是则对所述第四图像进行取反操作后输出所述第五图像，否则直接以第四图像作为所述第五图像输出；所述第一阈值按所述第四图像总像素个数乘以大于50%的比例进行设定。可选的，将所述第二图像基于色调分量形成第八图像包括将所述第二图像转换到具有色调分量的色彩空间；选取所述色调分量输出第六图像；对所述第六图像进行二值化处理，形成第八图像。可选的，所述具有色调分量的色彩空间为HSV色彩空间，所述色调分量为H分量。可选的，所述对所述第六图像进行二值化处理，形成第八图像包括对所述第六图像进行二值化操作后获得第七图像；判断所述第七图像中白色像素的个数是否大于第二阈值，是则对所述第七图像进行取反操作后输出所述第八图像，否则直接以第七图像作为所述第八图像输出；所述第二阈值按所述第七图像总像素个数乘以大于50%的比例进行设定。可选的，所述以所述第八图像对所述第五图像进行辅助检测，形成第九图像包括对于所述第五图像中的白色像素，若其在所述第八图像中相应像素的预定邻域中的像素均为黑色像素，则将所述第五图像中的该白色像素设置为黑色像素；遍历所述第五图像中的所有像素后，形成所述第九图像。可选的，对所述第九图像进行数学形态学操作，形成第十一图像包括对所述第九图像进行连通区标注，并保留面积最大的一个连通区，形成第十图像；对所述第十图像进行闭运算操作，形成所述第十一图像。可选的，所述基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置包括对所述第十一图像分别进行水平投影和垂直投影；自上向下以及自下向上逐行判断水平投影产生的投影值，若投影值超过第三阈值，则将所述投影值对应的位置分别作为所述嘴部区域的上边沿和下边沿；自左向右以及自右向左逐列判断垂直投影产生的投影值，若投影值超过第四阈值，则将所述投影值对应的位置分别作为所述嘴部区域的左边沿和右边沿；以上、下、左、右四个边沿确定人脸图像中嘴部区域的位置。可选的，所述第三阈值和第四阈值均为最大投影值的1% 5%。为解决上述问题，本专利技术技术方案还提供一种人脸图像的嘴形识别方法，包括以上述嘴部定位方法对输入的人脸图像的嘴部进行定位，并基于定位后确定的所述嘴部区域进行嘴形识别。为解决上述问题，本专利技术技术方案还提供一种人脸图像的嘴部定位装置，包括预处理单元，适于对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；提取单元，适于从所述第一图像中提取出嘴部预估区域，获得第二图像；肤色模型建立单元，适于基于所述第一图像，建立人脸的肤色模型；肤色概率计算单元，适于将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第二图像；第一二值化单元，适于对所述第三图像进行二值化处理，形成第五图像；色调辅助检测单元，适于将所述第二图像基于色调分量形成第八图像，并以所述第八图像对所述第五图像进行辅助检测，形成第九图像；数学形态学操作单元，适于对所述第九图像进行数学形态学操作，形成第十一图像；投影定位单元，适于基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置。为解决上述问题，本专利技术技术方案还提供一种嘴形识别系统，包括上述人脸图像的嘴部定位装置；识别单元，适于基于所述嘴部定位装置对输入的人脸图像的嘴部进行定位后确定的所述嘴部区域进行嘴形识别。与现有技术相比，本专利技术的技术方案具有以下优点通过对输入的人脸图像即时建立自适应肤色模型从而获得对应于该图像的肤色分布，然后提取出人脸图像的嘴部预估区域形成第二图像并向所述肤色模型进行投影以计算出肤色概率，从而获得第三图像，进而对所述第三图像进行二值化处理形成第五图像，与此同时将所述第二图像基于色调分量所形成的第八图像对所述第五图像进行辅助检测，继而再进行连通区保留、闭运算等一系列数学形态学操作，最后通过投影法来精确定位嘴部区域，从而能有效地实现人脸图像中的嘴部精确定位，由此还能提高对嘴形识别的准确率。其中，通过结合色调分量进行辅助检测能使二值化处理的结果更加精确，从而达到对所述人脸图像中嘴部区域更好的定位效果。附图说明图1是本专利技术实施方式提供的人脸图像的嘴部定位方法的流程示意图；图2是提取嘴部预估本文档来自技高网...

【技术保护点】
一种人脸图像的嘴部定位方法，其特征在于，包括：对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；从所述第一图像中提取出嘴部预估区域，获得第二图像；基于所述第一图像，建立人脸的肤色模型；将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第三图像；对所述第三图像进行二值化处理，形成第五图像；将所述第二图像基于色调分量形成第八图像，并以所述第八图像对所述第五图像进行辅助检测，形成第九图像；对所述第九图像进行数学形态学操作，形成第十一图像；基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置。

【技术特征摘要】
1.一种人脸图像的嘴部定位方法，其特征在于，包括: 对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像； 从所述第一图像中提取出嘴部预估区域，获得第二图像； 基于所述第一图像，建立人脸的肤色模型； 将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第三图像； 对所述第三图像进行二值化处理，形成第五图像； 将所述第二图像基于色调分量形成第八图像，并以所述第八图像对所述第五图像进行辅助检测，形成第九图像； 对所述第九图像进行数学形态学操作，形成第十一图像； 基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的·位置。2.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，从所述第一图像中提取出嘴部预估区域，获得第二图像包括: 从左至右以所述第一图像宽度的25%处作为所述嘴部预估区域的左边沿，以所述第一图像宽度的75%处作为所述嘴部预估区域的右边沿； 从上至下以所述第一图像高度的65%处作为所述嘴部预估区域的上边沿，以所述第一图像的下边沿作为所述嘴部预估区域的下边沿； 沿上、下、左、右四个边沿裁剪出所述嘴部预估区域形成所述第二图像。3.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，所述基于所述第一图像，建立人脸的肤色模型包括: 将所述第一图像转换到亮度与色度分离的色彩空间； 选取所述色彩空间中的色度分量，统计建立所述肤色模型。4.根据权利要求3所述的人脸图像的嘴部定位方法，其特征在于，所述亮度与色度分离的色彩空间为Lab色彩空间。5.根据权利要求1或3或4所述的人脸图像的嘴部定位方法，其特征在于，所述肤色模型为高斯模型。6.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，对所述第三图像进行二值化处理，形成第五图像包括: 对所述第三图像进行二值化操作后获得第四图像； 判断所述第四图像中白色像素的个数是否大于第一阈值，是则对所述第四图像进行取反操作后输出所述第五图像，否则直接以第四图像作为所述第五图像输出； 所述第一阈值按所述第四图像总像素个数乘以大于50%的比例进行设定。7.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，将所述第二图像基于色调分量形成第八图像包括: 将所述第二图像转换到具有色调分量的色彩空间； 选取所述色调分量输出第六图像； 对所述第六图像进行二值化处理，形成第八图像。8.根据权利要求7所述的人脸图像的嘴部定位方法，其特征在于，所述具有色调分量的色彩空间为HSV色彩空间，所述色调分量为H分量。9.根据权利要求7所述的人脸图像的嘴部定位方法，其特征在于，所述对所述第六图像进行二值化处理，形成第八图像包括: 对所述第六图像进行二值化操作后获得第七图像； 判断所述第七图像中白色像素的个数是否大于第二阈值，是则对所述第七图像进行取反操作后输出所述第八图像，否则直接以第七图像作为所述第八图像输出； 所述第二阈值按所述第七图像总像素个数乘以大于50%的比例进行设定。10.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，所述以所述第八图像对所述第五图像进行辅助检测，形成第九图像包括: 对于所述第五图像中的白色像素，若其在所述第八图像中相应像素的预定邻域中的像素均为黑色像素，则将所述第五图像中的该白色像素设置为黑色像素； 遍历所述第五图像中的所有像素后，形成所述第九图像。11.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，对所述第九图像进行数学形态学操作，形成第十一图像包括:· 对所述第九图像进行连通区标注，并保留面积最大的一个连通区，形成第十图像； 对所述第十图像进行闭运算操作，形成所述第十一图像。12.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，所述基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置包括: 对所述第十一图像分别进行水平投影和垂直投影； 自上向下以及自下向上逐行判断水平投影产生的投影值，若投影值超过第三阈值，则将所述投影值对应的位置分别作为所述嘴部区域的上边沿和下边沿； 自左向右以及自右向左逐列判断垂直投影产生的投影值，若投影值超过第四阈值，则将所述投影值对应的位置分别作为所述嘴部区域的左边沿和右边沿； 以上、下、左、右四个边沿确定人脸图像中嘴部区域的位置。13.根据权利要求12所述的人脸图像的嘴部定位方法，其特征在于，所述第三阈值和第四阈值均为最大投影值的1% 5%。14.一种人脸图像的嘴形识别方法，其特征在于，以权利要求1至13任一项所述的嘴部定位方法对输入的人脸图像的嘴部进行定位，并基于定位后确定的所述嘴部区域进行嘴形识别。15.一种人脸图像的嘴部定位装置，其特征在于，包括: 预处理单元，适于对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一...

【专利技术属性】
技术研发人员：王晓平，曾文斌，赵文忠，
申请(专利权)人：上海银晨智能识别科技有限公司，
类型：发明
国别省市：