笑容检测系统及方法技术方案

本发明专利技术公开笑容检测系统和方法。示例性方法包括产生图像子集的搜索图。该方法还包括辨别代表嘴角的多个候选者。该方法还包括在代表嘴角的每对候选者之间产生抛物线。该方法还包括分析抛物线中的至少一条抛物线的轮廓，以确定嘴大致向上弯曲成形成笑容还是大致向下弯曲成形成不悦。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
数字图像中的对象识别用于跟踪面部(例如为了安全目的)和医疗成像。可以用于对象识别的示例性形状检测算法包括主动外观模型(AAM)和主动形状模型(ASM)。AAM算法将在训练阶段提供的对象形状的统计模型与当前图像中的对象形状相匹配。在训练过程中，提供并存储一组图像和图像中的对象的相应坐标。然后，在使用过程中，该算法将当前图像与所存储的对象识别数据相比较。最小均方统计技术用来匹配当前图像中的对象。然而，ASM仅使用形状约束来进行对象识别，而不利用其它信息，例如目标对象的纹理。ASM算法使用对象形状的统计模型，对象形状的统计模型迭代地变形以符合新图像中的对象示例。对象的形状由一组受形状模型控制的点表示。然后，通过交替地在图像中在每个点附近进行搜索来寻找该点的更佳位置，以及更新模型参数来最佳地匹配新发现的位置，将模型与当前图像相匹配。通过查找显著的边缘或者通过与该点处预期的统计模型相匹配，可以定位每个点的更佳位置。然而，AAM算法和ASM算法需要大量计算，因此会很慢，除非在大型计算系统上(例如那些可能与大型视频监控系统和医疗成像系统结合使用的系统)使用。AAM算法和ASM算法还被发现易于出错。附图说明图1是可以用于图像中的笑容检测的示例性相机系统的框图。图2是示例性笑容检测应用程序的功能模块的示意图。图3a_图3b示出可以根据本专利技术中描述的用于笑容检测的系统和方法分析的包括面部的示例性图像。图4a_图4b示出关于图3a_图3b中示出的图像分别可能产生的示例性搜索图。图5是图示用于图像中的笑容检测的示例性操作的流程图。具体实施例方式可以实施本专利技术中描述的系统和方法来进行图像中的笑容检测。简要地说，可以使用比上面描述的AAM算法和ASM算法需要更少计算量的操作，快速地检测笑容(或不悦)。笑容(或不悦)是通过根据至少三个输入点(左角、右角和中间点)将上嘴唇和/或下嘴唇建模为抛物线来检测的。还可以使用其它输入点。沿抛物线轨迹分析灰度值。通常，选择具有更宽、更暗和/或更一致轨迹的抛物线作为代表嘴的最佳。然后，可以针对笑容(或不悦)来分析所选择的抛物线的曲率。在示例性实施例中，图像转换器被配置成产生图像子集的搜索图。可操作地与图像转换器关联的图像分析器被配置成:在搜索图中辨别代表嘴角的多个候选者；在一对或多对候选者之间产生抛物线；并且根据抛物线轨迹确定嘴大致向上弯曲成形成笑容还是大致向下弯曲成形成不悦(或者不形成笑容也不形成不悦)。图1是可以用于图像中的笑容检测的示例性相机系统的框图。示例性相机系统100可以是包括透镜110的数码相机(例如静态相机、摄影机、照相手机或其它)，镜头110被放置成在快门135为图像曝光开启时将从场景125中的一个或多个对象122反射到图像捕获设备或图像传感器130上的光120进行聚焦。快门135可以以机械方式实现或者在电路中实现，并且不在所有相机中实现。示例性透镜110可以是对从场景125反射到图像传感器130上的光120进行聚焦的任何适合的透镜。示例性图像传感器130可以包括多个光敏单元，每个光敏单元响应于暴露于光增加或累积电荷。任何特定像素的累积电荷正比于光暴露的强度和持续时间。示例性图像传感器130可以包括但不限于电荷耦合器件(CXD)或者互补金属氧化物半导体(CMOS)传感器。相机系统100还可以包括图像处理逻辑140。在数码相机中，图像处理逻辑140从图像传感器130接收代表曝光期间由图像传感器130捕获的光120的电信号，来产生场景125的数字图像。数字图像可以存储在相机的存储器150 (例如可移除的存储卡冲。在另一实施例中，数字图像可以在例如显示器170上向用户“实时(这通常称为实时观看)”显示。如图1中图示的那些快门、图像传感器、存储器和图像处理逻辑是相机和照相领域众所周知的。本领域的技术人员在熟悉本专利技术的教导以后，可以容易地向数码相机100提供这些组件，因此不必要做进一步的描述。数码相机100还可以包括照片分析子系统160。在示例性实施例中，照片分析子系统160被实现在驻留在数码相机100的存储器中的且可由数码相机100的处理器，例如可商业获得的数码相机通常具有的存储器和处理器，运行的程序代码(例如固件和/或软件)。可以提供显示器170，如液晶显示器(IXD)，来呈现实时观看和/或其它用户交互。还可以提供一个或多个相机控制器75 (例如箭头按键和缩放操纵杆)来接收用户对数码相机100的输入。照片分析子系统160可以包括用户接口引擎162和逻辑164。逻辑164可以可操作地与存储器150关联来访问数字图像(例如由图像处理逻辑140读取存储器150中存储的和/或实时查看所显示的图像)。逻辑164可以包括用于为进行图像中的笑容检测而分析数字图像(或所选的数字图像)的程序代码，例如下面关于图2更详细地描述的应用程序200。逻辑164还可以可操作地与用户接口引擎162和/或与快门触发机构180关联。在一个实施例中，当检测到笑容时，逻辑164可以通知相机的用户，使得用户能够操作快门触发结构180来拍摄图片。在另一实施例中，当检测到不悦时，逻辑164可以通知相机的用户，使得用户可以指示照片中的主体122去微笑。在另一实施例中，当检测到笑容时，逻辑164可以通过操作快门触发机构180来自动地拍摄图片，而用户不需要向相机提供任何输入。这可能是特别想要的，例如当用户正在拍摄视频且还想在不停止摄像来捕获照片的条件下捕获微笑中的人物的照片时。在继续描述以前，应注意，上面关于图1示出和描述的数码相机100仅仅例示了可以实施于图像中的笑容检测的相机系统。然而，本专利技术中描述的方法和系统不旨在局限于仅与相机系统100—起使用。还可预见可以实施于图像的笑容检测的电子图像系统的其它实施例。图2是用于笑容检测的示例性图像检测应用程序200的功能模块的示意图。示例性应用程序200可以在相机系统(例如图1的相机系统100)上以可由一个或多个计算系统运行的计算机可读程序代码的形式实现，计算机可读程序代码例如但不限于固件、应用程序(例如所谓的基于移动的“应用(app)”)或其它适合的软件。例如，应用程序200可以是在智能电话上运行的且运行本专利技术中描述的各个功能模块的基于移动的“app”。可替代地，应用程序200可以实现在单独的环境中，例如实现为用于个人计算机的软件产品。应用程序200可以实现为如图2所示的一个或多个功能模块。然而应注意，功能模块不旨在是限制性的。可以提供其它功能模块和/或不同模块的功能可以合并到一个或多个不同模块内。图2中未示出全部功能，但是本领域的技术人员在熟悉本专利技术的教导以后能够容易地将全部功能实现在程序代码中。在示例性实施例中，应用程序200可以包括被配置成接收一个或多个图像201 (例如“实时观看”的图像)的输入引擎210，在实时观看时，图像可以包括大致实时地存在于图像传感器内或者从图像传感器中读出的数据。可替代地，图像201可以以适合的原始电子格式(例如jpg、bmp、gif、pdf或mpeg格式)从存储器中接收。在任何情况下，图像201可以包括代表一个或多个人(例如全身图像)或者人的一部分(例如图像中的一个或多个脸)的数据。应注意，应用程序200还可以从用户接收附加信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在电子图像设备(100)中进行笑容检测的方法，包括: 产生图像(300)的子集的搜索图(400)； 辨别代表嘴角的多个候选者(400a-400f)； 在每对代表嘴角的候选者之间产生抛物线(410);以及 分析所述抛物线中的至少一条抛物线的轮廓，以确定嘴大致向上弯曲成形成笑容还是大致向下弯曲成形成不悦。2.根据权利要求1所述的方法，进一步包括: 使用图像识别(220)来辨别面部区；以及 从所述面部区选择所述图像的子集。3.根据权利要求1所述的方法，进一步包括:对每条抛物线(410)打分。4.根据权利要求3所述的方法，进一步包括: 在分析所述抛物线中的至少一条抛物线以前，根据分数选择最佳代表嘴的抛物线(410)。5.根据权利要求1所述的方法，其中产生搜索图(400)包括: 对所述图像(300)的子集中的亮度 通道进行规范化； 合并所述图像(300)的子集中的色度通道；以及 将所规范化的亮度通道与所合并的色度通道合并。6.根据权利要求5所述的方法，进一步包括:对所述搜索图(400)进行降采样，来减少待分析的数据，同时保持分辨率来辨别代表嘴角的多个候选者(400a-400f)。7.根据权利要求5所述的方法，进一步包括:对所述搜索图(400)进行滤波，以减少噪声和平滑待分析的数据。8.根据权利要求5所述的方法，进一步包括:对所述搜索图(400)进行锐化，以增强较低频率的边缘。9.一种用于笑容检测的系统，包括: 用于存储图像(300)的计算机可读存储器； 图像转换器(230)，可操作地与...

【专利技术属性】
技术研发人员：丹·L·道尔顿，丹尼尔·布卢姆，大卫·施陶达赫尔，
申请(专利权)人：惠普发展公司，有限责任合伙企业，
类型：
国别省市：