通过视觉和语音识别测量内容分级制造技术

提供用于测量客户对至少服务、产品和内容之一的满意度的方法。该方法包括：获得客户的至少图像和语音数据之一；分析获得的至少图像和语音数据之一，用于至少以下之一：（ａ）检测客户的凝视；（ｂ）检测客户的面部表情；（ｃ）检测客户的情绪；（ｄ）检测客户的语音；以及（ｅ）检测客户与至少服务、产品和内容之一的互相作用；和基于至少（ａ）－（ｅ）之一来确定客户满意度。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术一般涉及视觉和语音识别，并且尤其涉及用于通过视觉和/或语音识别来测量客户满意度(satisfaction)的方法和设备。在现有技术中，具有几种已知方式来由客户评价显示的产品、服务或内容(在此共同称为“产品”)的兴趣。然而，所有这些已知方式都是人工完成的。例如，调查卡在产品附近可以得到，以便过路人获取并填写。或者，商店营业员或销售代表可以通过向客户询问一系列与产品有关的问题来征求客户对该产品的兴趣。然而，在任何一种方式中，人们必须愿意参与提问。如果愿意的话，人工提问花费时间，时常比人们愿意花费的时间多得多。此外，人工提问取决于参与人群的诚实性。对于内容，比如电视节目，一项服务Nielson自动测量目前正在观看什么内容以及谁在观看。然而，却不自动测量各个人是喜欢还是不喜欢此内容。此外，显示产品的制造商和销售商常常需要不愿泄露给参与者的信息，比如像性别和种族这样的特征。这类信息对制造商和销售商在市场上出售他们的产品是非常有用的。然而，因为制造商感觉到参与者不想提供这样的信息或者被这样的提问所冒犯，所以制造商和销售商不在他们的产品调查表上提问这样的问题。因此，本专利技术的一个目的是提供用于自动测量客户对产品、服务或内容的满意度的方法和设备。因此，提供用于测量客户对至少服务、产品和内容之一的满意度的方法。该方法包括获得客户的至少图像和语音数据之一；分析获得的至少图像和语音数据之一，用于至少以下之一(a)检测客户的凝视；(b)检测客户的面部表情；(c)检测客户的情绪；(d)检测客户的语音；以及(e)检测客户与至少服务、产品和内容之一的互相作用；并且基于至少(a)-(e)之一来确定客户满意度。最好，该方法进一步包括根据至少图像和语音数据之一来确定客户的至少性别、种族和年龄之一。获得最好包括在图像数据中识别客户。识别最好包括在图像数据中检测面部。或者，识别包括把图像数据中的目标按人和非人来分类。对客户凝视的检测最好包括确定至少检测到的凝视的方向是否对着至少服务、产品和内容之一以及对着至少服务、产品和内容之一的凝视的持续时间。最好，对客户面部表情的检测包括确定检测到的面部表情是满意还是不满意。该方法最好进一步包括每当面部表情被检测到时检测客户的凝视是否对着至少服务、产品和内容之一，以及其中客户满意度的确定至少部分地基于此。最好，对客户情绪的检测至少部分地基于对客户的至少语音和面部表情之一的检测。对客户情绪的检测最好包括对客户的情绪强度的检测。最好，对情绪强度的检测至少部分地基于对客户的至少语音和面部表情之一的检测。对客户语音的检测最好包括在识别出的语音中检测特定短语。最好，对客户语音的检测包括在识别出的语音中检测情绪。检测客户与至少服务、产品和内容之一的互相作用最好包括检测与至少产品、服务和内容之一的物理互相作用。还提供用于测量客户对至少服务、产品和内容之一的满意度的设备。该设备包括至少照相机和话筒之一，用于获得客户的至少图像和语音数据之一；和处理器，具有用于分析获得的至少图像和语音数据之一的装置，用于至少以下之一(a)检测客户的凝视；(b)检测客户的面部表情；(c)检测客户的情绪；(d)检测客户的语音；以及(e)检测客户与至少服务、产品和内容之一的互相作用；其中该处理器进一步具有用于基于至少(a)-(e)之一来确定客户满意度的装置。最好，该处理器进一步具有用于根据至少图像和语音数据之一来确定客户的至少性别、种族和年龄之一的装置。还提供了用于执行本专利技术方法的计算机程序产品和用于在其中存储计算机程序产品的程序存储设备。参考下面的描述、所附权利要求和附图，本专利技术的设备和方法的这些和其他特点、方面和优点将变得更好理解，其中附图说明图1图示用于执行本专利技术方法的设备的优选实施方案的示意图。图2a和2b图示表示本专利技术方法的优选实施方案的流程图。现在参考图1，示出了用于测量客户对至少服务、产品和内容之一的满意度的设备，该设备一般利用参考数字100来指示。设备100包括至少一个并且最好包括几个照相机102，具有足以在显示的产品、服务或内容104的预定区域内捕捉图像数据的视野。术语照相机在其通用意义上被用于指所有图像捕捉设备。照相机102最好是数字摄像机，然而，它们也可以是模拟摄像机、数字静止图像照相机等。如果使用模拟照相机，则其输出必须被适当地转换成数字格式。该照相机102可以是固定的或者具有随动拍摄、俯摄和推拉摄影性能。该设备还包括至少一个话筒106，用于捕捉来自预定区域的语音数据。话筒106最好是数字话筒，然而，还能够利用其他类型的话筒，如果其输出信号被适当地转换成数字格式。术语话筒在其通用意义上被用于指所有声音捕捉设备。照相机102和话筒106在获得预定区域内的客户108a、108b或其他目标109的图像和话音数据上是有用的。虽然，或话筒106或至少一个照相机102对于实践本专利技术的方法来说是必需的，但最好是两者都使用。如在本文中所使用的，术语“客户”指在照相机102和话筒106的视野/声音区内在图像和/或语音数据中检测到的任何人。客户可能对显示的产品、服务和/或内容感兴趣也可能不感兴趣，他或她在预定区域内的出现就是足以被分类为“客户”的原因。捕捉到的图像和语音数据分别利用相应的图像和语音识别装置110、112以下面将讨论的方式来分析。设备100还包括处理器114，比如个人计算机。尽管在图1中表示为独立的模块，但图像和语音识别装置110、112最好在处理器114中实施，以执行一套指令，这套指令分析来自照相机102和话筒106的输入图像和语音数据。最好，处理器114进一步具有用于从捕捉到的图像和/或语音数据中确定客户108a、108b的至少性别、种族和年龄之一的装置。设备100还包括用于输出由处理器114分析的结果的输出装置116。输出装置116可以是打印机、监视器或者用在其他方法或设备中的电子信号。现在将参考图2a和2b说明本专利技术的一种方法的优选实施方案。图2a和2b图示说明了一种方法的优选实施方案的流程图，该方法最好由设备100来执行，该方法一般利用参考数字200来指示。方法200测量客户对至少服务、产品和内容(在此一起称为“产品”)之一的满意度。产品可以被显示在公共区域中，比如商业区，其中产品(例如，消费产品)显示在预定区域内，或者显示在专用区域中，其中产品(例如，像电视节目这样的内容)正在预定区域内被观看着。在步骤202上，利用照相机102和/或话筒106获得预定区域的图像和语音数据中的至少一个并且最好是两者。在获得图像和/或语音数据之后，在步骤204上，在图像和/或语音数据中识别客户108a、108b。虽然可以利用图像和语音数据之一或两者来识别预定区域内的客户，但最好使用本领域中任何已知的方法来这样利用图像数据在图像数据中识别人。一种这样的方法是其中在图像数据中检测面部，并且每个面部与一个人相关。一旦发现一个面部，那么就可以安全地假定一个人存在。通过检测面部在图像数据中识别人的例子公开在Gutta等人的Mixture of Experts for Classificationof Gender，ethnic Origin，and Pose of Human Faces，IEEE Transacti本文档来自技高网...

【技术保护点】
一种用于测量客户对至少服务、产品和内容（１０４）之一的满意度的方法，该方法包括：获得客户（１０８ａ）的至少图像和语音数据之一；分析获得的至少图像和语音数据之一，用于至少以下之一：（ａ）检测客户（１０８ａ）的凝视； （ｂ）检测客户（１０８ａ）的面部表情；（ｃ）检测客户（１０８ａ）的情绪；（ｄ）检测客户（１０８ａ）的语音；以及（ｅ）检测客户（１０８ａ）与至少服务、产品和内容（１０４）之一的互相作用；和基于至少（ａ）－（ ｅ）之一来确定客户满意度。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：S古塔，A科尔梅纳雷兹，M特拉科维克，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL[荷兰]