收集用于表情识别的机器学习训练数据制造技术

用于实现为机器学习表情分类器生成训练示例的众包管线的设备、方法和制品。众包提供者根据提示或目标主动地生成带有表情的图像。提示或目标可以是模仿表情或以某种方式呈现或“突破”现有表情识别器。由相同或不同的众包提供者收集图像并对其评分，并且然后由专家审核满足第一质量标准的图像。然后使用审核的图像作为训练机器学习表情分类器中的肯定性或否定性示例。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】收集用于表情识别的机器学习训练数据相关申请的交叉引用本申请要求于2013年2月8日提交的，标题为“SYSTEM FOR COLLECTING MACHINELEARNING TRAINING DATA FOR FACIAL EXPRESS1N RECOGNIT1N” 的美国临时专利申请序列号61/762，820的优先权，其全部内容特此以引用的方式并入，如同在本文中予以充分地阐述一样，包括该美国临时专利申请中的文本、附图、权利要求、表格和计算机程序清单附录(如果有的话)以及所有其他事宜。
本文件大体上涉及用于收集情绪、情感状态、动作单元和类似心理状态的表情的可视化机器学习分类器的训练示例的设备、方法和制品；在训练机器学习分类器中此类训练示例的使用；以及情绪、情感状态、动作单元和类似心理状态的表情的机器学习分类器。
技术介绍
对于情绪、情感状态和类似心理状态的表情的自动化识别，有许多应用。或许最为人熟知的应用是数字相机中的笑脸检测。但是，也存在其他应用，包括检测响应外部刺激的面部反应，如消费者对广告、产品展示、标签、包装和定价的反应；以及选民对话题以及辩论表现的评价的面部反应。这种列述完全不是排他性的。情绪、情感状态和类似心理状态的表情的自动识别是令人期待的。这种自动化降低识别成本，并且还对识别流程的结果提供客观性的测量。情绪、情感状态和类似心理状态的表情的自动化(或机器)识别不是普通的设计任务，因为面部表情、姿态、手势和其他面孔/肢体移动并不易使用标准编程技术来定义。机器学习是可以用于此目的的技术集合。机器学习允许人工智能系统从示例学习，实际上是基于训练数据来执行自适应。这些技术通常需要大量且细心收集的训练示例数据集，例如在不同照明条件下多个种族和不同年龄且存在一定范围的面部假象(facial artifact)的情况下的不同人的大量样本图像。需要这些示例以允许机器分类器(识别器)发现不同表情类别之间进行鉴别的特征。虽然从Web收集摆拍的笑容的示例相对容易，但是收集大量情绪(如恐惧、蔑视、愤怒、厌恶及其他)的真实或逼真表情的示例是困难的。需要改进的方法和设备以用于自动地检测通过面部表情、姿态、手势和其他面部/肢体移动所展现的心理状态并将其分类，而无论是否是对已知刺激的反应。还需要有效率的方法来生成和收集能够用于训练情绪、情感状态和类似心理状态的表情的自动化分类器的数据。
技术实现思路
本文件中描述的实施方案针对的是可以满足上文描述的需要以及其他需要中的一个或多个的方法、设备和制品。在实施方案中，计算机实现的方法包括向第一多个未受训的提供者提供提示用于模仿预定表情；从所述第一多个未受训的提供者接收响应提供提示的步骤而创建的图像；向第二多个未受训的提供者发送对图像进行评分的请求；响应发送请求的步骤，接收所述第二多个未受训的提供者的评分；对所述第二多个未受训的提供者评分的图像应用第一质量检查，所述第一质量检查基于所述第二多个未受训的提供者的评分，应用所述第一质量检查的步骤产生通过所述第一质量检查的多个图像；将通过所述第一质量检查的多个图像发送给一个或多个专家，用于由所述一个或多个专家评分；响应发送所述多个图像的步骤，从所述一个或多个专家接收评分；对所述一个或多个专家评分的图像应用第二质量检查，所述第二质量检查基于所述一个或多个专家的评分，应用所述第二质量检查的步骤产生通过所述第二质量检查的一个或多个图像；使用通过所述第二质量检查的所述一个或多个图像来训练分类器；以及在训练的步骤之后使用所述分类器。在实施方案中，计算机实现的方法包括向第一多个未受训的提供者提供目标用于突破预定表情的分类器；从所述第一多个未受训的提供者接收响应提供目标的步骤而创建的图像，从而产生多个接收的图像；利用所述分类器检查所述接收的图像，并废弃不满足所提供的目标的客观目标的图像，从而产生客观上合格的图像；向第二多个未受训的提供者发送对所述客观上合格的图像进行评分的请求；响应发送请求的步骤，接收所述第二多个未受训的提供者的评分；对所述第二多个未受训的提供者评分的图像应用第一质量检查，所述第一质量检查基于所述第二多个未受训的提供者的评分，应用所述第一质量检查的步骤产生通过所述第一质量检查的多个图像；将通过所述第一质量检查的多个图像发送给一个或多个专家，用于由所述一个或多个专家评分；响应发送所述多个图像的步骤，从所述一个或多个专家接收评分；对所述一个或多个专家评分的图像应用第二质量检查，所述第二质量检查基于所述一个或多个专家的评分，应用所述第二质量检查的步骤产生通过所述第二质量检查的一个或多个图像；使用通过所述第二质量检查的所述一个或多个图像来训练分类器；以及在训练的步骤之后使用所述分类器。参考下文描述、附图以及所附权利要求，将更好地理解这些和其他特征和方面。【附图说明】图1是根据本专利技术描述的选定方面配置的基于计算机的系统的简化框图表示；图2图示用于生成自动表情分类器的训练数据的流程的选定步骤；图3图示用于生成自动表情分类器的训练数据的否定示例的流程的选定步骤；图4图示用于生成用于训练自动表情分类器的识别器“突破”数据的流程的选定步骤；以及图5图示用于生成自动表情分类器的训练数据的迭代流程的选定步骤/框。【具体实施方式】在本文件中，词汇“实施方案”、“变化”、“示例”和类似表述是指特定的设备、流程或制品，以及不一定是指同一个设备、流程或制品。因此，在一个位置或上下文环境中使用的“一个实施方案”(或类似表述)可能是指特定的设备、流程或制品；在不同位置或上下文环境中使用的同一个或类似表述可能是指不同的设备、流程或制品。可以使用表述“可替代实施方案”和类似表述和词组来指示多个不同可能的实施方案中的一个。多个可能的实施方案/变化/示例不一定局限于两个或任何其他数量。将项目表征为“示范性”意味着该项目被用作示例。实施方案/变化/示例的此类表征不一定意味着该实施方案/变化/示例是优选的实施方案/变化/示例；该实施方案/变化/示例可以是但不必一定是目前优选的实施方案/变化/示例。所有的实施方案/变化/示例均是出于说明目的而描述的，而不一定是严格的限制。词汇“耦接”、“连接”和含其曲折性语素的类似表述不一定暗示即刻或直接连接，而是在其含义内包含通过中介元件的连接。与图像或视频关联的“情感”信息包括多种类型的心理反应，如情感、认识、生理和/或行为响应，包括记录的原始信号及其解释。在本专利技术描述中，将表示或描述就特定人的情感、认识、生理或行为响应而言该特定人对刺激的反应的相关信息称为情感信息。情感信息可以归因于心理和生理反应，如记忆、联想等。“促使显示”和类似表述是指采取促成显示的一个或多个动作。计算机或移动设备(例如，智能电话或平板电脑)在程序代码的控制下可以促使向例如计算机的用户显示图片和/或文本。此外，程序代码控制下的服务器计算机可以通过使得web页面或其他信息，通过如因特网的网络，可供客户端计算机或移动设备访问，客户端计算机或移动设备然后可以将该web页面显示给计算机或移动设备的用户，来促使该web页面或其他信息被显不ο“促使呈现”和类似表述是指采取导致显示和/或创建和发出声音的一个或多个动作。这些表述将如上文定义的表述“促使显示本文档来自技高网...

【技术保护点】
一种计算机实现的方法，其包括下列步骤：向第一多个未受训的提供者提供一个或多个提示用于模仿预定表情；从所述第一多个未受训的提供者接收响应所述提供一个或多个提示的步骤而创建的图像；向第二多个未受训的提供者发送对所述图像评分的请求；响应所述发送请求的步骤，从所述第二多个未受训的提供者接收所述图像的评分；对所述第二多个未受训的提供者评分的图像应用第一质量检查，所述第一质量检查基于所述第二多个未受训的提供者的所述评分，所述应用所述第一质量检查的步骤产生通过所述第一质量检查的一个或多个图像；将通过所述第一质量检查的所述一个或多个图像发送给一个或多个专家，用于由所述一个或多个专家评分；响应所述发送通过所述第一质量检查的所述一个或多个图像的步骤，从所述一个或多个专家接收一个或多个评分；以及对所述一个或多个专家评分的所述图像应用第二质量检查，所述第二质量检查基于所述一个或多个专家的所述一个或多个评分，所述应用所述第二质量检查的步骤产生通过所述第二质量检查的一个或多个图像。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：J·慕芙兰，M·S·巴特利特，I·法塞尔，G·F·利特莱沃特，J·萨斯坎德，J·怀特希尔，
申请(专利权)人：意莫森特公司，
类型：发明
国别省市：美国;US