紧凑的无语言面部表情嵌入和新颖三元组的训练方案制造技术

本公开提供了包括或以其他方式利用面部表情模型的系统和方法，该面部表情模型被配置为提供面部表情嵌入。具体而言，面部表情模型可以接收描绘面部的输入图像，并且作为响应，提供面部表情嵌入，该面部表情嵌入对描述由输入图像中描绘的面部做出的面部表情的信息进行编码。例如，面部表情模型可以是或包括神经网络，诸如卷积神经网络。本公开还提供了一种新颖且独特的三元组训练方案，其不依赖于将特定图像指定为锚或参考图像。

Compact nonverbal facial expression embedding and novel triplet training scheme

【技术实现步骤摘要】
【国外来华专利技术】紧凑的无语言面部表情嵌入和新颖三元组的训练方案
本公开总体上涉及机器学习。更具体地，本公开涉及紧凑的无语言(language-free)面部表情嵌入和相关联的新颖的三元组(triplet)训练技术。
技术介绍
机器学习通常指的是计算机科学的一个领域，该领域的重点是诸如计算机的机器能够在没有明确编程的情况下学习。机器学习包括研究和构建机器执行的、使机器能够从数据中学习并对数据做出预测的算法或技术。具体而言，这种算法可以通过从输入观察的训练集建立模型来操作，以便做出被表达为输出的、由数据驱动的预测或决策，而不是严格遵循静态编程指令。机器学习技术的一个主要分支包括监督学习技术。监督学习可以包括从包括许多标记示例的训练数据集推断或学习函数或模型。例如，训练数据集中的每个示例可以包括一个或多个输入值(可以被表达为具有多个特征的向量、二维矩阵或其他格式)和一个或多个期望的输出值(也可以称为监督信号)。通常，使用提供输入值和输出值的已知的地面真值(groundtruth)信息来标记受监督的训练数据。受监督的机器学习算法可以分析训练数据并产生推断模型，本文档来自技高网...

【技术保护点】
1.一种计算机系统，所述计算机系统包括:/n面部表情模型，被配置为接收描绘面部的输入图像，并且作为响应，提供面部表情嵌入，所述面部表情嵌入对描述由输入图像中描绘的面部做出的面部表情的信息进行编码；/n一个或多个处理器；和/n存储指令的一个或多个非暂时性计算机可读介质，当所述指令被所述一个或多个处理器执行时，使得所述计算机系统:/n获得所述描绘面部的输入图像；/n将所述输入图像输入所述面部表情模型；并且/n从所述面部表情模型接收对描述由所述面部做出的面部表情的信息进行编码的面部表情嵌入。/n

【技术特征摘要】
【国外来华专利技术】20170630 US 15/639,0861.一种计算机系统，所述计算机系统包括:
面部表情模型，被配置为接收描绘面部的输入图像，并且作为响应，提供面部表情嵌入，所述面部表情嵌入对描述由输入图像中描绘的面部做出的面部表情的信息进行编码；
一个或多个处理器；和
存储指令的一个或多个非暂时性计算机可读介质，当所述指令被所述一个或多个处理器执行时，使得所述计算机系统:
获得所述描绘面部的输入图像；
将所述输入图像输入所述面部表情模型；并且
从所述面部表情模型接收对描述由所述面部做出的面部表情的信息进行编码的面部表情嵌入。


2.根据权利要求1所述的计算机系统，其中所述面部表情模型已经在训练数据集上被训练，所述训练数据集包括组织成图像三元组的多个图像。


3.根据权利要求2所述的计算机系统，其中每个图像三元组包括标记，所述标记指示包括在这样的图像三元组中的三个图像中的哪两个已经被评估为这样的图像三元组中最相似的图像对。


4.根据权利要求3所述的计算机系统，其中，对于每个图像三元组，三个图像中没有一个被指示为锚图像。


5.根据权利要求3所述的计算机系统，其中:
每个图像三元组包括第一图像、第二图像和第三图像，其中所述第一图像和所述第二图像已经被评估为所述图像三元组中最相似的图像对；
所述面部表情模型已经用编码第一约束和第二约束两者的目标函数来训练；
所述第一约束包括第一要求，所述第一要求是所述面部表情模型为所述第一图像提供的第一嵌入和所述面部表情模型为所述第二图像提供的第二嵌入之间的第一距离小于所述第一嵌入和所述面部表情模型为所述第三图像提供的第三嵌入之间的第二距离；并且
所述第二约束包括第二要求，所述第二要求是所述第一嵌入和所述第二嵌入之间的第一距离小于所述面部表情模型为所述第二图像提供的第二嵌入和所述面部表情模型为所述第三图像提供的第三嵌入之间的第三距离。


6.根据权利要求1所述的计算机系统，其中所述面部表情模型包括卷积神经网络。


7.根据权利要求1所述的计算机系统，其中所述面部表情嵌入包括无语言面部表情嵌入。


8.根据权利要求1所述的计算机系统，其中所述指令的执行还使得所述计算机系统:
至少部分基于所述面部表情嵌入识别描绘了与由所述输入图像描绘的面部做出的面部表情相同的面部表情的至少一个附加图像，作为响应于与所述输入图像相关联的搜索查询的搜索结果，其中为了识别所述至少一个附加图像作为所述搜索结果，所述计算机系统将与所述输入图像相关联的面部表情嵌入与分别与作为潜在搜索结果的多个候选图像相关联的多个附加面部表情嵌入进行比较。


9.根据权利要求1所述的计算机系统，其中所述指令的执行还使得所述计算机系统:
至少部分基于所述面部表情嵌入，识别具有与由所述面部做出的面部表情最相似的表情符号表情的表情符号。


10.根据权利要求1所述的计算机系统，其中所述指令的执行还使得所述计算机系统:
将图像集合中包括的多个图像分别输入到所述面部表情模型中，以分别获得所述多个图像的多个面部表情嵌入；并且
至少部分地基于所述多个面部表情嵌入，将包括在所述图像集合中的多个图像分类成两个或更多个聚类。


11.根据权利要求1所述的计算机系统，其中所述指令的执行还使得所述计算机系统:
至少部分基于所述面部表情嵌入来为所述输入图像确定分数，其中所述输入图像的分数指示所述输入图像的合意性；并且
执行以下至少一项操作:
至少部分基于为所述输入图像确定的分数相对于为一组图像确定的其他分数，从所述一组图像中选择所述输入图像作为最佳镜头；以及
至少部分基于为所述输入图像确定的分数，确...

【专利技术属性】
技术研发人员：R维姆拉帕利，A阿加尔瓦拉，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US