判定程序、判定装置以及判定方法制造方法及图纸

本发明专利技术的判定程序使计算机执行获取包含附加了标记的面部的拍摄图像组的处理。判定程序使计算机执行基于拍摄图像所包含的标记的位置来计算第一矢量的处理。判定程序使计算机执行将计算出的第一矢量分割为第二矢量和第三矢量的处理，其中，第二矢量和与标记建立有对应关系的第一动作单元的判定方向相对应，第三矢量和与标记建立有对应关系的第二动作单元的判定方向相对应。判定程序使计算机执行基于第二矢量和第三矢量，来判定第一动作单元的第一产生强度和第二动作单元的第二产生强度的处理。的处理。的处理。

【技术实现步骤摘要】
【国外来华专利技术】判定程序、判定装置以及判定方法


[0001]本专利技术涉及判定技术。

技术介绍

[0002]在非语言沟通中，表情起着重要的作用。在开发理解人并辅助人的计算机方面，表情估计是必需的技术。为了估计表情，首先必须规定表情的描述方法。作为表情的描述方法，已知有AU(Action Unit：动作单元)。AU是基于面部肌肉的解剖学知识定义的、与表情表露相关的面部上的动作，迄今为止也提出了估计AU的技术。
[0003]估计AU的AU估计引擎的代表性的方式以基于大量的训练数据的机器学习为基础，使用面部表情的图像数据和各AU的Occurrence(有无产生)、Intensity(产生强度)作为训练数据。另外，训练数据的Occurrence、Intensity由被称为Coder(编码员)的专家Annotation(注释)。
[0004]专利文献1：日本特开2011－237970号公报
[0005]非专利文献1：X.Zhang,L.Yin,J.Cohn,S.Canavan,M.Reale,A.Horowitz,P.Liu,and J.M.Girard.BP4D
‑
spontaneous:A high
‑
resolution spontaneous 3d dynamic facial expression database.Image and Vision Computing,32,2014.1
[0006]然而，在以往的方法中，存在有时难以生成用于AU估计的训练数据的问题。例如，在通过编码员进行注释时，由于花费费用以及时间成本，所以难以大量地创建数据。另外，在通过面部图像的图像处理进行面部的各部位的移动测量中，难以正确地捕捉较小的变化，计算机很难不经过人的判断根据面部图像来进行AU的判定。因此，计算机不经过人的判断而生成对面部图像附加了AU的标签的训练数据很困难。

技术实现思路

[0007]在一个方面，目的在于生成用于AU估计的训练数据。
[0008]在一个方式中，判定程序使计算机执行获取包含附加了标记的面部的拍摄图像组的处理。判定程序使计算机执行基于拍摄图像所包含的标记的位置来计算第一矢量的处理。判定程序使计算机执行将第一矢量分割为第二矢量和第三矢量的处理，其中，第二矢量和与标记建立有对应关系的第一动作单元的判定方向相对应，第三矢量和与标记建立有对应关系的第二动作单元的判定方向相对应。判定程序使计算机执行基于第二矢量和第三矢量，来判定第一动作单元的第一产生强度和第二动作单元的第二产生强度的处理。
[0009]在一个方面，能够生成用于AU估计的训练数据。
附图说明
[0010]图1是表示本实施方式所涉及的判定系统的结构例的图。
[0011]图2是表示本实施方式所涉及的相机的配置例的图。
[0012]图3是表示本实施方式所涉及的标记移动的一个例子的图。
[0013]图4是表示本实施方式所涉及的产生强度的判定方法的一个例子的图。
[0014]图5是表示本实施方式所涉及的产生强度的判定方法的一个例子的图。
[0015]图6是表示本实施方式所涉及的移动矢量相对于规定矢量的一个例子的图。
[0016]图7是表示本实施方式所涉及的与一个标记对应的多个AU的规定矢量的一个例子的图。
[0017]图8是表示本实施方式所涉及的与一个标记对应的相反的多个AU的规定矢量的一个例子的图。
[0018]图9是表示本实施方式所涉及的判定装置的结构例的框图。
[0019]图10是表示本实施方式所涉及的移动矢量的分割方法的一个例子的图。
[0020]图11是表示本实施方式所涉及的标记位置的形变的一个例子的图。
[0021]图12是表示本实施方式所涉及的用于去除标记的掩模图像的生成方法的一个例子的图。
[0022]图13是表示本实施方式所涉及的标记的去除方法的一个例子的图。
[0023]图14是表示本实施方式所涉及的判定处理的流程的一个例子的流程图。
[0024]图15是表示本实施方式所涉及的判定装置的硬件结构例的图。
具体实施方式
[0025]以下，基于附图对本实施方式所涉及的判定程序、判定装置以及判定方法的实施例进行详细说明。此外，本实施方式并不受该实施例限定。另外，各实施例能够在不矛盾的范围内适当地组合。
[0026]使用图1，对本实施方式所涉及的判定系统的结构进行说明。图1是表示本实施方式所涉及的判定系统的结构的图。如图1所示，判定系统1具有RGB(Red Green Blue)相机31、IR(Infrared：红外线)相机32、判定装置10以及机器学习装置20。
[0027]如图1所示，首先，RGB相机31和IR相机32朝向附加有标记的人的面部。例如，RGB相机31是一般的数字相机，接受可见光并生成图像。另外，例如，IR相机32感知红外线。另外，标记例如是IR反射(回归性反射)标记。IR相机32能够利用基于标记的IR反射来进行运动捕捉。另外，在以下的说明中，将拍摄对象的人称为受检者。
[0028]判定装置10获取由RGB相机31拍摄的图像、由IR相机32进行的运动捕捉的结果。而且，判定装置10判定AU的产生强度121，并将产生强度121和通过图像处理从拍摄图像中删除了标记的图像122输出到机器学习装置20。例如，产生强度121可以是用0～1的六个阶段评价来表现各AU的产生强度，如“AU1：2，AU2：5，AU4：0，
…”
这样进行了注释的数据。另外，产生强度121也可以是用意味着未产生的0和A到E的五个阶段评价来表现各AU的产生强度，如“AU1：B，AU2：E，AU4：0，
…”
这样进行了注释的数据。并且，产生强度并不限于用五个阶段评价来表现的结构，例如也可以通过两个阶段评价(有无产生)来表现。
[0029]机器学习装置20使用从判定装置10输出的图像122以及AU的产生强度121来进行机器学习，生成用于根据图像计算AU的产生强度的估计值的模型。机器学习装置20能够使用AU的产生强度作为标签。此外，机器学习装置20的处理也可以由判定装置10来进行。在该情况下，机器学习装置20也可以不包含于判定系统1。
[0030]在这里，使用图2，对相机的配置进行说明。图2是表示本实施方式所涉及的相机的
配置例的图。如图2所示，多个IR相机32也可以构成标记跟踪系统。在该情况下，标记跟踪系统能够通过立体拍摄来检测IR反射标记的位置。另外，多个IR相机32中的各个IR相机32间的相对位置关系通过相机校准来修正。
[0031]另外，在被拍摄的受检者的面部，以覆盖作为对象的AU(例：AU1至AU28)的方式附加多个标记。标记的位置根据受检者的表情的变化而变化。例如，标记401配置在眉毛的根部附近。另外，标记402以及标记403配置在法令纹的附近。标记也可以配置在与一个以上的AU以及表情肌的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种判定程序，其特征在于，使计算机执行如下处理：获取包含附加了标记的面部的拍摄图像组；基于上述拍摄图像所包含的上述标记的位置来计算第一矢量；将上述第一矢量分割为第二矢量和第三矢量，其中，上述第二矢量和与上述标记建立有对应关系的第一动作单元的判定方向相对应，上述第三矢量和与上述标记建立有对应关系的第二动作单元的判定方向相对应；以及基于上述第二矢量和上述第三矢量，判定上述第一动作单元的第一产生强度和上述第二动作单元的第二产生强度。2.根据权利要求1所述的判定程序，其特征在于，上述分割的处理包含如下处理：基于上述第一矢量是上述第二矢量与上述第三矢量的线性和，将上述第一矢量分割为上述第二矢量和上述第三矢量。3.根据权利要求1所述的判定程序，其特征在于，计算上述第一矢量的处理包含如下处理：修正上述标记的位置的形变；以及基于修正后的上述标记的位置来计算上述第一矢量。4.根据权利要求3所述的判定程序，其特征在于，上述修正的处理包含如下处理：使用将上述标记的第一位置和修正了形变后的第二位置建立对应关系的存储部，来修正上述标记的位置的形变。5.根据权利要求1所述的判定程序，其特征在于，上述判定程序还使上述计算机执行如下处理：在与上述标记建立有对应关系的动作单元为一个的情况下，计算上述第一矢量和与该动作单元的判定方向相对应的矢量的内积...

【专利技术属性】
技术研发人员：内田昭嘉，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：