判定程序、判定装置、以及判定方法制造方法及图纸

判定程序使计算机执行获取包含附加了标记的面部的连续地拍摄到的拍摄图像组的处理。判定程序使计算机执行从表示标记的位置推移的多个模式，选择与拍摄图像组中连续的多个图像所包含的标记的位置的时间序列的变化对应的第一模式的处理。判定程序使计算机执行根据基于第一模式决定的动作单元的判定基准、和拍摄图像组中包含在多个图像之后的拍摄图像所包含的标记的位置，判定动作单元的产生强度的处理。处理。处理。

【技术实现步骤摘要】
【国外来华专利技术】判定程序、判定装置、以及判定方法


[0001]本专利技术涉及判定程序、判定装置、以及判定方法。

技术介绍

[0002]在非语言交流中，表情发挥重要的作用。在开发理解人并辅助人的计算机方面，表情估计是必需的技术。为了估计表情首先必须规定表情的记述方法。作为表情的记述方法，已知有AU(Action Unit：动作单元)。AU是基于面部肌肉的解剖学知识而定义的与表情表露相关的面部上的动作，迄今为止也提出了估计AU的技术。
[0003]估计AU的AU估计引擎的代表性方式以基于大量的教师数据的机器学习为基础，使用面部表情的图像数据、和各AU的Occurrence(产生的有无)、Intensity(产生强度)作为教师数据。另外，教师数据的Occurrence、Intensity由被称为Coder(编码员)的专家进行Annotation(注释)。
[0004]专利文献1：日本特开2011－237970号公报
[0005]非专利文献1：X.Zhang,L.Yin,J.Cohn,S.Canavan,M.Reale,A.Horowitz,P.Liu,and J.M.Girard.BP4D
‑
spontaneous:A high
‑
resolution spontaneous 3d dynamic facial expression database.Image and Vision Computing,32,2014.1
[0006]然而，在以往的方法中，有存在难以生成用于AU估计的教师数据的情况这样的问题。例如，在编码员的注释中，由于花费费用以及时间的成本，所以难以大量地制成数据。另外，在基于面部图像的图像处理的面部的各部位的移动测量中，难以正确地捕捉较小的变化，计算机难以不通过人的判断而根据面部图像进行AU的判定。因此，计算机难以不通过人的判断而生成对面部图像附加了AU的标签的教师数据。

技术实现思路

[0007]在一个侧面，其目的在于生成用于AU估计的教师数据。
[0008]在一个方式中，判定程序使计算机执行获取包含附加了标记的面部的连续地拍摄到的拍摄图像组的处理。判定程序使计算机执行从表示标记的位置推移的多个模式，选择与拍摄图像组中连续的多个图像所包含的标记的位置的时间序列的变化对应的第一模式的处理。判定程序使计算机执行根据基于第一模式决定的动作单元的判定基准、和拍摄图像组中包含在多个图像之后的拍摄图像所包含的标记的位置，判定动作单元的产生强度的处理。
[0009]在一个侧面，能够生成用于AU估计的教师数据。
附图说明
[0010]图1是表示实施例1所涉及的判定系统的构成例的图。
[0011]图2是表示实施例1所涉及的照相机的配置例的图。
[0012]图3是表示实施例1所涉及的标记移动的一个例子的图。
[0013]图4是表示实施例1所涉及的产生强度的判定方法的一个例子的图。
[0014]图5是表示实施例1所涉及的相对于标记位置的垂直方向的移动推移的一个例子的图。
[0015]图6是表示实施例1所涉及的无表情试行与真正的无表情的标记位置的偏差的一个例子的图。
[0016]图7是表示实施例1所涉及的判定装置的构成例的框图。
[0017]图8是表示实施例1所涉及的无表情迁移模式的选择的一个例子的图。
[0018]图9是表示实施例1所涉及的时间序列数据与无表情迁移模式的匹配的一个例子的图。
[0019]图10是表示实施例1所涉及的产生强度的判定方法的具体例的图。
[0020]图11是表示实施例1所涉及的用于标记去除的掩模图像的生成方法的一个例子的图。
[0021]图12是表示实施例1所涉及的标记的去除方法的一个例子的图。
[0022]图13是表示实施例2所涉及的估计系统的构成例的图。
[0023]图14是表示实施例2所涉及的估计装置的构成例的框图。
[0024]图15是表示实施例1所涉及的判定处理的流程的一个例子的流程图。
[0025]图16是表示实施例2所涉及的估计处理的流程的一个例子的流程图。
[0026]图17是表示实施例1以及2所涉及的硬件构成例的图。
具体实施方式
[0027]以下，基于附图对本实施方式所涉及的判定程序、判定装置、以及判定方法的实施例进行详细说明。此外，并不通过该实施例对本实施方式进行限定。另外，各实施例能够在不矛盾的范围内适当地组合。
[0028]实施例1
[0029]使用图1，对实施例所涉及的判定系统的构成进行说明。图1是表示实施例1所涉及的判定系统的构成的图。如图1所示，判定系统1具有RGB(Red：红色，Green：绿色，Blue：蓝色)照相机31、IR(infrared：红外线)照相机32、判定装置10以及机器学习装置20。
[0030]如图1所示，首先，RGB照相机31以及IR照相机32朝向附加了标记的人物的面部。例如，RGB照相机31是一般的数字照相机，接收可见光生成图像。另外，例如IR照相机32感知红外线。另外，标记例如是IR反射(回归性反射)标记。IR照相机32能够利用标记的IR反射进行运动捕捉。另外，在以下的说明中，将拍摄对象的人物称为受检者。
[0031]判定装置10获取由RGB照相机31拍摄到的图像以及基于IR照相机32的运动捕捉的结果。然后，判定装置10对机器学习装置20输出AU的产生强度121以及通过图像处理从拍摄图像删除了标记的图像122。例如，产生强度121可以是用0～1六个阶段评价来表现各AU的产生强度，并如“AU1：2、AU2：5、AU4：0、
…”
那样进行了注释的数据。另外，产生强度121也可以是用表示不产生的0、和A～E五个阶段评价来表现各AU的产生强度，并如“AU1：B、AU2：E、AU4：0，
…”
那样进行了注释的数据。并且，产生强度并不限定于用五个阶段评价表现，例如也可以用两个阶段评价(产生的有无)来表现。
[0032]机器学习装置20使用从判定装置10输出的图像122以及AU的产生强度121进行机
器学习，生成用于根据图像计算AU的产生强度的估计值的模型。机器学习装置20能够使用AU的产生强度作为标签。此外，机器学习装置20的处理也可以由判定装置10进行。该情况下，机器学习装置20可以不包含于判定系统1。
[0033]这里，使用图2，对照相机的配置进行说明。图2是表示实施例1所涉及的照相机的配置例的图。如图2所示，也可以多个IR照相机32构成标记跟踪系统。该情况下，标记跟踪系统能够通过立体拍摄检查IR反射标记的位置。另外，通过照相机校准预先修正多个IR照相机32彼此之间的相对位置关系。
[0034]另外，在被拍摄的受检者的面部以覆盖作为对象的AU(例：AU1～AU28)的方式附加有多个标记。标记的位置根据受检者的表情的变化而变化。例如，标记401本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种判定程序，其特征在于，使计算机执行如下处理：获取包含附加了标记的面部的连续地拍摄到的拍摄图像组；从表示上述标记的位置推移的多个模式，选择与上述拍摄图像组中连续的多个图像所包含的上述标记的位置的时间序列的变化对应的第一模式；以及根据基于上述第一模式决定的动作单元的判定基准、和上述拍摄图像组中包含在上述多个图像之后的拍摄图像所包含的上述标记的位置，判定上述动作单元的产生强度。2.根据权利要求1所述的判定程序，其特征在于，选择上述第一模式的处理包含如下处理：基于上述面部的无表情试行的第一开始时刻，从上述拍摄图像组决定包含上述第一开始时刻之前的第一图像的上述多个图像，并基于上述第一图像中的上述标记的位置，选择上述第一模式，判定上述产生强度的处理包含如下处理：基于上述第一模式，计算上述面部的无表情试行的第一结束时刻之后的上述标记的假想的位置的估计值，并将计算出的上述估计值作为基准对上述拍摄图像组中的上述第一结束时刻后的上述标记的位置计算上述标记的位置的移动量，来判定上述产生强度。3.根据权利要求2所述的判定程序，其特征在于，使上述计算机执行：通过判定上述拍摄图像组中上述标记的位置收敛到无表情时的位置来检测无表情试行时间，从而获取上述第一开始时刻以及上述第一结束时刻。4.根据权利要求2所述的判定程序，其特征在于，计算上述估计值的处理包含如下处理：通过对上述第一模式的上述标记的位置执行向时间方向的平行移动、向标记位置方向的放大缩小、以及向上述标记位置方向的平行移动中的至少一个，来与上述第一图像中的上述标记的位置匹配，并基于匹配上述标记的位置后的上述第一模式，计算上述面部的无表...

【专利技术属性】
技术研发人员：斋藤淳哉，内田昭嘉，吉井章人，森冈清训，村濑健太郎，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：