表情识别装置制造方法及图纸

具备：取得图像的图像取得部(101)；从图像取得部(101)取得的图像中提取人物的面部区域并作为赋予了该面部区域的信息的面部图像的面部区域提取部(102)；基于面部图像来提取1个以上的面部特征点的面部特征点提取部(103)；根据面部特征点提取部(103)提取出的各面部特征点的可靠度来判定表示面部图像中的面部的状态的面部条件的面部条件判定部(105)；根据面部条件判定部(105)判定的面部条件，来决定面部特征点提取部(103)提取出的各面部特征点中的用于提取表情识别所使用的特征量的基准点的基准点决定部(107)；根据基准点决定部(107)决定出的基准点来提取特征量的面部特征量提取部(109)；使用面部特征量提取部(109)提取出的特征量来识别面部图像中的人物的表情的表情识别部(111)；以及输出与由表情识别部(111)识别的面部图像中的人物的表情的识别结果相关的信息的表情识别结果输出部(113)。

Expression recognition device

【技术实现步骤摘要】
【国外来华专利技术】表情识别装置
本专利技术涉及基于拍摄到人物的图像来识别该人物的表情的表情识别装置。
技术介绍
近年来，在汽车导航、家电设备或机器人等中，为了实现使引导或会话等应答表现根据使用者的感情而变化的声音对话功能，正在进行检测使用者的感情的系统的开发。例如，针对如下功能的要求高涨，该功能为，从照相机取得拍摄到使用者的面部的图像，使用取得的图像来识别使用者的表情，检测使用者的感情。在表情识别的方法中，例如具有如下方法：从拍摄到人物的面部的图像利用嘴或眼睛等特征点来提取表情识别所需的特征量，识别人物的表情。但是，例如，在图像中的人物佩戴着墨镜或口罩等佩戴物的情况下，有时无法提取用于提取特征量的特征点，或者该特征点的提取精度变低。作为基于考虑了有无墨镜或口罩等佩戴物的特征点来提取特征量的技术，例如在专利文献1中公开了一种面部认证系统，该面部认证系统在面部认证的技术中，根据输入面部图像来决定与与佩戴眼镜的有无相对应的特征量提取位置，基于决定出的特征量提取位置来提取特征量，通过对照提取出的特征量和登记图像的特征量来进行面部认证。在专利文献1所公开的技术中，在判定为输入面部图像的用户具有佩戴物的情况下，避开佩戴物的位置来决定特征量提取位置，因此，无论输入面部图像及登记图像的用户有无佩戴眼镜，都能够进行面部认证。现有技术文献专利文献专利文献1：日本特开2007-280250号公报
技术实现思路
专利技术要解决的问题但是，专利文献1所公开的技术是与使用了拍摄到人物的面部的图像的个人的认证相关的技术，不是进行人物的表情识别的技术。因此，在决定用于提取特征量的特征量提取位置时，未考虑特征量提取位置是否为适于进行表情识别的位置。在使用拍摄到人物的面部的图像来进行该人物的表情识别的情况下，成为用于进行表情识别的特征量的提取所使用的基准的特征点必须为表情变化所引起的变动较少的特征点。这是因为，当成为基准的特征点变动时所提取的特征量也会变动，无法进行准确的表情识别。此外，在专利文献1所公开的技术中，并未根据人物的面部朝向或照明环境等佩戴物的有无以外的要因来决定特征量提取位置，因此，可能无法提取特征量。因此，在专利文献1所公开的这种技术中，存·在无法识别人物的表情这样的课题。本专利技术是为了解决上述的问题而完成的，其目的在于，提供一种在拍摄到人物的图像中能够进行人物的表情识别的表情识别装置。用于解决问题的手段本专利技术的表情识别装置具备：图像取得部，其取得图像；面部区域提取部，其从图像取得部取得的图像中提取人物的面部区域，作为赋予了该面部区域的信息的面部图像；面部特征点提取部，其基于面部图像，提取1个以上的面部特征点；面部条件判定部，其根据面部特征点提取部提取出的各面部特征点的可靠度，来判定表示面部图像中的面部的状态的面部条件；基准点决定部，其根据面部条件判定部判定出的面部条件，来决定面部特征点提取部提取出的各面部特征点中的、用于提取表情识别所使用的特征量的基准点；面部特征量提取部，其根据基准点决定部决定出的基准点，来提取特征量；表情识别部，其使用面部特征量提取部提取出的特征量，来识别面部图像中的人物的表情；以及表情识别结果输出部，其输出与由表情识别部识别的面部图像中的人物的表情的识别结果相关的信息。专利技术的效果根据本专利技术，通过进行以适于进行表情识别的特征点为基准的表情识别，能够在拍摄到人物的图像中识别人物的表情。附图说明图1是示出实施方式1的表情识别装置的结构例的框图。图2是示出在实施方式1中，面部特征点记录部所记录的与各面部特征点相关的信息的一例的图。图3是示出在实施方式1中，由平均面部特征点模型定义的平均面部的面部特征点的信息的一例的图。图4是示出在实施方式1中，面部条件记录部所记录的与面部条件的判定结果相关的信息的一例的图。图5是示出在实施方式1中，由基准点判定条件模型定义的基准点判定条件的一例的图。图6是用于说明在实施方式1中，面部动态图像中的人物的面部的状态的一例的图。是用于说明该实施方式1的拍摄辅助装置的对象物概要判定部及移动速度指示部的详细动作的流程图。图7是示出在实施方式1中，基准点记录部所记录的基准点的信息的一例的图。图8是用于说明在实施方式1中，面部特征量提取部所提取的各特征量的一例的图像的图。图9是示出在实施方式1中，面部特征量记录部所记录的与各特征量相关的信息的一例的图。图10是示出在实施方式1中，事先生成数据库具备的表情识别条件模型的内容的一例的图。是示出本专利技术的实施方式3中的导航系统的概要的图。图11是示出在实施方式1中，表情识别结果记录部所记录的与面部动态图像中的人物的表情的识别结果相关的信息的一例的图。图12是用于说明实施方式1的表情识别装置的动作的流程图。图13是用于对图12的步骤ST1204的动作进行说明的流程图。图14是用于对图12的步骤ST1205的动作进行说明的流程图。图15是用于对图12的步骤ST1206的动作进行说明的流程图。图16是用于对图12的步骤ST1207的动作进行说明的流程图。图17A、图17B是示出实施方式1的表情识别装置的硬件结构的一例的图。具体实施方式以下，参照附图对本专利技术的实施方式详细进行说明。实施方式1.图1是示出实施方式1的表情识别装置1的结构例的框图。如图1所示，图表情识别装置1与事先生成数据库2、拍摄设备3及显示设备4连接。此外，如图1所示，表情识别装置1具备图像取得部101、面部区域提取部102、面部特征点提取部103、面部特征点记录部104、面部条件判定部105、面部条件记录部106、基准点决定部107、基准点记录部108、面部特征量提取部109、面部特征量记录部110、表情识别部111、表情识别结果记录部112以及表情识别结果输出部113。图像取得部101取得拍摄设备3拍摄到的图像。图像取得部101将从拍摄设备3取得的图像向面部区域提取部102输出。在实施方式1中，由拍摄设备3拍摄并由图像取得部101取得的图像可以是动态图像，也可以是静态图像。以下，在实施方式1中，作为一例，针对拍摄设备3拍摄动态图像并由图像取得部101取得拍摄设备3拍摄到的动态图像的情况进行说明。另外，在表情识别装置1中，以图像取得部101取得的动态图像的帧为单位来进行表情识别处理。面部区域提取部102从图像取得部101取得的动态图像中提取表示人物的面部的区域(以下称为“面部区域”。)。面部区域提取部102使用现有的技术来提取面部区域即可。提取面部区域的现有的技术例如被记载于非专利文献1“PaulViola，MichaelJ.Jones.RobustReal-TimeFaceDetection.InternationalJournalof本文档来自技高网...

【技术保护点】
1.一种表情识别装置，其中，/n所述表情识别装置具备：/n图像取得部，其取得图像；/n面部区域提取部，其从所述图像取得部取得的图像中提取人物的面部区域，作为赋予了该面部区域的信息的面部图像；/n面部特征点提取部，其基于所述面部图像，提取1个以上的面部特征点；/n面部条件判定部，其根据所述面部特征点提取部提取出的各面部特征点的可靠度，来判定表示所述面部图像中的面部的状态的面部条件；/n基准点决定部，其根据所述面部条件判定部判定出的面部条件，来决定所述面部特征点提取部提取出的各面部特征点中的、用于提取表情识别所使用的特征量的基准点；/n面部特征量提取部，其根据所述基准点决定部决定出的基准点，来提取所述特征量；/n表情识别部，其使用所述面部特征量提取部提取出的特征量，来识别所述面部图像中的人物的表情；以及/n表情识别结果输出部，其输出与由所述表情识别部识别的所述面部图像中的人物的表情的识别结果相关的信息。/n

【技术特征摘要】
【国外来华专利技术】1.一种表情识别装置，其中，
所述表情识别装置具备：
图像取得部，其取得图像；
面部区域提取部，其从所述图像取得部取得的图像中提取人物的面部区域，作为赋予了该面部区域的信息的面部图像；
面部特征点提取部，其基于所述面部图像，提取1个以上的面部特征点；
面部条件判定部，其根据所述面部特征点提取部提取出的各面部特征点的可靠度，来判定表示所述面部图像中的面部的状态的面部条件；
基准点决定部，其根据所述面部条件判定部判定出的面部条件，来决定所述面部特征点提取部提取出的各面部特征点中的、用于提取表情识别所使用的特征量的基准点；
面部特征量提取部，其根据所述基准点决定部决定出的基准点，来提取所述特征量；
表情识别部，其使用所述面部特征量提取部提取出的特征量，来识别所述面部图像中的人物的表情；以及
表情识别结果输出部，其输出与由所述表情识别部识别的所述面部图像中的人物的表情的识别结果相关的信息。


2.根据权利要求1所述的表情识别装置，其特征在于，
所述面部条件判定部根据所述各面部特征点的可靠度，来判定表示所述面部图像中的面部是否为佩戴着佩戴物的状态的面部条件。


3.根据权利...

【专利技术属性】
技术研发人员：大泽隼也，大塚贵弘，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本;JP