信息处理装置及估计方法、以及学习装置及学习方法制造方法及图纸

本发明专利技术提供一种信息处理装置及估计方法、以及学习装置及学习方法，提高图像中出现的人物的视线方向的估计精度。本发明专利技术的一方面的信息处理装置用于估计人物的视线方向，包括：图像取得部，取得包括人物面部的图像；图像提取部，从所述图像提取包括所述人物的眼睛的局部图像；以及估计部，通过将所述局部图像输入已完成学习的学习机以从所述学习机取得表示所述人物的视线方向的视线信息，所述已完成学习的学习机已进行用于估计视线方向的机器学习。

【技术实现步骤摘要】
信息处理装置及估计方法、以及学习装置及学习方法
本专利技术涉及用于估计图像中人物的视线方向的信息处理装置及估计方法、以及学习装置及学习方法。
技术介绍
近年来，提出了各种利用人物的视线的控制方法，例如根据驾驶员的侧视使车辆在安全地带停车，利用用户的视线来执行指定操作等，并已开发出估计人物的视线方向以实现这些控制方法的技术。作为估计该人物的视线方向的简单方法之一，存在一种通过分析出现了人物面部的图像来估计该人物的视线方向的方法。例如，在专利文献1中提出了一种检测图像中人物的视线方向的视线检测方法。具体而言，在专利文献1提出的视线检测方法中，从整个图像中检测面部图像，从检测到的面部图像的眼睛提取多个眼睛特征点，并从面部图像的构成面部的部位提取多个脸部特征点。并且，在该视线检测方法中，在使用多个提取的眼睛特征点来生成表示眼睛朝向的眼睛特征量的同时，使用多个面部特征点来生成表示面部朝向的面部特征量，并使用所生成的眼睛特征量以及面部特征量来检测视线的方向。专利文献1中提出的视线检测方法目的在于通过采用这样的图像处理步骤，同时计算面部朝向和眼睛朝向以检测视线的方向，从而有效地检测人物的视线方向。现有技术文献专利文献专利文献1：日本特开2007-265367号公报。
技术实现思路
专利技术所要解决的技术问题本专利技术的专利技术人发现，如上所述的现有的通过图像处理来估计人物的视线方向的方法存在下述问题。即，视线方向由人物的面部朝向和眼睛朝向的组合来确定。在现有的方法中，由于通过每个特征量分别检测该人物的面部朝向和眼睛朝向，因此，有可能面部朝向的检测误差和眼睛朝向的检测误差叠加。由此，本专利技术的专利技术人发现，现有的方法存在人物的视线方向的估计精度有可能降低的问题。本专利技术在一个方面鉴于这样的情况而提出，目的是提供一种能够提高图像中拍摄的人物的视线方向的估计精度的技术。解决技术问题的手段为解决上述技术问题，本专利技术采用下述构成。即，本专利技术的一个方面的信息处理装置，用于估计人物的视线方向，包括：图像取得部，取得包括人物面部的图像；图像提取部，从所述图像提取包括所述人物的眼睛的局部图像；估计部，通过将所述局部图像输入已完成学习的学习机以从所述学习机取得表示所述人物的视线方向的视线信息，所述已完成学习的学习机已进行用于估计视线方向的机器学习。在包括人物的眼睛的局部图像中，可能出现所述人物的面部朝向和眼睛朝向。在该构成中，通过利用包括该人物眼睛的局部图像，将其作为通过机器学习获得的已完成学习的学习机的输入，从而估计该人物的视线方向。由此，可以直接估计出现在局部图像中的人物的视线方向，而不是单独计算人物的面部朝向和眼睛朝向。因此，根据该构成，能够防止面部朝向的估计误差和眼睛朝向的估计误差累积，从而能够提高出现在图像中的人物的视线方向的估计精度。另外，“视线方向”是目标人物正在看的方向，由该人物的面部朝向和眼睛朝向的组合来确定。另外，“机器学习”是指通过计算机找到隐藏在数据(学习数据)中的模式，“学习机”由能够获得通过这样的机器学习来识别预定模式的能力的学习模型构成。该学习机的种类不受特别限制，只要能够学习从局部图像估计人物的视线方向的能力即可。“已完成学习的学习机”也可以称为“识别机”或“分类机”。在上述一方面的信息处理装置中，所述图像提取部可以提取包括所述人物的右眼的第一局部图像和包括所述人物的左眼的第二局部图像作为所述局部图像，所述估计部可以通过将所述第一局部图像以及所述第二局部图像输入已完成学习的所述学习机中以从所述学习机取得所述视线信息。根据该构成，通过利用双眼各自的局部图像作为学习机的输入，能够提高图像中人物的视线方向的估计精度。在上述一方面的信息处理装置中，所述学习机可以由神经网络构成，所述神经网络包括输入所述第一局部图像以及所述第二局部图像两者的输入层，所述估计部可以组合所述第一局部图像以及所述第二局部图像并生成组合图像，将生成的组合图像输入所述输入层。根据该构成，通过使用神经网络，能够适当且容易地构建能够估计图像中人物的视线方向的已完成学习的学习机。在上述一方面的信息处理装置中，所述学习机可以由神经网络构成，所述神经网络可以包括第一部分、第二部分和耦合所述第一部分以及第二部分的各自的输出的第三部分，所述第一部分和所述第二部分可以并列设置，所述估计部可以将所述第一局部图像输入所述第一部分，将所述第二局部图像输入所述第二部分。根据该构成，通过使用神经网络，能够适当且容易地构建能够估计图像中人物的视线方向的已完成学习的学习机。另外，这种情况下，所述第一部分可以由一个或多个卷积层和池化层构成。所述第二部分可以由一个或多个卷积层和池化层构成。所述第三部分也可以由一个或多个卷积层和池化层构成。在上述一方面的信息处理装置中，所述图像提取部可以检测所述图像中出现的所述人物的面部的面部区域，估计所述面部区域中所述面部器官的位置，基于所估计的所述器官的位置，从所述图像提取所述局部图像。根据该构成，能够适当地提取包括人物的眼睛的局部图像，并提高图像中人物的视线方向的估计精度。在上述一方面的信息处理装置中，所述图像提取部可以估计所述面部区域中至少两个所述器官的位置，并基于所估计的所述两个器官之间的距离，从所述图像提取所述局部图像。根据该构成，能够基于两个器官之间的距离，适当地提取包括人物的眼睛的局部图像，并能够提高图像中人物的视线方向的估计精度。在上述一方面的信息处理装置中，所述器官可以包括外眼角、内眼角以及鼻子，所述图像提取部可以将所述外眼角以及所述内眼角的中点设定为所述局部图像的中心，并以所述内眼角和所述鼻子之间的距离为基准确定所述局部图像的大小。根据该构成，能够适当地提取包括人物的眼睛的局部图像，并能够提高图像中人物的视线方向的估计精度。在上述一方面的信息处理装置中，所述器官可以包括外眼角以及内眼角，所述图像提取部可以将所述外眼角以及所述内眼角的中点设定为所述局部图像的中心，并基于双眼的所述外眼角之间的距离来确定所述局部图像的大小。根据该构成，能够适当地提取包括人物的眼睛的局部图像，并能够提高图像中人物的视线方向的估计精度。在上述一方面的信息处理装置中，所述器官可以包括外眼角以及内眼角，所述图像提取部可以将所述外眼角以及所述内眼角的中点设定为所述局部图像的中心，并以双眼的所述内眼角和所述外眼角之间的中点的距离为基准确定所述局部图像的大小。根据该构成，能够适当地提取包括人物的眼睛的局部图像，并能够提高图像中人物的视线方向的估计精度。在上述一方面的信息处理装置中，还可以具备降低所述局部图像的分辨率的分辨率转换部，所述估计部可以通过将降低分辨率后的所述局部图像输入已完成学习的所述学习机以从所述学习机中取得所述视线信息。根据该构成，通过利用降低分辨率后的局部图像作为已完成学习的学习机的输入，能够降低该学习机的运算处理的计算量，并能够控制用于估计人物的视线方向的处理器的负荷。并且，本专利技术的一方面的学习装置包括：学习数据取得部，取得包括人物的眼睛的局部图像以及表示该人物的视线方向的视线信息的集合作为学习数据；学习处理部，使学习机学习，使得所述学习机在输入所述局部图像之后输出与所述视线信息对应的输出值。根据该构成，能够构建用于估计人物的视线方向的上述已完成学习本文档来自技高网...

【技术保护点】
1.一种信息处理装置，用于估计人物的视线方向，其特征在于，包括：图像取得部，取得包括人物面部的图像，图像提取部，从所述图像提取包括所述人物的眼睛的局部图像，以及估计部，通过将所述局部图像输入已完成学习的学习机以从所述学习机取得表示所述人物的视线方向的视线信息，所述已完成学习的学习机已进行用于估计视线方向的机器学习。

【技术特征摘要】
2017.08.01 JP 2017-1493441.一种信息处理装置，用于估计人物的视线方向，其特征在于，包括：图像取得部，取得包括人物面部的图像，图像提取部，从所述图像提取包括所述人物的眼睛的局部图像，以及估计部，通过将所述局部图像输入已完成学习的学习机以从所述学习机取得表示所述人物的视线方向的视线信息，所述已完成学习的学习机已进行用于估计视线方向的机器学习。2.根据权利要求1所述的信息处理装置，其中，所述图像提取部提取包括所述人物的右眼的第一局部图像和包括所述人物的左眼的第二局部图像作为所述局部图像，所述估计部通过将所述第一局部图像以及所述第二局部图像输入已完成学习的所述学习机以从所述学习机取得所述视线信息。3.根据权利要求2所述的信息处理装置，其中，所述学习机由神经网络构成，所述神经网络包括输入层，所述估计部组合所述第一局部图像以及所述第二局部图像生成组合图像，将生成的组合图像输入所述输入层。4.根据权利要求2所述的信息处理装置，其中，所述学习机由神经网络构成，所述神经网络包括第一部分、第二部分和耦合所述第一部分以及第二部分的各自的输出的第三部分，所述第一部分和所述第二部分并列设置，所述估计部将所述第一局部图像输入所述第一部分，将所述第二局部图像输入所述第二部分。5.根据权利要求4所述的信息处理装置，其中，所述第一部分由一个或多个卷积层以及一个或多个池化层构成，所述第二部分由一个或多个卷积层以及一个或多个池化层构成，所述第三部分由一个或多个卷积层以及一个或多个池化层构成。6.根据权利要求1至5中任一项所述的信息处理装置，其中，所述图像提取部检测所述图像中出现的所述人物的面部的面部区域，估计所述面部区域中所述面部的器官的位置，基于估计的所述器官的位置，从所述图像提取所述局部图像。7.根据权利要求6所述的信息处理装置，其中，所述图像提取部在所述面部区域中至少估计两个所述器官的位置，并基于估计的两个所述器官之间...

【专利技术属性】
技术研发人员：籔内智浩，木下航一，柳川由纪子，相泽知祯，日向匡史，青位初美，上谷芽衣，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本,JP