兴趣度估计装置以及兴趣度估计方法制造方法及图纸

估计用户对被显示在画面上的影像的兴趣度的兴趣度估计装置(100)具备：视线检测部(101)，检测用户的视线方向；显著性信息获得部(102)，获得与显著区域有关的显著性信息，该显著区域是影像中的诱目性显著的区域；以及用户反应分析部(103)，计算根据获得的显著性信息而确定的显著区域与检测出的视线方向的相关性，估计用户对影像的兴趣度，以使得计算出的相关性越高兴趣度就越高。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及，估计视听者(以下，也称为“用户”)对被显示的影像的兴趣度的兴趣度估计装置以及兴趣度估计方法。
技术介绍
人们迎来了信息爆炸时代，在信息充满的同时，人们的兴趣也多样化，根据以往的划一性的信息提示，越来越难以抓住用户的心。人们期待像若无其事地使具有潜在的兴趣的信息表面化那样的、个人化的信息提示。例如，若关注作为显示装置的电视机，随着近几年的电视广播的数字化，频道数急剧增加。并且，基于互联网分发的网络内容也急剧增加。其结果为，用户，能够从大量的内容中选择内容。但是，从大量的内容中选择用户本身想要视听的节目是非常困难的。因此，与符合用户的兴味以及兴趣的节目推荐系统有关的研究日益盛行。为了提示符合这样的用户的兴味以及兴趣的内容，而需要平时掌握用户对正在视听的各个内容具有哪些程度的兴趣。也就是说，需要估计用户对视听影像的兴趣度。对于估计兴趣度的以往的方法，周知的是专利文献1所记载的方法。根据专利文献1所记载的方法，通过调查由用户的内容的视听状况以及眼球运动，解析眨眼次数、反应时间、眼跳的速度及继续时间、以及视线的位置上的偏差等。而且，将各个解析结果作为计算要素，计算该视听者对内容的兴趣程度。并且，根据该计算结果和数据存储装置所存储的其他的计算结果，计算视听者对特定的内容的兴趣程度。(现有技术文献)(专利文献)专利文献1：日本特开2006－20131号公报然而，专利文献1所记载的方法中存在的问题是，只是单纯地将影像视听时的眨眼次数等作为特征量来估计兴趣度，因此，根据影像的结构会有不能高精度地估计视听者的兴趣度的情况。
技术实现思路
于是，为了解决所述的以往的问题，本专利技术的目的在于高精度地估计视听者对被显示在画面上的影像的兴趣度。为了实现所述的目的，本专利技术的实施方案之一涉及的兴趣度估计装置，估计用户对被显示在画面上的影像的兴趣度，该兴趣度估计装置具备：视线检测部，检测所述用户的视线方向；显著性信息获得部，获得与显著区域有关的显著性信息，该显著区域是所述影像中的诱目性显著的区域；以及用户反应分析部，计算根据获得的所述显著性信息而确定的显著区域与检测出的所述视线方向的相关性，估计所述用户对所述影像的兴趣度，以使得计算出的所述相关性越高兴趣度就越高。并且，为了实现所述的目的，本专利技术的实施方案之一涉及的兴趣度估计方法，估计用户对被显示在画面上的影像的兴趣度，该兴趣度估计方法包括：视线检测步骤，检测所述用户的视线方向；显著性信息获得步骤，获得与显著区域有关的显著性信息，该显著区域是所述影像中的诱目性显著的区域；相关性计算步骤，计算根据获得的所述显著性信息而确定的显著区域与检测出的所述视线方向的相关性；以及兴趣度估计步骤，估计所述用户对所述影像的兴趣度，以使得计算出的所述相关性越高兴趣度就越高。根据本专利技术，能够高精度地估计视听者对被显示在画面上的影像的兴趣度。附图说明图1是示出本专利技术的实施例的兴趣度估计装置的功能结构的框图。图2是示出本专利技术的实施例的兴趣度估计装置的处理工作的流程图。图3是本专利技术的实施例的显著构造的概念图。图4A是用于说明本专利技术的实施例的显著模式的种类的图。图4B是用于说明本专利技术的实施例的显著模式的种类的图。图4C是用于说明本专利技术的实施例的显著模式的种类的图。图4D是用于说明本专利技术的实施例的显著模式的种类的图。图4E是用于说明本专利技术的实施例的显著模式的种类的图。图5是示出本专利技术的实施例的显著模式的时间序列的一个例子的图。图6A是示出本专利技术的实施例的拍摄视线方向检测处理中获得的图像的摄像装置的设置例的图。图6B是示出本专利技术的实施例的拍摄视线方向检测处理中获得的图像的摄像装置的设置例的图。图6C是示出本专利技术的实施例的拍摄视线方向检测处理中获得的图像的摄像装置的设置例的图。图7是示出本专利技术的实施例的视线方向检测处理的流程的流程图。图8是用于说明本专利技术的实施例的视线方向检测处理中检测脸朝向的处理的图。图9是用于说明本专利技术的实施例的视线方向基准面的计算的图。图10是用于说明本专利技术的实施例的黑眼珠中心的检测的图。图11是用于说明本专利技术的实施例的黑眼珠中心的检测的图。图12是用于说明本专利技术的实施例的视线运动和其构成要素的图。图13是用于说明本专利技术的实施例的显著性变动和注视反应的关系的图。图14是示出本专利技术的实施例的与多个显著模式各自对应的评价基准的图。图15A是用于说明本专利技术的实施例的与显著模式对应的评价基准的图。图15B是用于说明本专利技术的实施例的与显著模式对应的评价基准的图。图15C是用于说明本专利技术的实施例的与显著模式对应的评价基准的图。图15D是用于说明本专利技术的实施例的与显著模式对应的评价基准的图。图15E是用于说明本专利技术的实施例的与显著模式对应的评价基准的图。具体实施方式影像制作者，一般而言，意图着通过影像中的特定的人物以及物体，给视听者留下某种印象。因此，影像制作者，在画面上要设定想要引起视听者的注意的区域。也就是说，影像制作者，以影像中包含诱目性(引起视觉上的注意的容易性)显著的区域(以下，称为“显著区域”)的方式，制作影像的情况多。例如，在影像的内容是电视剧的情况下，影像制作者，以主演员的显示区域成为显著区域的方式制作影像。并且，在影像的内容是广告的情况下，影像制作者，以作为广告对象的产品的显示区域成为显著区域的方式制作影像。据此，视听者对影像制作者设定的、想要引起视听者的注意的区域加以注意，这意味着，视听者进行按照影像制作者的意图的视听行动。也就是说，若对影像中的显著区域加以视觉注意，则可以估计视听者对该影像的兴趣度高。于是，本专利技术的实施方案之一涉及的兴趣度估计装置，估计用户对被显示在画面上的影像的兴趣度，该兴趣度估计装置具备：视线检测部，检测所述用户的视线方向；显著性信息获得部，获得与显著区域有关的显著性信息，该显著区域是所述影像中的诱目性显著的区域；以及用户反应分析部，计算根据获得的所述显著性信息而确定的显著区域与检测出的所述视线方向的相关性，估计所述用户对所述影像的兴趣度，以使得计算出的所述相关性越高兴趣度就越高。根据该结构，能够根据影像内的显著区域与用户的视线方向之间的相关性，估计用户对影像的兴趣度。也就是说，由于能够考虑影像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.02.04 JP 2011-0232711.一种兴趣度估计装置，估计用户对被显示在画面上的影像的兴趣
度，该兴趣度估计装置具备：
视线检测部，检测所述用户的视线方向；
显著性信息获得部，获得与显著区域有关的显著性信息，该显著区域
是所述影像中的诱目性显著的区域；以及
用户反应分析部，计算根据获得的所述显著性信息而确定的显著区域
与检测出的所述视线方向的相关性，估计所述用户对所述影像的兴趣度，
以使得计算出的所述相关性越高兴趣度就越高。
2.如权利要求1所述的兴趣度估计装置，
在根据显著区域的数量以及变动之中至少一方而分类的多个显著模式
的每一个显著模式中，预先对应有用于评价相关性高的程度的至少一个评
价基准，
所述用户反应分析部，按照与根据所述显著性信息而确定的显著模式
对应的评价基准来计算所述相关性。
3.如权利要求2所述的兴趣度估计装置，
所述多个显著模式包含，示出显著区域的位置不变化的状态的静态模
式，
在所述静态模式中，对应有作为所述至少一个评价基准的、显著区域
内的眼跳的发生次数，
所述用户反应分析部，在根据所述显著性信息而确定的显著模式为静
态模式的情况下，计算所述相关性，以使得根据检测出的所述视线方向而
确定的、所述显著区域内的眼跳的发生次数越多所述相关性就越高。
4.如权利要求1至3的任一项所述的兴趣度估计装置，
所述显著性信息获得部，根据赋予给示出所述影像的信号的标签来获
得所述显著性信息。
5.如权利要求1至3的任一项所述的兴趣度估计装置，
所述显著性信息获得部，通过根据图像的物理特征来解析所述影像，
从而获得所述显著性信息。
6.如权利要求1至5的任一项所述的兴趣度估计装置，
所述显著区域是与附随于所述影像的声音信息有关的对象的区域。
7.如权利要求6所述的兴趣度估计装置，
所述对象是说话者的脸或嘴。
8.如权利要求6所述的兴趣度估计装置，
所述显著区域是显示与所述声音信息对应的文本的区域。
9.如权利要求1至8的任一项所述的兴趣度估计装置，
所述显著区域是移动的对象的区域。
10.如权利要求9所述的兴趣度估计装置，
所述对象是人。
11.如权利要求...

【专利技术属性】
技术研发人员：坂田幸太郎，前田茂则，米谷龙，川岛宏彰，平山高嗣，松山隆司，
申请(专利权)人：松下电器产业株式会社，
类型：
国别省市：