与关注对象物相关的信息提供系统以及信息提供方法技术方案

具备：图像再生部(11)，其将三维图像进行再生并显示在HMD(200)上，其中，该三维图像是对一个以上的对象物与随附信息分别建立关联而形成；关注对象物检测部(12)，其检测三维图像中视听者所关注的一个以上的对象物；排序部(13)，其按照关注程度由高到低的顺序对关注对象物进行排序；以及随附信息发送部(14)，其将关注对象物的随附信息按照排序提供给用户终端(400)；在三维图像的再生结束后或停止后，将与三维图像显示在HMD(200)时检测到的关注对象物相对应的随附信息，通过与HMD(200)不同的用户终端(400)提供给视听者，由此，能够在取下HMD(200)后，将与在观看三维图像时所关注的对象物相关的详细的随附信息提供给视听者。

【技术实现步骤摘要】
【国外来华专利技术】与关注对象物相关的信息提供系统以及信息提供方法
本专利技术涉及与关注对象物相关的信息提供系统以及信息提供方法，尤其是适用于提供与三维图像中显示的对象物中的用户所关注的对象物相关的随附信息的系统。
技术介绍
近年来，让人仿佛身临其境般地体验计算机中创造的虚拟世界的虚拟现实(VR：VirtualReality)技术不断被活用。VR大致分为：向用户呈现利用计算机图形等制作的三维图像这一类、以及向用户呈现通过将拍摄现实世界获得的视频加工成VR用的视频而制成的三维图像这一类。作为后者的一例，还提供了能够根据视听者的视线的移动360度全方位观看的被称为360度视频的技术。VR的应用例多种多样，一般而言，存在如下的应用例，即：用户佩戴像护目镜一样的HMD(HeadMountDisplay：头戴式显示器)，并在通过计算机在HMD中描绘的三维空间中进行自由漫步，从而用户能够虚拟地进行各种体验。VR也能够向用户呈现超越时间或空间等的现实约束的世界。但是，如果只是单纯地将三维图像显示在HMD上，用户很快会感到厌倦。即，直接使用三维图像的情况下，无法成为有用的内容或信息传递介质。相对于此，已知有如下技术，即：检测出三维图像中视听者所关注的对象，并显示该关注对象的属性信息(例如参照专利文献1、2)。在专利文献1中，公开了如下内容，即：通过在传送给视听者的三维图像内检测出观看随时间变化的图像的视听者的关注部分，从而向视听者提供对应于关注部分的有用信息。具体而言，记载了如下内容，即：预先设定对时空体(Spatio-temporalVolume)附加对象物的随附信息而形成的时空标记，根据关注部分的检测结果而确定视听者所关注的对象物的时空标记，并将该时空标记中的随附信息提供给视听者。另外，专利文献1中还记载了如下内容，即：将视线数据进行综合、汇总并进行规定的统计处理，获得该汇总的与所有视听者中的各时空标记的商品信息的关注度相关的数据，并将该数据提供给运营商侧的计算机。在专利文献2中，记载了如下内容，即：预先存储以三维空间表示的图形内配置的对象的属性信息，当在从输入手段输入的检索信息中包含有视点及注视点的移动信息时，根据检索信息确定对象的重要度，并根据所确定的对象的重要度来确定显示属性信息的对象。专利文献1：JP特开2016-46730号公报专利文献2：JP特许第3025173号公报
技术实现思路
但是，上述专利文献1、2中所记载的技术，均是将与三维图像内用户所关注的对象物相对应的随附信息，在观看该三维图像时显示在三维图像内的技术。因此，VR空间内能够显示的随附信息的信息量或信息种类是有限的。而且，该随附信息的显示是被限定在随时间变化的三维图像中显示对象物的很短的时间内。因此，存在无法对视听者充分提供有用信息这一问题。本专利技术是为了解决上述问题而完成的，其目的在于能够将三维图像作为更为有用的信息传递介质进行使用。为了解决上述课题，在本专利技术中，构成为如下，即：将对随时间变化的图像内所包含的一个以上的对象物与随附信息分别建立关联而形成的三维图像进行再生并显示在显示器上，检测在该三维图像中视听者所关注的一个以上的对象物，并且按照关注程度由高到低的顺序对其进行排序。然后，在三维图像的再生结束或停止时，将与一个以上的关注对象物相对应的随附信息，按照排序，通过与显示三维图像的显示器不同的介质提供给视听者。根据如上述那样构成的本专利技术，在三维图像的再生结束后或停止后，将与在将三维图像显示在HMD等显示器上时检测出的关注对象物相对应的随附信息，通过与上述显示器不同的介质提供给视听者。因此，能够在不受信息量或信息种类、信息提供时间等的限制的情况下，向视听者提供更为有用的随附信息。而且，视听者能够在观看三维图像后，仔细地确认所提供的与在观看三维图像时所关注的对象物相关的如上所述的有用的随附信息。并且，由于与一个以上的关注对象物相关的随附信息是以按照关注程度由高到低的顺序排序的状态进行提供，因此视听者能够容易地优先从更感兴趣的对象物开始确认随附信息。如上所述，根据本专利技术，能够将三维图像活用为更为有用的信息传递介质。附图说明图1是表示本实施方式涉及的信息提供系统的整体构成例的图。图2是表示本实施方式涉及的信息提供系统的功能构成例的框图。图3是用于说明关注对象物的检测方法的一例的图。图4是表示本实施方式涉及的随附信息的提供形态的一例的图。图5是表示本实施方式涉及的再生装置的动作例的流程图。图6是表示本实施方式涉及的服务器装置的动作例的流程图。图7是表示本实施方式涉及的用户终端的动作例的流程图。图8是表示本实施方式涉及的再生装置的另一功能构成例的框图。图9是表示本实施方式涉及的信息提供系统的另一整体构成例的图。图10是表示本实施方式涉及的信息提供系统的另一整体构成例的图。(符号说明)11图像再生部12关注对象物检测部13排序部14、14’随附信息发送部15、15’图像存储部31随附信息接收部32地址确定部33随附信息发送部41随附信息接收部42随附信息提供部100、100’、100”再生装置200HMD300服务器装置400、400’用户终端具体实施方式以下根据附图对本专利技术的一个实施方式进行说明。图1是表示本实施方式涉及的与关注对象物相关的信息提供系统(以下仅称为“信息提供系统”)的整体构成例的图。如图1所示，本实施方式的信息提供系统构成为包括再生装置100、HMD200、服务器装置300以及用户终端400。另外，再生装置100、HMD200以及服务器装置300，可以构成为如图所示分别为独立体，也可以构成为将再生装置100和HMD200作为一个计算机提供。另外，还可以构成为再生装置100、HMD200以及服务器装置300全部作为一个计算机提供。再生装置100是再生三维图像，且将与三维图像内的对象物建立了关联的随附信息(accompanyinginformation)提供给视听者的装置，并且也作为信息提供装置发挥作用。三维图像是用于形成VR的三维空间的视差图像，通过再生装置100再生的三维图像显示在视听者佩戴的HMD200中。HMD200是权利要求书中记载的显示器的一例。服务器装置300接收从再生装置100发送来的随附信息，并将该随附信息发送给预先指定的视听者的用户终端400。用户终端400是供视听者使用的终端，可以使用例如智能手机或平板电脑终端等便携式终端。在本实施方式中，通过再生装置100检测佩戴HMD200观看三维图像的视听者所关注的是图像内的哪一对象物，并按照关注程度由高到低的顺序对关注对象物进行排序。然后，在三维图像的再生结束或停止后，将与关注对象物相关的随附信息，按照排序，从再生装置100经由服务器装置300提供给用户终端400。即，在本实施方式中，将用户终端400的地址(例如，电子邮件的地址、短信的地址、通信应用或SNS应用的地址等)与用户ID等建立关联并预先登记在服务器装置300中。再生装置100将与关注对象物相关的随附信息与用户ID等一同提供给服务器装置300。服务器装置300根据与从再生装置100发送来的用户ID建立关联并预先登记的用户终端400的地址，将随附信息提供给用户终端400。图2是表示本实施方式涉及的信息提供系统的功能构成例的框图。如本文档来自技高网...

【技术保护点】
1.一种与关注对象物相关的信息提供系统，其特征在于，具备：图像再生部，其将三维图像进行再生并显示在显示器上，其中，所述三维图像是对随时间变化的图像内所包含的一个以上的对象物与随附信息分别建立关联而形成；关注对象物检测部，其检测在通过所述图像再生部显示的三维图像中视听者所关注的一个以上的对象物；排序部，当利用所述图像再生部进行的所述三维图像的再生结束或停止时，所述排序部按照所述视听者的关注程度由高到低的顺序，对由所述关注对象物检测部检测到的一个以上的关注对象物进行排序；以及随附信息提供部，当利用所述图像再生部进行的所述三维图像的再生结束或停止时，所述随附信息提供部将与由所述关注对象物检测部检测到的一个以上的关注对象物相对应的随附信息，按照由所述排序部确定的排序，通过与显示所述三维图像的显示器不同的介质提供给所述视听者。

【技术特征摘要】
【国外来华专利技术】2016.08.30 JP 2016-1675111.一种与关注对象物相关的信息提供系统，其特征在于，具备：图像再生部，其将三维图像进行再生并显示在显示器上，其中，所述三维图像是对随时间变化的图像内所包含的一个以上的对象物与随附信息分别建立关联而形成；关注对象物检测部，其检测在通过所述图像再生部显示的三维图像中视听者所关注的一个以上的对象物；排序部，当利用所述图像再生部进行的所述三维图像的再生结束或停止时，所述排序部按照所述视听者的关注程度由高到低的顺序，对由所述关注对象物检测部检测到的一个以上的关注对象物进行排序；以及随附信息提供部，当利用所述图像再生部进行的所述三维图像的再生结束或停止时，所述随附信息提供部将与由所述关注对象物检测部检测到的一个以上的关注对象物相对应的随附信息，按照由所述排序部确定的排序，通过与显示所述三维图像的显示器不同的介质提供给所述视听者。2.根据权利要求1所述的与关注对象物相关的信息提供系统，其特征在于，所述随附信息提供部将所述随附信息与显示所述关注对象物时的三维图像的再现场景图像一同进行提供。3.根据权利要求2所述的与关注对象物相关的信息提供系统，其特征在于，所述三维图像是用于形成虚拟现实的三维空间的视差图像，所述再现场景图像是与显示所述关注对象物时的三维图像相对应的非视差图像。4.根据权利要求1至3中任意一项所述的与关注对象物相关的信息提供系统，其特征在于，所述与关注对象物相关的信息提供系统具备：再生所述三维图像的再生装置、显示所述三维图像的所述显示器、服务器装置以及供所述视听者使用的用户终端；所述随附信息提供部将所述随附信息从所述再生装置经由所述服务器装置提供给所述用...

【专利技术属性】
技术研发人员：水野拓宏，
申请(专利权)人：株式会社阿尔法代码，
类型：发明
国别省市：日本,JP