信息处理装置、显示装置、信息处理方法、程序和信息处理系统制造方法及图纸

本技术涉及在将视野可以自由改变的内容的图像显示给用户时能够确定注视视野的信息处理装置、显示装置、信息处理方法、程序和信息处理系统。根据本技术的一个方面的信息处理装置接收观看历史信息。该观看历史信息包括视频内容在被观看时的视频内容的单个实例的显示范围的历史并且从显示视频内容的图像的多个显示装置发送该观看历史信息，对于该视频内容，显示范围跟随用户的移动时在整个图像的范围内切换。基于用于预定显示装置的视频内容的图像的显示范围的历史，该信息处理装置将在视频内容的预定时间间隙内的预定显示范围识别为兴趣范围。本技术可以被应用于提供由头戴式显示器(HMD)再现的内容的装置。

Information processing device, display device, information processing method, program, and information processing system

The present invention relates to an information processing device, a display device, an information processing method, a program, and an information processing system capable of determining a visual field of view when the image of the content which can freely change the visual field is displayed to the user. According to one aspect of the technology, the information processing device receives the viewing history information. A single instance of the viewing history information including video content and video content in the viewing range of the display history and from the multi image display video content display device transmits the viewing history information, for the video content, follow the user's mobile display range over the whole range of image switching. Based on the history of the display range of an image of a video content of a predetermined display device, the information processing apparatus identifies a predetermined display range within a predetermined time gap of the video content into a range of interest. This technique can be applied to provide a head mounted display (HMD) device for reproducing content.

【技术实现步骤摘要】
【国外来华专利技术】
本技术涉及信息处理装置、显示装置、信息处理方法、程序和信息处理系统。具体地，本技术涉及被配置为能够在向用户呈现其中视野可以自由改变的内容的图像的情况下，能够确定所注视的视野的信息处理装置、显示装置、信息处理方法、程序和信息处理系统。
技术介绍
近年来，人们已提出各种类型的技术，在这些技术中，用于头部跟踪的传感器被配备在头戴式显示器(HMD)中，使得图像的显示范围根据用户的头部的姿势被实时切换，从而给予用户好像在另一空间的体验。例如，作为HMD的内容，使用了通过合成利用多个视频摄像机实际拍摄的图像和具有360度视角的计算机图形(CG)的图像所生成的具有360度视角的图像。实际上，用户根据设置在HMD中的显示装置的视角从整个360度视角观看图像的范围的一部分。引用文献列表专利文献专利文献1：日本专利申请特开第2014-41502号
技术实现思路
本专利技术要解决的问题例如，在观看运动赛事的图像时，在通常的电视节目的情况下，在节目创建者的一侧显示所选的播放图像，因此用户简单地观看该图像。与此形成对比的是，当视野可以自由改变时，用户需要由他/她自己来确定在哪里观看。因此，可以认为用户有时会无法容易地判定看一些内容中的何处。通过考虑这样的情况创造本技术，其目的是能够在其中视野可以自由改变的内容的图像被显示给用户的情况下确定注视的视野。问题的解决方案根据本技术的一个方面的信息处理装置包括：通信单元，接收包括每个视频内容在被观看时的显示范围(displayrange)的历史的观看历史信息(viewinghistoryinformation)，从均被配置为显示该视频内容的图像的多个显示装置发送该观看历史信息，在该视频内容中，该显示范围通过跟随用户的移动而在整个图像的范围内切换；以及识别单元，基于在预定的显示装置处的该视频内容的图像的显示范围的历史将该视频内容在预定时间段内的预定显示范围识别为注视范围(rangeofattention)。根据本技术的另一方面的显示装置包括：再现单元(reproducingunit)，再现视频内容，在该视频内容中，显示范围通过跟随用户的移动而在整个图像的范围内切换；检测单元，检测在观看该视频内容时该用户的移动；显示控制单元，通过跟随该用户的移动来控制图像的该显示范围；以及通信单元，将观看历史信息发送至信息处理装置，该观看历史信息包括视频内容被观看时的显示范围的历史，该信息处理装置被配置为处理从多个显示装置发送的该观看历史信息；基于在预定的显示装置中的视频内容的图像的显示范围的历史将在视频内容的预定时间段内的视频内容的预定显示范围识别为注视范围。本专利技术的效果根据本技术，可以在其中视野可以自由改变的内容的图像被呈现给用户的情况下确定注视视野。应注意，本文中所描述的效果不一定局限于此并且还适用于在本公开中描述的任何效果。附图说明[图1]示出根据本技术的实施例的内容发送系统的示例性配置的示意图。[图2]示出自由视点内容的示例性成像空间的平面图。[图3]示出图像的示例性视角的示意图。[图4]示出图像的另一示例性视角的示意图。[图5]示出示例性拍摄图像的示意图。[图6]示出示例性视野的示意图。[图7]示出内容管理服务器的示例性配置的框图。[图8]示出内容管理服务器的示例性功能配置的框图。[图9]示出示例性观看历史信息的示意图。[图10]示出示例性内容信息的示意图。[图11]示出HMD的示例性配置的框图。[图12]示出控制单元的示例性功能配置的框图。[图13]用于说明客户端终端的内容再现处理的流程图。[图14]用于说明内容管理服务器的记录处理的流程图。[图15]用于说明内容管理服务器的最多视野信息生成处理的流程图。[图16]示出在视野之间的叠加的示例的示意图。[图17]用于说明内容管理服务器的基于特征点的最多视野信息生成处理的流程图。[图18]用于说明内容管理服务器的突出内容发送处理的流程图。[图19]示出在视野之间的重叠数的最大值的时间序列的示意图。[图20]用于说明内容管理服务器的其它突出内容发送处理的流程图。[图21]用于说明客户端终端的突出内容再现处理的流程图。[图22]用于说明客户端终端的其它突出内容再现处理的流程图。[图23]示出突出点的示例性呈现的示意图。[图24]用于说明客户端终端的内容再现处理的流程图。[图25]用于说明内容管理服务器的突出点呈现处理的流程图。[图26]用于说明在图25中的步骤S232执行的第一突出点识别处理的流程图。[图27]用于说明在图25中的步骤S232执行的第二突出点识别处理的流程图。[图28]用于说明在图25中的步骤S232执行的第三突出点识别处理的流程图。[图29]用于说明在图25中的步骤S232执行的第四突出点识别处理的流程图。[图30]用于说明在图25中的步骤S232执行的第五突出点识别处理的流程图。[图31]示出示例性HMD的示意图。具体实施方式在下文中将描述用于执行本技术的模式。该描述将按以下次序进行。1.第一实施例(发送突出内容(highlightcontent)的示例)2.第二实施例(呈现突出点(highlightpoint)的示例)<<第一实施例>><内容发送系统的配置>图1示出根据本技术的实施例的内容发送系统的示例性配置的示意图。图1中的内容发送系统由内容管理服务器(contentmanagementserver)1、HMD2-1至2-3、便携式终端3和电视接收器4构成。HMD2-1至2-3中的每一个、便携式终端3和电视接收器4通过诸如互联网的网络11被连接到内容管理服务器1。在没有必要彼此区分HMD2-1至2-3、便携式终端3和电视接收器4时，这些部件根据需要被统一称为客户端终端。虽然图1示出五个客户端终端，但是更多的终端被连接到网络11。内容管理服务器1管理多个视频内容项并发送由客户端终端的用户所选择的视频内容。由内容管理服务器1所发送的视频内容为在水平方向和垂直方向的至少一个中具有360度的视角并且包括在多个位置处拍摄的图像的内容。在收到从内容管理服务器1发送的视频内容时，例如HMD2-1的用户可以在改变视野时从所选的视点选择观看图像的视点。由内容管理服务器1所发送的视频内容为视点可以被改变的所谓的自由视点内容。诸如加速度传感器和陀螺仪传感器的用于头部跟踪的传感器被配备在HMD2-1至2-3中的每一个中。HMD2-1至2-3中的每一个检测佩戴HMD2-1至2-3中的每一个的用户的头部的姿势以根据从头部的姿势估算的视线的方向来切换图像的显示范围。因此，用户从整个360度视角观看位于用户转动他/她的脸的方向中的图像的范围的某一部分。在这里，“视点(viewpoint)”用作用户观看对象的立脚点。同时，“视野(visualfield)”为用户在观看的范围并对应于在显示器上显示的图像的范围(显示范围)。“视线(lineofsight)”为用户的视野的方向并对应于在成像空间内的预定方向被假设为参考时的图像的显示范围的方向。在下文中，将描述由内容管理服务器1所发送的自由视点内容的图像被假设为多个歌手在其中演唱的音乐会的图像的情况。各种类型的自由视点内容可以被配置为从内容管理服务器1发送，其包括戏剧的本文档来自技高网...

【技术保护点】
一种信息处理装置，包括：通信单元，接收包括每个视频内容在被观看时的显示范围的历史的观看历史信息，从均被配置为显示所述视频内容的图像的多个显示装置发送所述观看历史信息，在所述视频内容中，所述显示范围通过跟随用户的移动而在整个图像的范围内切换；以及识别单元，基于在预定的所述显示装置处的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围。

【技术特征摘要】
【国外来华专利技术】2014.07.18 JP 2014-1475981.一种信息处理装置，包括：通信单元，接收包括每个视频内容在被观看时的显示范围的历史的观看历史信息，从均被配置为显示所述视频内容的图像的多个显示装置发送所述观看历史信息，在所述视频内容中，所述显示范围通过跟随用户的移动而在整个图像的范围内切换；以及识别单元，基于在预定的所述显示装置处的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围。2.根据权利要求1所述的信息处理装置，其中，所述视频内容是由在水平方向和垂直方向中的至少一个上具有360度视角的图像构成的内容。3.根据权利要求2所述的信息处理装置，其中，所述视频内容是包括通过从多个位置拍摄一个相同对象所获得的多个图像的内容，其中，所述多个位置中的一个位置能够被选择作为观看所述视频内容时的视点。4.根据权利要求2所述的信息处理装置，其中，所述视频内容是通过合成通过从多个位置拍摄一个相同对象获得的多个图像所获得的内容，其中，任意位置能够被选择作为观看所述视频内容时的视点。5.根据权利要求1所述的信息处理装置，进一步包括生成单元，所述生成单元生成由所述注视范围内的图像构成的注视内容，其中，所述通信单元将所述注视内容发送至所述显示装置。6.根据权利要求5所述的信息处理装置，其中，基于多个用户的所述观看历史信息，所述识别单元将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。7.根据权利要求1所述的信息处理装置，其中，所述通信单元将指示所述注视范围的信息和所述视频内容发送至所述显示装置，并且所述注视范围在观看所述视频内容时被呈现在所述显示装置上。8.根据权利要求7所述的信息处理装置，其中，基于多个用户的所述观看历史信息，所述识别单元将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。9.根据权利要求7所述的信息处理装置，其中，所述识别单元选择包含在由所述注视范围待呈现给的用户的所述观看历史信息指示的所述显示范围中的预定特征点，基于多个所述显示装置的用户的所述观看历史信息将在包括所述预定特征点的所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有包括所述预定特征点的所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。10.根据权利要求7所述的信息处理装置，其中，基于多个用户的所述观看历史信息，所述识别单元选择已观看的所述视频内容与所述注视范围待被呈现给的用户观看的类似的所述视频内容的其他用户，基于关于所述注视范围待呈现的所述视频内容的上述其他用户的所述观看历史信息将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。11.根据权利要求7所述的信息处理装置，其中，基于关于所述注视范围待呈现的所述视频内容的、与所述注视范围待被呈现给的用户不同的另一用户的所述观看历史信息，所述识别单元将与所述另一用户在观看期间的所述显示范围相同的所述显示范围识别为所述注视范围。12.根据权利要求7所述的信息处理装置，其中，基于关于所述注视范围待呈现的所述视频内容的、所述注视范围待呈现给的用户的所述观看历史信息，所述识别单元将与所述注视范围待呈现给的用户在观看期间的所述显示范围不同的所述显示范围识别为所述注视范围。13.一种信息处理方法，包括以下步骤：通过信息处理装置的接收器接收包括每个视频内容在被观看时的显示范围的历史的观看历史信息，从均被配置为显示所述视频内容的图像的多个显示装置发送所述观看历史信息，在所述视频内容中，所述显示范围通过跟随用户的移动而在整个图像的范围内切换；并且通过所述信息...

【专利技术属性】
技术研发人员：增田徹，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP