服务器设备、终端设备、信息处理系统以及信息处理方法技术方案

[问题]提供能够降低云渲染期间服务器设备侧的处理负荷的技术。[解决方案]根据本技术的服务器设备设置有控制器。基于与包括多个分段的视听区域中的每个终端设备相关的视听位置信息，控制器将存在于具有相同视听位置的分段中的终端设备分组，并且通过多播向被分组的终端设备发送公共影像信息。终端设备发送公共影像信息。终端设备发送公共影像信息。

【技术实现步骤摘要】
【国外来华专利技术】服务器设备、终端设备、信息处理系统以及信息处理方法


[0001]本技术涉及执行云渲染的服务器设备等的技术。

技术介绍

[0002]近年来，增加的网络带宽、GPU的性能的改进等已经使得可以根据由许多摄像机捕获的影像生成三维影像，并且将这些影像作为自由视点影像进行分发。例如，这已经使得可以在体育、音乐事件等中分发自由视点影像，从而向用户提供从自由视听位置以自由视听方向欣赏影像的视听体验。
[0003]传统上，在分发高图像质量的自由视点影像以提供自由视点的视听体验时，数据量增加并且因此需要大的网络带宽。此外，为了渲染自由视点影像，用户的终端设备需要高性能的GPU等。
[0004]为了应对这样的问题，提出了服务器设备侧执行渲染的云渲染。在云渲染中，首先，终端设备向服务器发送信息例如视听位置和视听方向。服务器设备响应于所接收的视听位置和视听方向，根据自由视点影像渲染所请求的影像，将该影像编码为二维影像流，并且然后将其发送至终端设备。
[0005]在云渲染中，终端设备仅需要对二维影像流进行解码和显示，并且因此即使在终端设备不包括高性能的GPU等时，也可以向用户提供高图像质量的视听体验。
[0006]注意，与本申请相关的技术包括下面提及的专利文献1。
[0007]引文列表
[0008]专利文献
[0009]专利文献1：日本专利申请特许公开第2017
‑
188649号。

技术实现思路

[0010]技术问题
[0011]在云渲染中，存在服务器设备侧的处理负荷与请求视听的终端设备的数目成比例地增加的问题。
[0012]鉴于如上面所描述的情况，本技术的目的是提供能够减少云渲染中服务器设备侧的处理负荷的技术。
[0013]问题的解决方案
[0014]根据本技术的服务器设备包括控制器。控制器基于包括多个分段的视听区域内每个终端设备的视听位置信息，将视听位置在同一分段内的终端设备分组，并且通过多播向被分组的终端设备中的每个终端设备发送公共影像信息。
[0015]这使得可以减少云渲染中服务器设备侧的处理负荷。
[0016]根据本技术的终端设备包括控制器。
[0017]控制器从服务器设备接收公共影像信息，并且基于所接收的公共影像信息渲染要显示的图像，该服务器设备基于包括多个分段的视听区域内每个终端设备的视听位置信
息，将视听位置在同一分段内的终端设备分组，并且通过多播向被分组的终端设备中的每个终端设备发送公共影像信息。
[0018]根据本技术的信息处理系统包括服务器设备和终端设备。
[0019]服务器设备基于包括多个分段的视听区域内每个终端设备的视听位置信息，将视听位置在同一分段内的终端设备分组，并且通过多播向被分组的终端设备中的每个终端设备发送公共影像信息。
[0020]终端设备接收公共影像信息，并且基于所接收的公共影像信息渲染要显示的图像。
[0021]根据本技术的信息处理方法包括：基于包括多个分段的视听区域内每个终端设备的视听位置信息，将视听位置在同一分段内的终端设备分组；以及通过多播向被分组的终端设备中的每个终端设备发送公共影像信息。
附图说明
[0022][图1]图1是示出根据本技术的第一实施方式的信息处理系统的图。[图2]图2是示出终端设备的内部配置的框图。
[0023][图3]图3是示出管理服务器的内部配置的框图。
[0024][图4]图4是示出分发服务器的内部配置的框图。
[0025][图5]图5是示出视听区域和分段的示例的图。
[0026][图6]图6是示出终端设备中的视听位置信息发送处理的图。
[0027][图7]图7是示出用户正在改变视听位置的状态的示例的图。
[0028][图8]图8是示出管理服务器中的分组处理等的流程图。
[0029][图9]图9是示出每个分段中的终端设备的数目的分布与阈值之间的关系的图。
[0030][图10]图10是示出分发服务器列表的示例的图。
[0031][图11]图11是示出终端设备中的影像信息请求处理等的流程图。
[0032][图12]图12是示出服务器设备中的影像信息生成处理等的流程图。
[0033][图13]图13是示出管理服务器中的小数据量三维影像生成处理等的流程图。
[0034][图14]图14是示出被分组的终端设备中的图像显示处理等的流程图。
[0035][图15]图15是示出未被分组的终端设备中的图像显示处理等的流程图。[图16]图16是示出根据公共影像信息渲染图像的状态的图。
[0036][图17]图17是示出将视听位置移动至所请求的视听位置并且将视听方向改变成所请求的视听方向的状态的图。
具体实施方式
[0037]在下文中，将参照附图描述根据本技术的实施方式。
[0038]<<第一实施方式>>
[0039]<整体配置和每个单元的配置>
[0040]图1是示出根据本技术的第一实施方式的信息处理系统100的图。如图1所示，信息处理系统100包括多个终端设备10和多个服务器设备20。
[0041]终端设备10可以是用户能够携带的移动终端，或可以是用户能够穿戴的可穿戴终
端。可替选地，终端设备10可以是安装使用的固定终端。
[0042]移动终端的示例包括移动电话(包括智能手机)、平板个人计算机(PC)、便携式游戏机和便携式音乐播放器。可穿戴终端的示例包括头戴型可穿戴终端(头戴式显示器：HMD)、腕带型(钟表型)可穿戴终端、吊坠型可穿戴终端和戒指型可穿戴终端。此外，固定终端的示例包括台式PC、电视设备和固定游戏机。
[0043]本实施方式中的信息处理系统100被用作以下系统：在该系统中，服务器设备20侧通过云渲染根据与真实空间中的整个实际事件场地(例如，体育场)等对应的三维影像生成必要的影像信息，并且执行影像信息到终端设备10的实时分发。
[0044]此外，本实施方式中的信息处理系统100被用作以下系统：在该系统中，服务器设备20侧通过云渲染根据与虚拟空间中的整个虚拟事件场地(例如，游戏的虚拟体育场)等对应的三维影像生成必要的影像信息，并且执行影像信息到终端设备10的实时分发。
[0045]用户可以通过用户自己的终端设备10欣赏在真实空间中举办的实况事件或在虚拟空间中举办的实况事件。在这种情况下，由于云渲染，即使终端设备10的处理能力低，用户也可以欣赏高质量的影像。
[0046]如果事件等是真实空间中的事件，则用户可以携带或穿戴终端设备10并且可以位于真实事件场地等处(如果终端设备10是移动终端或可穿戴终端)。可替选地，在这种情况下，用户可以在除了事件场地之外的任何地方，例如用户的家(无论终端设备10的类型如何)。
[0047]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种服务器设备，包括：控制器，其基于包括多个分段的视听区域内的每个终端设备的视听位置信息，将视听位置在同一分段内的终端设备分组，并且通过多播向被分组的终端设备中的每个终端设备发送公共影像信息。2.根据权利要求1所述的服务器设备，其中，所述控制器将所述终端设备的数目超过预定阈值的分段确定为进行所述分组的分段。3.根据权利要求2所述的服务器设备，其中，所述控制器将所述阈值控制为可变的。4.根据权利要求1所述的服务器设备，其中，所述公共影像信息具有比所述终端设备中的每个终端设备的显示单元的显示视角更宽的角度，并且所述被分组的终端设备中的每个终端设备基于在所述每个终端设备中请求的视听方向和显示视角，根据所述公共影像信息渲染应显示的图像。5.根据权利要求4所述的服务器设备，其中，所述被分组的终端设备中的每个终端设备基于在所述每个终端设备中请求的视听位置，根据所述公共影像信息渲染所述图像。6.根据权利要求5所述的服务器设备，其中，所述公共影像信息包括影像内的对象的深度信息，并且所述被分组的终端设备中的每个终端设备基于所述深度信息渲染所述图像。7.根据权利要求1所述的服务器设备，其中，所述控制器通过单播向未被分组的终端设备中的每个终端设备发送单独影像信息。8.根据权利要求7所述的服务器设备，其中，所述控制器减小与所述视听区域内的所有视听位置对应的三维影像的数据量以生成小数据量三维影像，并且通过多播将所述小数据量三维影像发送至所有终端设备。9.根据权利要求8所述的服务器设备，其中，所述终端设备中的每个终端设备在所述每个终端设备中请求的视听位置移动超出所...

【专利技术属性】
技术研发人员：铃木知，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：