信息处理装置、其控制方法和计算机程序制造方法及图纸

从服务器装置接收图像数据的信息处理装置包括：生成部，其用于生成推送指令，该推送指令包括与能够应用于投影对象图像的多种投影方法的一种或更多种投影方法有关的标识信息；发送部，其用于向所述服务器装置发送由所述生成部生成的推送指令；以及接收部，其用于接收响应于由所述发送部发送的推送指令而从所述服务器装置推送的图像数据，该图像数据是通过使用基于包括在推送指令中的标识信息而决定的投影方法，对投影对象图像进行投影而生成的。

Information Processing Device, Its Control Method and Computer Program

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、其控制方法和计算机程序
本专利技术涉及信息处理装置、其控制方法和计算机程序，特别涉及用于发送图像数据的技术。
技术介绍
近些年，提供了向用户实时分发使用全向摄像装置拍摄的全向视频数据的分发系统。专利文献1公开了通过利用HTTP流技术分发360度全向视频数据的系统。同时，诸如HTTP/2等的协议指定了供服务器主动向客户端推送数据的过程。众所周知，通过将这些过程应用于HTTP流，使得即便服务器未接收到针对各个单独段的请求，服务器也将客户端使流再现所需的段推送到客户端，能够降低可能在开始再现前发生的延迟。现有技术文献专利文献专利文献1：日本特开2016-105593号公报
技术实现思路
技术问题当发送全向视频数据时，服务器能够将全向视频数据投影(展开)到二维平面上，以生成将要分发的段。存在多种用于将全向视频数据投影到二维平面上的方法。一些类型的客户端可能不支持将要进行的、以显示使用特定投影方法投影的全向视频数据的显示处理。因此，存在如下问题：即使当服务器将全向视频数据推送到客户端时，客户端也不能再现全向视频数据。另外，一些类型的客户端可能不支持将要进行的、以将使用特定投影方法由服务器投影的全向视频数据转换为使用其他投影方法投影的全向视频数据的处理。另外，在该情况下，该客户端不能显示使用期望的投影方法投影的全向视频数据。即使客户端能够将使用特定投影方法由服务器投影的全向视频数据转换为使用其他投影方法投影的全向视频数据，该转换处理也会对客户端产生负荷。还想到的是，即便期望客户端接收未被投影(展开)的全向视频数据，服务器也会向客户端发送已经使用特定投影方法投影的全向视频数据。在发送除了全向视频数据以外的视频数据的情况下，也可能发生该问题。例如，还存在多种用于投影(展开)使用鱼眼镜头拍摄的视频数据和使用超广角镜头拍摄的视频数据的方法。此外，在部分全向视频数据的情况下会发生类似的问题，其中，部分全向视频数据是已经去除了一些区域的视频数据的全向视频数据。由于存在多种投影方法，所以还可以说存在多种显示方法。鉴于上述问题作出了本专利技术，本专利技术的目的是提供如下技术：当存在多种用于投影图像数据的方法时，向客户端提供在形式上适于客户端的图像数据。用于解决技术问题的手段为了实现上述目的，根据本专利技术的信息处理装置设置有以下构造。即，一种从服务器装置接收图像数据的信息处理装置，其特征在于，所述信息处理装置包括：生成部，其用于生成推送指令，该推送指令包括与能够应用于投影对象图像的多种投影方法的一种或更多种投影方法有关的标识信息；发送部，其用于向所述服务器装置发送由所述生成部生成的推送指令；以及接收部，其用于接收响应于由所述发送部发送的推送指令而从所述服务器装置推送的图像数据，该图像数据是通过使用基于包括在推送指令中的标识信息而决定的投影方法，对投影对象图像进行投影而生成的。本专利技术的有益效果本专利技术使得当存在多种用于投影图像数据的方法时，能够向客户端提供在形式上适于客户端的图像数据。通过结合附图的以下描述，本专利技术的其它特征和优点将变得明显。注意，遍及附图，相同的附图标记表示相同或相似的组件。附图说明包含在说明书中且构成说明书的一部分的附图示出了本专利技术的实施例，并且与实施例的描述一起用来例示本专利技术的原理。图1A、图1B、图1C、图1D例示了全向视频数据投影方法的示例。图2是系统构造图。图3是示出客户端的硬件构造的示例的框图。图4是示出客户端的功能构造的示例的框图。图5是示出服务器的硬件构造的示例的框图。图6是示出服务器的功能构造的示例的框图。图7示出了推送指令的示例。图8是示出符合MPEG-DASH的MPD文件中的注释(notation)的示例的图。图9是推送响应的示例。图10A、图10B是示出客户端的操作的流程图。图11A、图11B、图11C是示出服务器的操作的流程图。图12是示出序列的序列图。具体实施方式以下参照附图详细描述本专利技术的实施例的通信装置和通信系统。注意，以下实施例不限制与权利要求书的范围有关的本专利技术，并且并非必须的是，对于本专利技术而言以下实施例所述的特征的所有组合均是必要的。(全向视频数据)图1A至图1D是示出全向视频数据的示例和该全向视频数据的投影方法的图。如由图1A中的1001所示，全向视频数据是拍摄以原点O(1003)为中心的范围(方位角至360°，仰角θ＝-90°至90°)的视频数据。可以将全向视频数据不同地称作例如全方位视频数据、虚拟现实(VR)视频数据、360°视频数据等。然而，无论称作什么，本实施例的构造均是可应用的。另外，本实施例的构造不仅可应用于全向视频数据，而且还可应用于任意类型的如下视频数据：针对该视频数据，存在多种投影方法。尽管本实施例描述了将视频(移动图像)分配成在三维空间中的所有方向上均包括图像的全向图像数据的示例，但是代替地，可以分配静止图像。也就是，尽管在本实施例的描述中使用了表达“全向视频数据”，但是“全向视频数据”可以是视频(移动图像)或静止图像。另外，尽管在本实施例中使用了术语“投影方法”，但是可以将“投影方法”称作例如“展开方法”或“表达方法”。可供根据本实施例的构造应用的视频数据的范围不限于由1001所示的、由方位角至360°和仰角θ＝-90°至90°指定的视频数据的范围。例如，根据本实施例的构造可应用于由方位角至360°和仰角θ＝0°至90°指定的半球，或者由任意方位角和任意仰角指定的成像后的数据(imageddata)。根据本实施例的构造还可应用于诸如针对右眼用数据、左眼用数据或立体用数据等的全向视频数据。当将要分配拍摄图像的全向视频数据时，进行投影处理，以在二维平面上展开全向视频数据。存在多种用于将全向视频数据投影到二维平面上的方法。图1B中的1005示出了将全向视频数据1004投影到圆柱体上并进而在二维平面上展开的等距矩形投影方法(equirectangularprojectionmethod)。图1C中的1007示出了将全向视频数据1004投影到矩形长方体1006上并进而将长方体1006在二维平面上展开的投影方法(Cube(立方体))。图1D中的1009示出了将全向视频数据投影到棱锥1008上并进而在二维平面上展开上的投影方法。以这种方法，全向图像的展开方法可以包括将全向图像投影到圆柱体、多面体、圆锥体等上并进而在二维平面上展开的方法。无论采用哪种全向视频数据投影方法，本实施例均是可应用的。也就是，根据本实施例的构造可应用于除了图1A至图1D所示的全向投影方法以外的全向投影方法，诸如鱼眼投影方法、圆锥投影方法和正多面体投影方法等。当将要再现全向视频数据时，对展开在二维平面上的全向视频图像进行渲染处理。对已经被施行了投影处理的全向视频数据施行编码处理。在本实施例中，HEVC、AVC、VP8、VP9和其它类型的编码方法也是可应用的。HEVC是HighEfficiencyVideoCoding(高效视频编码)的缩写，AVC是AdvancedVideoCoding(高级视频编码)的缩写。本实施例中的全向视频数据可以分割成多个图块(tile)。尽管将全向视频数据分割成图块和编码的方法包括将各个图块单独编码的方法，以及采用图块编码以编码全向视频数据的方法，但是无论采用哪种本文档来自技高网...

【技术保护点】
1.一种从服务器装置接收图像数据的信息处理装置，其特征在于，所述信息处理装置包括：生成部，其用于生成推送指令，该推送指令包括与能够应用于投影对象图像的多种投影方法中的一种或更多种投影方法有关的标识信息；发送部，其用于向所述服务器装置发送由所述生成部生成的推送指令；以及接收部，其用于接收响应于由所述发送部发送的推送指令而从所述服务器装置推送的图像数据，该图像数据是通过使用基于包括在推送指令中的标识信息而决定的投影方法，对投影对象图像进行投影而生成的。

【技术特征摘要】
【国外来华专利技术】2016.09.20 JP 2016-1833611.一种从服务器装置接收图像数据的信息处理装置，其特征在于，所述信息处理装置包括：生成部，其用于生成推送指令，该推送指令包括与能够应用于投影对象图像的多种投影方法中的一种或更多种投影方法有关的标识信息；发送部，其用于向所述服务器装置发送由所述生成部生成的推送指令；以及接收部，其用于接收响应于由所述发送部发送的推送指令而从所述服务器装置推送的图像数据，该图像数据是通过使用基于包括在推送指令中的标识信息而决定的投影方法，对投影对象图像进行投影而生成的。2.根据权利要求1所述的信息处理装置，其特征在于，所述接收部从所述服务器装置接收，通过使用基于包括在推送指令中的标识信息而决定的投影方法，将投影对象图像投影到二维平面上而生成的图像数据的段。3.根据权利要求1或2所述的信息处理装置，其特征在于，所述生成部生成推送指令，该推送指令包括与能够由所述信息处理装置处理的至少一种投影方法有关的标识信息。4.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，所述信息处理装置还包括显示控制部，所述显示控制部用于使显示部显示与由所述接收部接收到的图像数据对应的图像。5.根据权利要求1至4中任一项所述的信息处理装置，其特征在于，投影对象图像是在三维空间中的所有方向上均包括图像的全向图像，并且投影方法包括用于通过将全向图像投影到圆柱体、多面体或圆锥体上而将全向图像投影到二维平面上的方法。6.根据权利要求5所述的信息处理装置，其特征在于，所述信息处理装置还包括确定部，所述确定部用于确定所述信息处理装置是否展开全向视频，并且在所述确定部确定出所述信息处理装置不展开全向图像时，所述生成部生成推送指令，该推送指令包括与一种或更多种投影方法有关的标识信息。7.根据权利要求1至6中任一项所述的信息处理装置，其特征在于，所述生成部生成推送指令，该推送指令包括：从与写在媒体呈现描述中的一种或更多种投影方法有关的一条或更多条标识信息中选择的标识信息。8.根据权利要求1至7中任一项所述的信息处理装置，其特征在于，所述生成部生成推送指令，该推送指令还包括指示关注区域的信息，并且所述接收部接收响应于该推送指令而从所述服务器装置推送的图像数据，该图像数据是通过使用基于包括在该推送指令中的标识信息而决定的投影方法，对投影对象图像的关注区域进行投影而生成的。9.一种推送图像数据的信息处理装置，其特征在于，所述信息处理装置包括：接收部，其用于从客户端装置接收推送指令，该推送指令包括与能够应用于投影对象图像的多种投影方法中的一种或更多种投影方法有关的标识信息；决定部，其用于基于包括在推送指令中的与一种或更多种投影方法有关的标识信息，决定要应用于投影对象图像以生成要向所述客户端装置推送的图像数据的投影方法；以及发送部，其用于向所述客户端装置推送，作为由所述决定部决定的投影方法应用于投影对象图像的结果而生成的图像数据。10.根据权利要求9所述的信息处理装置，其特征在于，投影对象图像是在三维空间中的所有方向上均包括图像的全向图像，并且投影方法包括用于通过将全向图像投影到圆柱体、多面体或圆...

【专利技术属性】
技术研发人员：酒井智哉，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP