发送装置、发送方法、接收装置和接收方法制造方法及图纸

本发明专利技术使得可以根据用途或用户在接收机之间一致地显示宽视角图像内的给定的部分图像。所述发送装置发送通过对宽视角图像的图像数据进行编码而获得的编码流，并且发送包括分组和记录的预定数量的视点的信息的渲染元信息。例如，视点的信息具有指示该视点位置的方位角(方位角信息)和仰角(仰角信息)的信息。

【技术实现步骤摘要】
【国外来华专利技术】发送装置、发送方法、接收装置和接收方法
本技术涉及发送装置、发送方法、接收装置和接收方法，更具体地，涉及发送宽视角图像的发送装置等。
技术介绍
使用对应于宽视角的反射镜、透镜等来捕获宽视角图像。例如，专利文献1将全向图像等描述为宽视角图像。在发送宽视角图像的运动图像数据的情况下，根据转换方式，在显示时要显示的部分在接收侧有所不同。因此，在期望在接收机之间一致地显示宽视角图像中的某部分图像的情况下，通常存在没有这样的方法的问题。引文列表专利文献专利文献1：日本专利申请公开号2009-200939
技术实现思路
本专利技术要解决的问题本技术的目的在于按照用途或用户能够在接收机之间一致地显示宽视角图像中的某个部分图像。问题的解决方案本技术的概念在于一种发送装置，包括：发送单元，其被配置为发送通过对宽视角图像的图像数据进行编码而获得的编码流，并且发送包括以组记录的预定数量的视点的信息的渲染元信息。在本技术中，发送单元发送通过对宽视角图像的图像数据进行编码而获得的编码流，并发送渲染元信息。渲染元信息包括以组记录的预定数量的视点的信息。例如，宽视角图像可以是通过切取部分或全部球面捕获图像并对切取的球面捕获图像执行平面打包而获得的投影图片。此外，例如，视点的信息可以包括指示视点位置的方位角(方位角信息)和仰角(仰角信息)的信息。例如，发送单元可以将渲染元信息插入编码流的层和/或包括编码流的容器的层中，并发送渲染元信息。在这种情况下，例如，发送单元可以还发送包括关于编码流的元信息的元文件，并且所述元文件可以包括指示在编码流和/或容器的层中插入渲染元信息的标识信息。此外，在这种情况下，例如，容器可以是ISOBMFF，并且发送单元可以将渲染元信息插入到moov框中，并且发送渲染元信息。此外，在这种情况下，容器可以是ISOBMFF，并且发送单元可以使用与包括通过对宽视角图像的图像数据进行编码而获得的编码流的轨道不同的轨道，来发送渲染元信息。此外，在这种情况下，例如，容器可以是MPEG2-TS，并且发送单元可以将渲染元信息插入到节目映射表中，并且发送渲染元信息。此外，在这种情况下，例如，容器可以是MMT流，并且发送单元可以将渲染元信息插入到MMT封包表中，并且发送渲染元信息。此外，例如，通过对宽视角图像的图像数据进行编码而获得的编码流可以是对应于通过划分宽视角图像而获得的划分区域的编码流。在这种情况下，例如，可以通过单独编码宽视角图像的每个划分区域，获得每个划分区域的编码流。此外，在这种情况下，例如，通过使用将宽视角图像的每个划分区域用作方块(tile，铺片)的方块功能，执行编码，可以获得每个划分区域的编码流。此外，在这种情况下，例如，视点的信息可以包括视点所在的划分区域的信息。如上所述，在本技术中，发送通过对宽视角图像的图像数据进行编码而获得的编码流和包括以组记录的预定数量的视点的信息的渲染元信息。因此，接收侧可以基于渲染元信息对通过对编码流进行解码而获得的宽视角图像的图像数据进行处理，以获得显示图像数据，并且可以根据用途或用户在接收机之间一致地显示宽视角图像中的某个部分图像。此外，本技术的另一概念在于一种接收装置，包括：接收单元，其被配置为接收通过对宽视角图像的图像数据进行编码而获得的编码流，并接收包括以组记录的预定数量的视点的信息的渲染元信息；以及处理单元，其被配置为基于渲染元信息对通过对编码流进行解码而获得的宽视角图像的图像数据进行处理，以获得显示图像数据。在本技术中，接收单元接收通过对宽视角图像的图像数据进行编码而获得的编码流，并接收渲染元信息。渲染元信息包括以组记录的预定数量的视点的信息。处理单元基于渲染元信息对通过对编码流进行解码而获得的宽视角图像的图像数据进行处理，以获得显示图像数据。例如，处理单元可以使用根据用户的属性或合同内容确定的组的视点的信息。在这种情况下，例如，处理单元可以获得显示图像数据，所述显示图像数据具有由用户操作选择的视点的信息指示的位置作为中心位置。此外，例如，接收单元可以接收通过划分宽视角图像而获得的每个划分区域的编码流，作为通过对宽视角图像的图像数据进行编码而获得的编码流，并且所述处理单元可以对编码流的预定数量的划分区域的编码流进行解码以获得显示图像数据，每个编码流对应于每个划分区域。在这种情况下，例如，接收单元可以请求分发服务器发送预定数量的划分区域的编码流，并且从分发服务器接收预定数量的划分区域的编码流。如上所述，在本技术中，基于包括以组记录的预定数量的视点的信息的渲染元信息，处理通过对编码流进行解码而获得的宽视角图像的图像数据，以获得显示图像数据。因此，可以根据用途或用户在接收机之间一致地显示宽视角图像中的某个部分图像。本专利技术的效果根据本技术，可以根据用途使用或用户在接收机之间一致地显示宽视角图像中的某个部分图像。注意，此处描述的效果不一定受限，并且可以展示本公开中描述的任何效果。附图说明图1是示出基于MPEG-DASH的流分发系统的配置示例的框图；图2是示出在MPD文件中分层排列的结构之间的关系的示例的示图；图3是示出作为实施方式的发送/接收系统的配置示例的框图；图4是示意性地示出发送/接收系统的整个系统的配置示例的示图；图5是用于描述用于从球面捕获图像获得投影图片的平面打包的示图；图6是示出HEVC编码中的SPSNAL单元的结构示例的示图；图7是用于描述切取位置的中心O(p，q)与投影图片的参考点RP(x，y)重合的示图；图8是示出投影图片的划分示例的示图；图9是示出渲染元数据的结构示例的示图；图10是示出图9所示的结构示例中的主要信息的内容的示图；图11是用于描述图9所示的结构示例中的每条信息的示图；图12是示出“viewpoint_grid()”的结构示例的示图；图13是示出图12所示的结构示例中的主要信息的内容的示图；图14是用于描述作为记录的视点的视点网格的示图；图15是用于描述通过视点网格类别分组的示例的示图；图16是示出图15中的分组中的组1至3的用户的显示示例的示图；图17是用于描述通过视点网格类别分组的另一示例的示图；图18是示出图17中的分组中的组1至3的用户的显示示例的示图；图19是用于描述通过视点网格类别分组的另一示例的示图；图20是示出图19中的分组中的组1和2的用户的显示示例的示图；图21是示出作为分发流的MP4流的示例的示图；图22是用于描述使用将每个分区用作方块的方块功能进行编码的示图；图23是示出分区描述符的结构示例的示图；图24是示出图23中的结构示例中的主要信息的内容的示图；图25是示出对应于基于方块的MP4流(基于方块的容器)的MPD文件的描述示例的示图；图26是示出对应于每个分区的MP4流的本文档来自技高网...

【技术保护点】
1.一种发送装置，包括：/n发送单元，被配置为发送通过对宽视角图像的图像数据进行编码而获得的编码流，并且发送包括以组记录的预定数量的视点的信息的渲染元信息。/n

【技术特征摘要】
【国外来华专利技术】20180112 JP 2018-0038601.一种发送装置，包括：
发送单元，被配置为发送通过对宽视角图像的图像数据进行编码而获得的编码流，并且发送包括以组记录的预定数量的视点的信息的渲染元信息。


2.根据权利要求1所述的发送装置，其中，
所述宽视角图像是通过切取球面捕获图像的部分或全部并对切取的球面捕获图像执行平面打包而获得的投影图片。


3.根据权利要求1所述的发送装置，其中，
所述视点的信息包括指示所述视点的位置的方位角和仰角的信息。


4.根据权利要求1所述的发送装置，其中，
所述发送单元将所述渲染元信息插入所述编码流的层和/或包括所述编码流的容器的层中，并发送所述渲染元信息。


5.根据权利要求4所述的发送装置，其中，
所述发送单元还发送包括关于所述编码流的元信息的元文件，并且
所述元文件包括指示在所述编码流的层和/或所述容器的层中插入了所述渲染元信息的标识信息。


6.根据权利要求4所述的发送装置，其中，
所述容器是ISOBMFF，并且
所述发送单元将所述渲染元信息插入moov框中，并发送所述渲染元信息。


7.根据权利要求4所述的发送装置，其中，
所述容器是ISOBMFF，并且
所述发送单元使用与包括通过对所述宽视角图像的图像数据进行编码而获得的所述编码流的轨道不同的轨道，来发送所述渲染元信息。


8.根据权利要求4所述的发送装置，其中，
所述容器是MPEG2-TS，并且
所述发送单元将所述渲染元信息插入到节目映射表中，并发送所述渲染元信息。


9.根据权利要求4所述的发送装置，其中，
所述容器是MMT流，并且
所述发送单元将所述渲染元信息插入到MMT封包表中，并发送所述渲染元信息。


10.根据权利要求1所述的发送装置，其中，
通过对所述宽视角图像的图像数据进行编码而获得的所述编码流是对应于通过划分所述宽视角图像而获得的每个划分区域的编码流。


11.根据权利要求10所述的发送装置，其中，
通过...

【专利技术属性】
技术研发人员：塚越郁夫，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP