发送设备、发送方法、接收设备和接收方法技术

本发明专利技术提高了虚拟现实(VR)再现时的显示性能。与宽视角图像的每个分割区域(每个分区)相对应的编码流与关于每个分割区域的像素数和帧速率的信息一起发送。在接收侧，基于解码能力和关于宽视角图像的每个分割区域的像素数和帧速率的信息，可以容易地将对应于显示区域的要解码的分割区域的数量设置为最大可解码限制，并且可以尽可能地减少由于显示区域的移位而引起的切换编码流的频率，使得可以提高VR再现时的显示性能。

Transmitting device, transmitting method, receiving device and receiving method

【技术实现步骤摘要】
【国外来华专利技术】发送设备、发送方法、接收设备和接收方法
本技术涉及一种发送设备、发送方法、接收设备和接收方法，尤其涉及一种用于发送宽视角图像的发送设备等。
技术介绍
近来，考虑传送虚拟现实(VR)内容。例如，专利文献1描述了在发送侧，球形捕获图像被平面包装，以获得作为宽视角图像的投影图片，并且投影图片的编码图像数据发送到接收侧，使得在接收侧执行VR再现。现有技术文献专利文献专利文献1：日本专利公开号2016-194784
技术实现思路
技术问题VR再现的特点在于观众交互式显示的实现。如果投影图片的图像数据由一个编码流传送，则接收侧的解码负载高。可以想象分割投影图片并发送对应于各个分割区域的编码流。在接收侧，只需要解码对应于显示区域的部分分割区域的编码流，并且可以防止解码负载的增加。在这种情况下，随着显示区域的移动，要解码的编码流需要切换。然而，在切换编码流时，存在可能由用户的运动和显示器之间的不一致引起显示性能的劣化的可能性。因此，需要最小化随着显示区域的移动而切换编码流的频率。本技术的目的在于实现VR再现时的显示性能的改善。问题解决方案本技术的概念在于一种发送设备，该发送设备包括发送部，其被配置为发送与宽视角图像的每个分割区域相对应的编码流，并且发送每个分割区域的像素数和帧速率的信息。在本技术中，发送部发送对应于宽视角图像的每个分割区域(每个分区)的编码流，并且发送每个分割区域的像素数和帧速率的信息。例如，宽视角图像可以包括通过切除和平面包装球形捕获图像的部分或全部而获得的投影图片。例如，与宽视角图像的每个分割区域相对应的编码流可以被分层编码。在这种情况下，在接收侧，可以容易地执行时间部分解码。此外，例如，发送部可以连同包括编码流的容器一起发送分割区域的像素数和帧速率的信息。在这种情况下，可以在不解码编码流的情况下获取分割区域的像素数和帧速率的信息。例如，可以通过单独编码宽视角图像的分割区域，获得与宽视角图像的每个分割区域相对应的编码流。此外，例如，可以通过执行使用图块(tile)函数的编码来获得与图像的每个分割区域相对应的编码流，该图块函数用于将宽视角图像的每个分割区域转换成图块。在这种情况下，分割区域的每个编码流可以被独立解码。例如，发送部可以发送与宽视角图像的各个分割区域中的全部相对应的编码流。或者，发送部可以发送与宽视角图像的各个分割区域当中的所请求的分割区域相对应的编码流。以这种方式，在本技术中，发送宽视角图像的每个分割区域的像素数和帧率的信息。因此，在接收侧，基于解码能力以及宽视角图像的分割区域的像素数和帧率的信息，可以容易地将与显示区域相对应的要解码的分割区域的数量设置为可解码的最大值。因此，随着显示区域的移动，编码流的切换频率可以尽可能地降低，并且可以实现VR再现中显示性能的改善。此外，本技术的另一个概念在于一种接收设备，该接收设备包括控制部，其被配置为控制用于从宽视角图像的各个分割区域当中解码与显示区域相对应的预定数量的分割区域的编码流以获得显示区域的图像数据的处理、以及用于基于解码能力和与对应于宽视角图像的各个分割区域的每个编码流相关联的像素数和帧速率的信息来计算预定数量的值的处理。在本技术中，由控制部控制用于从宽视角图像的各个分割区域当中解码与显示区域相对应的预定数量的分割区域的编码流以获得显示区域的图像数据的处理。此外，由控制部控制用于基于解码能力和与对应于宽视角图像的各个分割区域的每个编码流相关联的像素数和帧速率的信息来计算预定数量的值的处理。例如，控制部可以还控制用于请求分发服务器发送预定数量的分割区域的编码流并且从分发服务器接收预定数量的分割区域的编码流的处理。以这种方式，在本技术中，基于解码能力以及分割区域的像素数和帧速率的信息，计算对应于显示区域的要解码的分割区域的数量。因此，可以容易地将对应于显示区域的要解码的分割区域的数量设置为最大，并且可以尽可能地减少随着显示区域的移动而切换编码流的频率，从而可以提高VR再现中的显示性能。应当注意，在本技术中，例如，控制部可以进一步控制用于预测显示区域超出解码范围并切换解码范围的处理。这使得即使在显示区域移动的情况下，也可以执行适合于移动目的地的显示。此外，在这种情况下，例如，控制部可以预测显示区域超出解码范围，并且将解码方法切换到时间部分解码以扩大解码范围，并且可以进一步控制用于预测显示区域收敛到扩大之前的解码范围并且将解码方法切换为时间全解码以缩小解码范围的处理。在这种情况下，通过将解码方法切换到时间部分解码，即使解码范围扩展，解码也变得可能。此外，通过扩展解码范围，可以降低相对于不同于预测的显示区域(即，解码范围)的移动的切换编码流的频率，并且可以进一步提高VR再现时的显示性能。专利技术的有益效果利用本技术，可以实现VR再现时的显示性能的改善。应当注意，此处描述的效果不一定是限制性的，并且可以是本公开中描述的任何有利效果。附图说明图1是描述基于MPEG-DASH的流传送系统的配置示例的框图；图2是描绘在MPD文件中分层设置的相应结构的关系的示例的视图；图3是描述作为实施方式的发送和接收系统的配置示例的框图；图4是示意性地描绘整个发送和接收系统的配置示例的视图；图5是示出用于从球形捕获图像获得投影图片的平面包装的视图；图6是描绘投影图片的分割示例的视图；图7是示出分层编码的视图；图8是示出使用图块函数将每个分区转换成图块的编码的视图；图9是描绘分区描述符的结构的示例的视图；图10是描述分区描述符的结构示例中的主要信息的内容的视图；图11是描绘对应于基于图块的MP4流(基于图块的容器)的MPD文件的描述的示例的视图；图12是描绘与每个分区的MP4流相对应的MPD文件的描述的示例的视图；图13是示意性地描绘在执行使用用于将每个分区转换成图块的图块函数的编码的情况下的MP4流(轨道)的示例的视图；图14是示意性地描绘在每个分区被单独编码的情况下的MP4流(轨道)的示例的视图；图15是描绘8K/60Hz级的投影图片除以1920×1080(全高清)的分区大小的示例的视图；图16是描绘8K/60Hz级的投影图片除以1280×960(4VGA)的分区大小的示例的视图；图17是描绘超过8K/60Hz的投影图片除以1280×960(4VGA)的分区大小的示例的视图；图18是描绘8K/60Hz级id的投影图片除以1280×720(720pHD)的分区大小的示例的视图；图19是根据“等级5.1”解码器中的分区大小共同描述可解码分区的最大数量的视图；图20是根据“等级5.2”解码器中的分区大小共同描述可解码分区的最大数量的视图；图21是描绘每个分区的像素数量不一致的情况的视图；图22是描绘在HMD用作显示设备的情况下显示区域的移动控制的示例的视图；本文档来自技高网...

【技术保护点】
1.一种发送设备，包括：/n发送部，被配置为发送与宽视角图像的每个分割区域相对应的编码流，并且发送每个所述分割区域的像素数和帧速率的信息。/n

【技术特征摘要】
【国外来华专利技术】20171130 JP 2017-2312661.一种发送设备，包括：
发送部，被配置为发送与宽视角图像的每个分割区域相对应的编码流，并且发送每个所述分割区域的像素数和帧速率的信息。


2.根据权利要求1所述的发送设备，其中，
所述宽视角图像包括通过切除和平面包装球形捕获图像的部分或全部而获得的投影图片。


3.根据权利要求1所述的发送设备，其中，
通过单独编码所述宽视角图像的每个所述分割区域，获得与所述宽视角图像的每个所述分割区域相对应的所述编码流。


4.根据权利要求1所述的发送设备，其中，
通过执行使用用于将所述宽视角图像的每个所述分割区域转换成图块的图块函数的编码，来获得与所述宽视角图像的每个所述分割区域相对应的所述编码流。


5.根据权利要求1所述的发送设备，其中，
所述发送部还通过在包括所述编码流的容器中包含所述分割区域的所述像素数和所述帧速率的信息来进行发送。


6.根据权利要求1所述的发送设备，其中，
所述发送部发送与所述宽视角图像的各个所述分割区域的全部相对应的编码流。


7.根据权利要求1所述的发送设备，其中，
所述发送部发送与所述宽视角图像的各个所述分割区域当中的所请求的分割区域相对应的编码流。


8.根据权利要求1所述的发送设备，其中，
与所述宽视角图像的每个所述分割区域相对应的所述编码流被分层编码。


9.一种发送方法，包括：
发送步骤，由发送部发送...

【专利技术属性】
技术研发人员：塚越郁夫，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP