发送装置及方法、接收装置及方法及计算机可读存储介质制造方法及图纸

本发明专利技术提供发送装置及方法、接收装置及方法及计算机可读存储介质。发送装置101从接收装置102接收对视频片段的请求(S609)，确定要发送基于视频数据的第一视频片段和第二视频片段中的哪一个，以及发送所确定的视频片段(S610)。所述第二视频片段是与比所述第一视频片段更短的时间段和比所述第一视频片段更宽的空间区域中的一者或二者的视频片段。

Transmitting device and method, receiving device and method and computer readable storage medium

【技术实现步骤摘要】
发送装置及方法、接收装置及方法及计算机可读存储介质
本专利技术涉及一种与虚拟视点图像相关的数据的通信方法。
技术介绍
众所周知，MPEG-DASH和HTTP直播流媒体(HLS)是执行诸如视频和音频等的媒体内容的流媒体分发的通信协议。在这些通信协议中，服务器(发送装置)准备媒体片段和描述性数据。例如，媒体片段是视频数据以特定时间段为单位划分的视频片段，以及音频数据以基本相同方式划分的音频片段。描述性数据是指针对每个媒体片段的数据，包括用于请求媒体片段的统一资源定位器(URL)。接收装置(客户端)从发送装置获取描述性数据，并基于描述性数据中描述的URL有选择地获取媒体片段。此外，如日本特开2015-187797号公报中所述，图像是指在其上可反映用户在虚拟视点上所执行操作的图像(以下简称虚拟视点图像)。在服务器向客户端提供整个虚拟空间数据的情况下，客户端可自由操作虚拟视点；然而，在这种情况下，数据发送量会增加。相反地，在服务器只提供与客户端所指定虚拟视点对应的数据的情况下，可以减少数据发送量，但通信交互变少。也就是说，根据对客户端侧的虚拟视点执行的操作，可能很难及时执行显示图像的切换。
技术实现思路
本专利技术旨在解决上述问题，能够抑制数据发送量的增加，并改善对虚拟视点上所执行操作的跟踪。根据本专利技术的第一方面，发送基于视频数据的视频片段的发送装置包括：接收单元，其构造为从接收装置接收对视频片段的请求；确定单元，其构造为确定将第一视频片段和第二视频片段中的哪一个提供给接收装置，由此，发送接收单元接收到的请求；发送单元，其构造为确定基于视频数据的第一视频片段和第二视频片段中的哪一个要被发送给所述接收装置。第二视频片段是与比第一视频片段更短的时间段和比第一视频片段更宽的空间区域中的一者或二者对应的视频片段。从以下参考附图的实施例的描述本专利技术其它特征变得明显。附图说明图1是例示系统的构造的示例。图2是例示发送装置的硬件构造的示例的框图。图3是例示发送装置功能构造的示例的框图。图4是例示接收装置的硬件构造的示例的框图。图5是例示接收装置的功能构造的示例的框图。图6是描述根据第一实施例的发送装置的操作的流程图。图7是描述通常时间视频片段和视点改变时间视频片段之间差异的图。图8是描述根据第一实施例的接收装置的操作的流程图。图9是描述图8中的S900的细节的流程图。图10A和图10B例示了在三维空间中表达视点信息的方式。图11是描述用于获取视点信息的过程的图。图12是描述根据第二实施例的发送装置的操作的流程图。图13是描述根据第二实施例的接收装置的操作的流程图。具体实施方式下文中将参照附图，依据基于实施例详细描述本专利技术。应当注意，以下实施例中描述的构造仅是示例，本专利技术并不受限于所描述的构造。<第一实施例>图1是例示根据本实施例的通信系统的示例的图。发送装置101用作基于视频数据提供视频片段的服务器装置。发送装置101可通过例如数码相机、数码摄像机、网络摄像机、投影仪、智能手机或个人计算机(PC)实现。应当注意，在本实施例中，将主要描述发送装置101发送视频片段的示例；然而，发送装置101可以将例如包括音频片段和初始化片段的各种类型的媒体片段发送给接收装置102。接收装置102用作接收视频片段并回放视频的客户端装置。例如，接收装置102可通过具有显示功能和通信功能的数字电视、平板电脑、智能手机、PC或头戴式显示器(HMD)实现。网络103是用于将发送装置101和接收装置102连接的通信路径。例如，网络103可以是局域网(LAN)、广域网(WAN)或者是公共移动通信网络的基于长期演进(LTE)的网络，或者也可以是这些网络的组合。图2是例示发送装置101的硬件构造的示例的图。例如，系统总线200将中央处理器(CPU)201、只读存储器(ROM)202、随机存取存储器(RAM)203和通信接口204相互连接，并且是各种类型数据的传送路径。CPU201对各种硬件组件进行中央控制，并控制整个发送装置101。发送装置101可以具有多个CPU201。例如，ROM202存储由CPU201执行的控制程序。RAM203用作例如CPU201的主存储器或工作区，并临时存储例如程序、数据以及接收到的包数据。通信接口204是用于经由网络103发送和接收通信包的接口，并且是，例如，无线LAN接口、有线LAN接口或公共移动通信接口。例如，存储设备205是硬盘驱动器(HDD)或固态驱动器(SSD)。在本实施例中，将描述存储设备205位于发送装置101外部的示例；然而，存储设备205可以内置于发送装置101中。在本实施例中，存储设备205存储用于生成虚拟视点图像的材料数据。例如，材料数据是多视点图像数据。多视点图像数据是通过同时从多个不同方向拍摄要成像主题(例如足球场)的图像而获取的图像数据。应当注意，材料数据并不限于多视点图像数据，并且可以是例如对象的三维形状数据和纹理数据(texture)的组合(例如，在足球比赛是要成像主题的情况下的球员和球)。三维形状数据和纹理数据可以通过现有的方法(例如，可视外壳(VisualHull))从多视点图像数据生成。这样，只要存储在存储设备205中的材料数据可用于生成虚拟视点图像，材料数据的格式就不受特别限制。此外，存储在存储设备205中的材料数据可以从图像拍摄装置实时获取，或也可以是预先生成的数据。下面，将主要描述材料数据是多视点图像数据情况的示例。图3是例示发送装置101的功能构造的示例的框图。应当注意，在本实施例中，以下各种功能模块的功能将由CPU201执行存储在ROM202和RAM203中的软件程序来实现。应当注意，功能模块的一部分或全部可以经由硬件来实现。通信单元301对通过通信接口204发送和接收的通信包进行协议处理。通信单元301将从接收装置102接收的各种请求包传送到请求处理单元302，并将由描述性数据生成单元303生成的描述性数据和由片段确定单元308确定的视频片段发送给接收装置102。在本实施例中，将描述使用传输控制协议(TCP)/Internet协议(IP)和超文本传输协议(HTTP)的示例。然而，也可以使用与这些通信协议不同的通信协议。请求处理单元302处理从接收装置102接收的请求包。在本实施例中，有两种类型的请求包，它们是用于请求描述性数据的描述性数据请求包和用于请求视频片段的片段请求包。描述性数据描述关于请求了视频片段的位置的信息(例如，URL或URI)。URI是统一资源标识符的缩写。视频片段是通过对视频数据进行时间和空间上的分割而得到的数据。也就是，根据本实施例的发送装置101提供与三维空间对应的视频数据中的与虚拟视点(虚拟照相机)的位置和方向对应的空间的预定时间段的视频数据，作为视频片段。在接收到描述性数据请求包的情况下，请求处理单元302命令描述性数据生成单元3本文档来自技高网...

【技术保护点】
1.一种用于发送基于视频数据的视频片段的发送装置，包括：/n接收单元，其被构造为从接收装置接收对视频片段的请求；/n确定单元，其被构造为确定基于视频数据的第一视频片段和第二视频片段中的哪一个要被发送给所述接收装置；以及/n发送单元，其被构造为向所述接收装置发送由所述确定单元确定的视频片段，/n其中，所述第二视频片段是与比所述第一视频片段更短的时间段和比所述第一视频片段更宽的空间区域中的任一者或二者对应的视频片段。/n

【技术特征摘要】
20180625 JP 2018-1201881.一种用于发送基于视频数据的视频片段的发送装置，包括：
接收单元，其被构造为从接收装置接收对视频片段的请求；
确定单元，其被构造为确定基于视频数据的第一视频片段和第二视频片段中的哪一个要被发送给所述接收装置；以及
发送单元，其被构造为向所述接收装置发送由所述确定单元确定的视频片段，
其中，所述第二视频片段是与比所述第一视频片段更短的时间段和比所述第一视频片段更宽的空间区域中的任一者或二者对应的视频片段。


2.根据权利要求1所述的发送装置，其中，对应于所述第二视频片段的时间段包含在对应于所述第一视频片段的时间段中。


3.根据权利要求1所述的发送装置，所述发送装置还包括：
提供单元，其被构造为响应于来自所述接收装置的对描述性数据的请求，提供了其中描述有关于位置的信息的描述性数据，其中从所述位置请求视频片段。


4.根据权利要求3所述的发送装置，其中，在所述描述性数据中描述关于所述第一视频片段的位置和第二视频片段的位置的信息。


5.根据权利要求3所述的发送装置，其中，在所述描述性数据中描述关于所述第一视频片段和第二视频片段中的任一者的位置的信息。


6.根据权利要求3所述的发送装置，其中关于位置的信息是统一资源标识符(URI)或统一资源定位器(URL)。


7.根据权利要求5所述的发送装置，其中，
所述接收单元从所述接收装置接收关于虚拟视点的视点信息，并且
所述确定单元基于接收的视点信息，确定关于所述第一视频片段的位置和第二视频片段的位置当中的哪个位置要在描述性数据中描述的信息。


8.根据权利要求1所述的发送装置，其中
所述接收单元从所述接收装置接收关于虚拟视点的视点信息，并且
所述确定单元基于接收的视点信息确定将所述第一视频片段和第二视频片段中的哪一个发送给所述接收装置。


9.根据权利要求8所述的发送装置，其中，
在预定时间段内虚拟视点的移动距离小于阈值的情况下，所述确定单元确定所述第一视频片段是要提供的视频片段，以及
在所述预定时间段内虚拟视点的移动距离大于或等于阈值的情况下，所述确定单元确定所述第二视频片段是要提供的视频片段。


10.根据权利要求8所述的发送装置，其中，
在第一时间虚拟视点的位置与在第二时间虚拟视点的位置之间的差异小于阈值的情况下，所述确定单元确定所述第一视频片段是要提供的视频片段，以及
在第一时间虚拟视点的位置...

【专利技术属性】
技术研发人员：杉本骏，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP