传输控制方法技术

本申请提供一种VR全景视频播放的方法、设备和系统。该方法包括：服务器生成高质量分块视频和低质量全景视频。客户端获取用户视角信息，并将所述视角信息添加在请求信息中发送给服务器。服务器根据所述视角信息计算用户视角范围区域(Field of View，FOV)对应子块信息,并根据所述FOV对应子块信息确定客户端所需的高质量视频子块，并将所述高质量视频子块以单播形式发送给客户端，将所述低质量全景视频以组播的方式发送给客户端。客户端将接收到的视频信息进行组合，并播放给用户。

Transmission control method

【技术实现步骤摘要】
传输控制方法
本专利技术涉及一种视频播放的
，特别是涉及一种VR全景视频播放的方法、设备和系统。
技术介绍
随着数字图像技术的发展，全景视频的VR(VirtualReality,虚拟现实)技术以真实感强，提供全景浸入式体验等特点得到了日益广泛的关注。全景视频由一系列全景图像组成，而全景图像通常由多个相机同时对多个角度进行拍摄，进而通过拼接算法将同一时间的多个角度图像拼接而成。由于全景图像展现的是三维空间的球面内容，而图像存储是以二维坐标的方式存储，所以全景图像通常需要通过一定的投影方式，如经纬图投影，将三维空间坐标转换为二维空间坐标进而进行存储。全景视频允许多个用户从不同角度去观看视频，在任意时刻，每一个用户的给定视角中心点和视角范围都会覆盖视频中的一部分区域，该区域被称为该用户视角范围区域(FOV,FieldofView)。全景视频落在FOV这部分区域的内容将被呈现给用户。全景视频可通过一些媒体传输技术由服务器端传输至客户端，如DASH(DynamicAdaptiveStreamingthroughHTTP)或者是RTP(Real-TimeTransmitProtocol)。因为任意时刻客户端仅展现FOV区域内容给用户，为保障FOV区域的观看质量，同时减少网络传输数据量，全景视频传输通常以高质量传输FOV区域的图像，以低质量的方式传输其它区域的图像。其中，其他区域低质量视频的作用在于，当用户的观看视角改变时，由于高清视频响应和传输会存在延迟，在接收高清视频之前先以低清视频呈现给用户，避免画面中断，影响沉浸感。在现有技术中，服务器会预先准备好分块的全景视频内容以及相关的描述文件，多个客户端会根据描述文件和用户的视角计算各自FOV区域对应哪些子块的视频内容，并请求对应的数据。服务器根据客户端的请求应答相应的数据，以单播的形式分别向每一个客户端返回对应子块的高清视频和其他区域的低清视频。然而，网络带宽有限，当较多用户同时观看同一VR全景视频时，传输带宽负荷较大，容易出现网络拥挤、客户端数据传输延迟等问题，最终导致画面延迟或中断，影响用户体验。此外，目前的VR客户端设备处理资源非常有限，频繁计算用户视角对应的高清视频子块比较耗费资源，尤其是当视频区域划分比较复杂时，客户端运算负担更为明显，可能会导致客户端设备卡顿甚至死机。
技术实现思路
本申请提供了一种VR视频传输方法以及应用该方法的装置，通过运用组播手段减少传输带宽负荷。此外，还将用户FOV对应子块的计算在服务器端进行，节省客户端的运算资源。第一方面，本申请提供一种VR全景视频播放客户端。所述客户端包括主功能模块和显示模块，其中，主功能模块用于获取并向服务器发送用户视频信息，所述视频信息被用来确定用户视角范围区域对应的视频内容。主功能模块还用于接收所述服务器发送的单播的第一视频码流，将其解码得到第一视频数据。所述第一视频数据为所述用户视角范围区域对应的视频内容。此外，主功能模块还用于接收所述服务器发送的组播的第二视频码流，解码得到第二视频数据，所述第二视频数据包括全景视频内容。主功能模块将所述第一视频数据替代所述第二视频数据中与FOV内视频内容对应的部分，得到图像信息并发送给显示模块。所述显示模块接收并显示所述图像信息，将图像信息呈现给用户。与现有技术相比，所述VR全景视频播放客户端以组播形式接收全景视频，节省了传输带宽，降低了带宽负荷；同时，所述VR全景视频播放客户端不再承担FOV区域对应视频内容的计算过程，节省了宝贵的客户端运算资源。可选的，所述主功能模块包括用户视角信息获取单元、数据发送单元、第一数据接收单元、第一数据解码单元、第二数据接收单元、第二数据解码单元和图像处理单元。其中，用户视角信息获取单元用于收集用户视角信息，所述用户视角信息可以实现为用户的视觉中心点信息和视觉覆盖角度信息。数据发送单元用于将所述用户视角信息发送给服务器，以使服务器通过所述用户视角信息确定第一视频数据。第一数据接收单元用于接收服务器发送的单播的第一视频码流，并发送给第一数据解码单元；第二数据接收单元用于接收服务器发送的组播的第二视频码流，并发送给第二数据解码单元。所述第一数据解码单元用于解码所述第一视频码流得到第一视频数据，所述第二数据解码单元用于解码所述第二视频码流得到第二视频数据。所述第一数据接收单元和所述第二数据接收单元可以被实现为一个数据接收模块，所述第一数据解码单元和所述第二数据解码单元也可以被实现为一个数据解码单元。所述图像处理单元用于将所述第一视频数据替代所述第二视频数据中与FOV内视频内容相应的视频信息，得到最终需要呈现给用户的图像。可选的，所述第一视频数据的图像质量要高于所述第二视频数据的图像质量。具体的，可以体现为第一视频数据图像的压缩码率高于第二视频数据图像的压缩码率，或者第一视频数据图像的信噪比高于第二视频数据图像的信噪比。可选的，所述全景视频内容被分为多个子块，所述FOV内视频内容是指FOV所覆盖到的子块的视频内容。所述被覆盖到的子块包括仅有部分区域被FOV覆盖到的子块。可选的，所述用户视角信息包括视觉中心点信息和视觉覆盖角度信息，所述服务器通过所述视觉中心点信息和视觉覆盖角度信息确定用户视角的具体覆盖范围，进而通过用户视角的具体覆盖范围确定第一视频数据。第二方面，本申请提供一种VR全景视频播放服务器。所述服务器包括图像生成模块，数据接收模块，子块信息计算模块，第一视频数据获取模块，第一数据发送模块，第二视频数据获取模块和第二数据发送模块。其中，图像生成模块用于生成VR全景视频内容，且所述全景视频内容被分为若干个子块。所述数据接收模块用于接收用户视角信息。所述第一视频数据获取模块用于根据所述FOV对应子块信息从所述全景视频中提取对应子块并编码为第一视频码流。所述第一数据发送模块用于以单播形式向客户端发送第一视频码流。所述第二视频数据获取模块用于提取全景视频并编码为第二视频码流。第二数据发送模块用于以组播形式向客户端发送所述第二视频码流。与现有技术相比，所述VR全景视频播放服务器以组播形式发送全景视频，节省了传输带宽，降低了带宽负荷；同时，所述VR全景视频播放服务器承担了FOV区域对应视频内容的计算过程，节省了宝贵的客户端运算资源。可选的，所述第一数据发送模块和所述第二数据发送模块可以实现为一个模块。所述第一视频数据获取模块和所述第二视频数据获取模块也可以实现为一个模块。可选的，所述第一视频码流的图像质量要高于所述第二视频码流的图像质量。具体的，可以体现为第一视频码流图像的压缩码率高于第二视频码流图像的压缩码率，或者第一视频码流图像的信噪比高于第二视频码流图像的信噪比。可选的，所述用户视角信息包括视觉中心点信息和视觉覆盖角度信息，所述服务器通过所述视觉中心点信息和视觉覆盖角度信息确定用户视角的具体覆盖范围，进而通过用户视角的具体覆盖范围和全景视频分块方式确定FOV对应子块信息。第三方面，本申请提供一种VR全景视频播放客户端。所述客户端包括传感器、处理器、通信端口和显示器。所述传感器用于收集用户视角信息并发送给所述处理器。所述处理器用于通过所述端口发送所述用户视角信息。所述用户视角信息用于确定第一视频数据，所述第一视频数据对应用户视角本文档来自技高网...

【技术保护点】
1.一种VR全景视频播放客户端，其特征在于，包括主功能模块和显示模块：所述主功能模块用于收集并向服务器发送用户视角信息，所述用户视角信息用于确定第一视频数据,所述第一视频数据对应用户视角范围区域FOV内视频内容；接收服务器发送的单播的第一视频码流，解码所述第一视频码流得到第一视频数据；接收服务器发送的组播的第二视频码流，解码所述第二视频码流得到第二视频数据，所述第二视频数据包括全景视频内容；将所述第一视频数据替代所述第二视频数据中与FOV内视频内容对应的部分，得到图像信息，并发送给所述显示模块；所述显示模块用于接收并显示所述图像信息。

【技术特征摘要】
1.一种VR全景视频播放客户端，其特征在于，包括主功能模块和显示模块：所述主功能模块用于收集并向服务器发送用户视角信息，所述用户视角信息用于确定第一视频数据,所述第一视频数据对应用户视角范围区域FOV内视频内容；接收服务器发送的单播的第一视频码流，解码所述第一视频码流得到第一视频数据；接收服务器发送的组播的第二视频码流，解码所述第二视频码流得到第二视频数据，所述第二视频数据包括全景视频内容；将所述第一视频数据替代所述第二视频数据中与FOV内视频内容对应的部分，得到图像信息，并发送给所述显示模块；所述显示模块用于接收并显示所述图像信息。2.如权利要求1所述的VR全景视频播放客户端，其特征在于，所述主功能模块包括：用户视角信息获取单元，用于收集用户视角信息；数据发送单元，用于将所述用户视角信息发送给服务器，所述用户视角信息用于确定所述第一视频数据；第一数据接收单元，用于接收服务器发送的单播的第一视频码流，并发送给第一数据解码单元；第一数据解码单元，用于解码所述第一视频码流得到第一视频数据，并将所述第一视频数据发送给图像处理单元；第二数据接收单元，用于接收服务器发送的组播的第二视频码流，并发送给第二数据解码单元；第二数据解码单元，用于解码所述第二视频码流得到所述第二视频数据，并将所述第二视频数据发送给图像处理单元；图像处理单元，用于将所述第一视频数据替代所述第二视频数据中的与FOV内视频内容相应的视频信息，得到图像信息，并将所述图像信息发送给显示模块。3.如权利要求1或2所述的VR全景视频播放客户端，其特征在于，所述第一视频数据的图像质量高于所述第二视频数据的图像质量。4.如权利要求1、2或3所述的VR全景视频播放客户端，其特征在于，所述用户视角信息包括视觉中心点信息和视觉覆盖角度信息；所述用户视角信息用于确定第一视频数据具体为：所述视觉中心点信息和所述视觉覆盖角度信息用于确定用户视角的具体覆盖范围，所述用户的视角具体覆盖范围用于确定第一视频数据。5.如权利要求1-4中任意一项所述的VR全景视频播放客户端，其特征在于，所述全景视频内容分为多个子块，所述FOV内视频内容指FOV所覆盖到的子块的视频内容。6.如权利要求1-5中任意一项所述的VR全景视频播放客户端，其特征在于，所述第一视频数据由所述服务器根据所述用户视角信息获得。7.一种VR全景视频播放服务器，其特征在于，所述服务器包括：图像生成模块，用于生成VR全景视频内容，且所述全景视频被分为若干个子块；数据接收模块，用于接收用户视角信息；子块信息计算模块，用于根据全景视频分块信息和所述用户视角信息确定FOV对应子块信息，所述FOV对应子块信息描述了所述用户视角所覆盖的子块；第一视频数据获取模块，用于根据所述FOV对应子块信息从所述全景视频中提取与所述子块信息对应的子块，并编码为第一视频码流；第一数据发送模块，用于以单播形式向客户端发送所述第一视频码流；第二视频数据获取模块，用于提取全景视频并编码为第二视频码流；第二数据发送模块，用于以组播形式向客户端发送所述第二视频码流。8.如权利要求7所述的VR全景视频播放服务器，其特征在于，所述第一视频数据的图像质量高于所述第二视频数据的图像质量。9.如权利要求7或8所述的VR全景视频播放服务器，其特征在于，所述用户视角信息包括视觉中心点信息和视觉覆盖角度信息；子块信息计算模块用于根据所述视觉中心点信息和所述视觉覆盖角度信息确定用户视角的具体覆盖范围，并根据全景视频分块方式和所述用户视角的具体覆盖范围确定FOV对应子块信息。10.一种VR全景视频播放客户端，其特征在于，包括传感器、处理器、通信端口和显示器，其中：所述传感器用于收集用户视角信息，并发送给所述处理器；所述处理器用于通过所述端口发送所述用户视角信息，所述用户视角信息用于确定第一视频数据，所述第一视频数据对应用户视角范围区域FOV内的视频内容；通过所述通信端口接收服务器发送的单播的第一视频码流，解码所述第一视频码流得到第一视频数据；通过所述通信端口接收服务器发送的组播的第二视频码流，解码所述第二视频码流得到第二视频数据，所述第二视频数据包括全景视频内容；将所述第一视频数据替代所述第二视频数据中与FOV内视频内容对应的部分，得到图像信息，并发送给所述显示器；所述通信端口，用于与服务器收发信息；所述显示器，用于显示所述图像信息。11.如权利要求10所述的VR全景视频播放客户端，其特征在于，所述第一视频数据的图像质量高...

【专利技术属性】
技术研发人员：范宇群，邸佩云，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44