一种视频播放的控制方法及装置制造方法及图纸

本发明专利技术提供了一种视频播放的控制方法及装置，其中应用于服务器端的控制方法包括：接收用户的视角方向数据；根据视角方向数据，利用预先确定的三维映射模型，获取在三维映射模型中与用户的可视角不相关的区域的坐标范围；根据三维映射模型中确定的坐标范围，确定待输出的全景视频图像中与坐标范围对应的丢弃图像区域；将待输出的全景视频图像中除丢弃图像区域之外的剩余区域的图像数据，传输至视频图像输出终端。本发明专利技术实施例解决了现有技术中在进行全景视频播放时存在的要么消耗较大以及要么视频卡顿较为严重的问题。

Method and device for controlling video playback

The present invention provides a control method and a device for video playback, including control method which applied to the server receives user data from the perspective of direction; according to the directions of view data, using three-dimensional mapping model is predetermined, obtained in the three-dimensional model with user's visual angle is not related to the regional coordinate range; according to the three-dimensional model of the coordinate range, determine the panoramic video image to be output in the range of the corresponding image coordinates and discarded area; panoramic image to be output in addition to the image data discarding the remaining area outside the area of the image, is transmitted to the video output terminal. The embodiment of the invention solves the problems existing in panoramic video playback or consumption, or video Caton serious problems.

【技术实现步骤摘要】

本专利技术涉及多媒体
，尤其涉及一种视频播放的控制方法及装置。
技术介绍
在进行虚拟现实(VR，VirtualReality)或者360度全景视频直播时，直播画面是可以根据用户的视角相应改变的。但是，通常情况下，用户在一个时刻观看的画面只有一定角度，该角度一般位于水平视场角和垂直视场角在80至110度的范围内，也就是说，用户在一个时刻观看的画面只占360度全景图像中很少一部分，所占部分大概为360度全景图像的1/8至1/6，而360度图像中其他部分图像在同一时刻则是不可见的。目前，现有技术中通常采用如下两种方式进行VR或360度全景直播：其一，服务器将场景根据算法拼接出360度全景视频图像，通过视频编码将视频数据传输到客户端，客户端解码后将360度图像进行球面映射，将图像贴图到球上，然后根据陀螺仪数据(用户的视角方向数据)来控制显示视频图像，即控制显示视场角范围内的图像。但是，该种方式消耗较大，存在360度全景视频图像的分辨率大、编码功耗大、渲染摄像机个数多、拼接算法计算量大以及传输码率大等问题。其二，客户端将陀螺仪数据发送到服务器，服务器根据陀螺仪数据只渲染视场角内的图像，并将图像编码发送至客户端，由客户端直接显示视场角内的图像。但是，该种方式由于陀螺仪数据从客户端到服务器，以及图像编码后从服务器到客户端的时间较长，从而容易导致视场角发生变化时，客户端得到的视频卡顿严重的问题。综上所述，现有技术中在播放全景视频图像时，存在着要么消耗较大，要么视频卡顿较为严重的问题。
技术实现思路
本专利技术的目的是提供一种视频播放的控制方法及装置，以解决现有技术中在进行全景视频播放时存在的要么消耗较大以及要么视频卡顿较为严重的问题。第一方面，本专利技术实施例提供一种视频播放的控制方法，应用于服务器端，包括：接收用户的视角方向数据；根据所述视角方向数据，利用预先确定的三维映射模型，获取在三维映射模型中与所述用户的可视角不相关的区域的坐标范围；根据三维映射模型中确定的所述坐标范围，确定待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域；将待输出的全景视频图像中除所述丢弃图像区域之外的剩余区域的图像数据，传输至视频图像输出终端。可选地，所述根据所述视角方向数据，利用预先确定的三维映射模型，获取在三维映射模型中与所述用户的可视角不相关的区域的坐标范围的步骤，包括：根据所述视角方向数据，确定用户的当前视点在所述三维映射模型上的位置坐标；根据所述当前视点在所述三维映射模型上的位置坐标，确定在所述三维映射模型上的图像最低相关点的位置坐标，其中，所述图像最低相关点为所述当前视点与所述三维映射模型的中心点的连线的延长线与所述三维映射模型的交点；根据所述图像最低相关点的位置坐标，获取在三维映射模型中与所述用户的可视角不相关的区域的坐标范围。可选地，所述根据所述图像最低相关点的位置坐标，获取在三维映射模型中与所述用户的可视角不相关的区域的坐标范围的步骤，包括：根据用户在所述三维映射模型上的可视角和所述图像最低相关点的位置坐标，确定三维映射模型中与所述用户的可视角不相关的区域的坐标范围；或者，根据所述图像最低相关点的位置坐标和预先设定的偏移范围，确定三维映射模型中与所述用户的可视角不相关的区域的坐标范围。可选地，所述三维映射模型包括三维球体模型；所述根据三维映射模型中确定的所述坐标范围，确定待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的步骤，包括：根据所述全景视频图像与所述三维球体模型的映射关系和所述坐标范围，确定待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域。可选地，所述图像最低相关点的位置坐标包括图像最低相关点的纬度和经度；所述坐标范围包括：以所述图像最低相关点为中心的纬度坐标范围和经度坐标范围；所述根据所述全景视频图像与所述三维球体模型的映射关系和所述坐标范围，确定待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的步骤，包括：根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的纬度以及所述纬度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的高度范围；根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的经度以及所述经度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的宽度范围。可选地，所述全景视频图像为矩形图像或椭圆形图像；若所述全景视频图像与所述三维球体模型的映射关系包括：所述全景视频图像的高度映射为所述三维球体模型的直径，则：所述根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的纬度以及所述纬度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的高度范围的步骤，包括：当α+β/2<＝π/2并且α-β/2>＝-π/2时：通过如下公式得到所述丢弃图像区域的高度范围的上边界值：通过如下公式得到所述丢弃图像区域的高度范围的下边界值：当α+β/2>π/2时:通过如下公式得到所述丢弃图像区域的高度范围的上边界值：T11＝0；通过如下公式得到所述丢弃图像区域的高度范围的下边界值：当α-β/2<-π/2时:通过如下公式得到所述丢弃图像区域的高度范围的上边界值：通过如下公式得到所述丢弃图像区域的高度范围的下边界值：B12＝H和/或，若所述全景视频图像与所述三维球体模型的映射关系包括：所述全景视频图像的高度映射为所述三维球体模型的经度圆周的半周长，则：所述根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的纬度以及所述纬度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的高度范围的步骤，包括：当α+β/2<＝π/2并且α-β/2>＝-π/2时：通过如下公式得到所述丢弃图像区域的高度范围的上边界值：通过如下公式得到所述丢弃图像区域的高度范围的下边界值：当α+β/2>π/2时:通过如下公式得到所述丢弃图像区域的高度范围的上边界值：T11＝0；通过如下公式得到所述丢弃图像区域的高度范围的下边界值：当α-β/2<-π/2时:通过如下公式得到所述丢弃图像区域的高度范围的上边界值：通过如下公式得到所述丢弃图像区域的高度范围的下边界值：B12＝H其中，α表示所述图像最低相关点的纬度，β表示所述纬度坐标范围对应的角度值，H表示所述全景视频图像的高度，T1表示所述丢弃图像区域的高度范围的上边界值，B1表示所述丢弃图像区域的高度范围的下边界值，T11表示所述丢弃图像区域中第一区域的高度范围的上边界值，B11表示所述丢弃图像区域中第一区域的高度范围的下边界值，T12表示所述丢弃图像区域中第二区域的高度范围的上边界值，B12表示所述丢弃图像区域中第二区域的高度范围的下边界值。可选地，所述全景视频图像为矩形图像；所述全景视频图像与所述三维球体模型的映射关系包括：所述全景视频图像的宽度映射为所述三维球体模型的赤道周长，则：所述根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的经度以及所述经度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的宽度范围的本文档来自技高网...

【技术保护点】
一种视频播放的控制方法，应用于服务器端，其特征在于，包括：接收用户的视角方向数据；根据所述视角方向数据，利用预先确定的三维映射模型，获取在三维映射模型中与所述用户的可视角不相关的区域的坐标范围；根据三维映射模型中确定的所述坐标范围，确定待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域；将待输出的全景视频图像中除所述丢弃图像区域之外的剩余区域的图像数据，传输至视频图像输出终端。

【技术特征摘要】
1.一种视频播放的控制方法，应用于服务器端，其特征在于，包括：接收用户的视角方向数据；根据所述视角方向数据，利用预先确定的三维映射模型，获取在三维映射模型中与所述用户的可视角不相关的区域的坐标范围；根据三维映射模型中确定的所述坐标范围，确定待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域；将待输出的全景视频图像中除所述丢弃图像区域之外的剩余区域的图像数据，传输至视频图像输出终端。2.根据权利要求1所述的控制方法，其特征在于，所述根据所述视角方向数据，利用预先确定的三维映射模型，获取在三维映射模型中与所述用户的可视角不相关的区域的坐标范围的步骤，包括：根据所述视角方向数据，确定用户的当前视点在所述三维映射模型上的位置坐标；根据所述当前视点在所述三维映射模型上的位置坐标，确定在所述三维映射模型上的图像最低相关点的位置坐标，其中，所述图像最低相关点为所述当前视点与所述三维映射模型的中心点的连线的延长线与所述三维映射模型的交点；根据所述图像最低相关点的位置坐标，获取在三维映射模型中与所述用户的可视角不相关的区域的坐标范围。3.根据权利要求2所述的控制方法，其特征在于，所述根据所述图像最低相关点的位置坐标，获取在三维映射模型中与所述用户的可视角不相关的区域的坐标范围的步骤，包括：根据用户在所述三维映射模型上的可视角和所述图像最低相关点的位置坐标，确定三维映射模型中与所述用户的可视角不相关的区域的坐标范围；或者，根据所述图像最低相关点的位置坐标和预先设定的偏移范围，确定三维映射模型中与所述用户的可视角不相关的区域的坐标范围。4.根据权利要求2或3所述的控制方法，其特征在于，所述三维映射模型包括三维球体模型；所述根据三维映射模型中确定的所述坐标范围，确定待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的步骤，包括：根据所述全景视频图像与所述三维球体模型的映射关系和所述坐标范围，确定待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域。5.根据权利要求4所述的控制方法，其特征在于，所述图像最低相关点的位置坐标包括图像最低相关点的纬度和经度；所述坐标范围包括：以所述图像最低相关点为中心的纬度坐标范围和经度坐标范围；所述根据所述全景视频图像与所述三维球体模型的映射关系和所述坐标范围，确定待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的步骤，包括：根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的纬度以及所述纬度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的高度范围；根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的经度以及所述经度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的宽度范围。6.根据权利要求5所述的控制方法，其特征在于，所述全景视频图像为矩形图像或椭圆形图像；若所述全景视频图像与所述三维球体模型的映射关系包括：所述全景视频图像的高度映射为所述三维球体模型的直径，则：所述根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的纬度以及所述纬度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的高度范围的步骤，包括：当α+β/2<＝π/2并且α-β/2>＝-π/2时：通过如下公式得到所述丢弃图像区域的高度范围的上边界值：T1=H2×(1-cos(π2-α-β2))]]>通过如下公式得到所述丢弃图像区域的高度范围的下边界值：B1=H2×(1-cos(π2-α+β2))]]>当α+β/2>π/2时:通过如下公式得到所述丢弃图像区域的高度范围的上边界值：T11＝0；T12=H2×(1-cos(-π2+α+β2))]]>通过如下公式得到所述丢弃图像区域的高度范围的下边界值：B11=H2×(1-cos(-π2+α+β2))]]>B12=H2×(1-cos(π2-α+β2))]]>当α-β/2<-π/2时:通过如下公式得到所述丢弃图像区域的高度范围的上边界值：T11=H2×(1-cos(π2-α-β2))]]>T12=H2×(1-cos(3π2+α-β2))]]>通过如下公式得到所述丢弃图像区域的高度范围的下边界值：B11=H2×(1-cos(3π2+α-β2))]]>B12＝H和/或，若所述全景视频图像与所述三维球体模型的映射关系包括：所述全景视频图像的高度映射为所述三维球体模型的经度圆周的半周长，则：所述根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的纬度以及所述纬度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的高度范围的步骤，包括：当α+β/2<＝π/2并且α-β/2>＝-π/2时：通过如下公式得到所述丢弃图像区域的高度范围的上边界值：T1=H×(π2-α-β2)÷π]]>通过如下公式得到所述丢弃图像区域的高度范围的下边界值：B1=H×(π2-α+β2)÷π]]>当α+β/2>π/2时:通过如下公式得到所述丢弃图像区域的高度范围的上边界值：T11＝0；T12=H×(-π2+α+β2)÷π]]>通过如下公式得到所述丢弃图像区域的高度范围的下边界值：B11=H×(-π2+α+β2)÷π]]>B12=H×(π2-α+β2)÷π]]>当α-β/2<-π/2时:通过如下公式得到所述丢弃图像区域的高度范围的上边界值：T11=H×(π2-α-β2)÷π]]>T12=H×(3π2+α-β2)÷π]]>通过如下公式得到所述丢弃图像区域的高度范围的下边界值：B11=H×(3π2+α-β2)÷π]]>B12＝H其中，α表示所述图像最低相关点的纬度，β表示所述纬度坐标范围对应的角度值，H表示所述全景视频图像的高度，T1表示所述丢弃图像区域的高度范围的上边界值，B1表示所述丢弃图像区域的高度范围的下边界值，T11表示所述丢弃图像区域中第一区域的高度范围的上边界值，B11表示所述丢弃图像区域中第一区域的高度范围的下边界值，T12表示所述丢弃图像区域中第二区域的高度范围的上边界值，B12表示所述丢弃图像区域中第二区域的高度范围的下边界值。7.根据权利要求5所述的控制方法，其特征在于，所述全景视频图像为矩形图像；所述全景视频图像与所述三维球体模型的映射关系包括：所述全景视频图像的宽度映射为所述三维球体模型的赤道周长，则：所述根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的经度以及所述经度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的宽度范围的步骤，包括：当δ-γ/2>＝0并且δ+γ/2<＝2π时：通过如下公式得到所述丢弃图像区域的宽度范围的左边界值：L1=W×(δ-γ2)÷2π]]>通过如下公式得到所述丢弃图像区域的宽度范围的右边界值：R1=W×(δ+γ2)÷2π]]>当δ-γ/2<0时：通过如下公式得到所述丢弃图像区域的宽度范围的左边界值：L11＝0L12=W×(δ-γ2+2π)÷2π]]>通过如下公式得到所述丢弃图像区域的宽度范围的右边界值：R11=W×(δ+γ2)÷2π]]>R12＝W当δ+γ/2>2π时：通过如下公式得到所述丢弃图像区域的宽度范围的左边界值：L11＝0L12=W×(δ-γ2)÷2π]]>通过如下公式得到所述丢弃图像区域的宽度范围的右边界值：R11=W×(δ+γ2-2π)÷2π]]>R12＝W其中，δ表示所述图像最低相关点的经度，γ表示所述经度坐标范围对应的角度值，W表示所述全景视频图像的宽度，L1表示所述丢弃图像区域的宽度范围的左边界值，R1表示所述丢弃图像区域的宽度范围的右边界值，L11表示所述丢弃图像区域中第一区域的宽度范围的左边界值，R11表示所述丢弃图像区域中第一区域的宽度范围的右边界值，L12表示所述丢弃图像区域中第二区域的宽度范围的左边界值，R12表示所述丢弃图像区域中第二区域的宽度范围的右边界值。8.根据权利要求5所述的控制方法，其特征在于，所述全景视频图像为椭圆形图像；所述全景视频图像与所述三维球体模型的映射关系包括：所述全景视频图像的宽度映射为所述三维球体模型的赤道周长，则：所述根据所述全景视频图像与所述三维球体模型的映射关系、所述图像最低相关点的经度以及所述经度坐标范围，得到所述待输出的全景视频图像中与所述坐标范围对应的丢弃图像区域的宽度范围的步骤，包括：当δ-γ/2>＝0并且δ+γ/2<＝2π时：通过如下公式得到所述丢弃图像区域的宽度范围的左边界值：L1=s+w×(δ-γ2)÷2π]]>通过如下公式得到所述丢弃图像区域的宽度范围的右边界值：R1=s+w×(δ+γ2)÷2π]]>当δ-γ/2<0时：通过如下公式得到所述丢弃图像区域的宽度范围的左边界值：L11＝sL12=s+w×(δ-γ2+2π)÷2π]]>通过如下公式得到所述丢弃图像区域的宽度范围的右边界值：R11=s+w×(δ+γ2)÷2π]]>R12＝s+w当δ+γ/2>2π时：通过如下公式得到所述丢弃图像区域的宽度范围的左边界值：L11＝sL12=s+w×(δ-γ2)÷2π]]>通过如下公式得到所述丢弃图像区域的宽度范围的右边界值：R11=s+w×(δ+γ2-2π)÷2π]]>R12＝s+w其中，δ表示所述图像最低相关点的经度，γ表示所述经度坐标范围对应的角度值，s表示全景视频图像中每行图像的起点横坐标，w表示全景视频图像中每行图像的宽度，L1表示所述丢弃图像区域的宽度范围的左边界值，R1表示所述丢弃图像区域的宽度范围的右边界值，L11表示所述丢弃图像区域中第一区域的宽度范围的左边界值，R11表示所述丢弃图像区域中第一区域的宽度范围的右边界值，L12表示所述丢弃图像区域中第二区域的宽度范围的左边界值，R12表示所述丢弃图像区域中第二区域的宽度范围的右边界值。9.根据权利要求1所述的控制方法，其特征在于，所述将待输出的全景视频图像中除所述丢弃图像区域之外的剩余区域的图像数据，传输至视频图像输出终端的步骤，包括：根据所述丢弃图像区域，获取所述全景视频图像中除所述丢弃图像区域之外的剩余区域，并对所述剩余区域进行渲染；将渲染后得到的图像数据传输至视频图像输出终端；或者，对所述全景视频图像进行渲染；将所述渲染后得到的图像数据中与所述丢弃图像区域对应的数据设置为特定值，并对设置后的图像数据进行编码；将编码后的图像数据传输至视频图像输出终端。10.根据权利要求1所述的控制方法，其特征在于，所述将待输出的全景视频图像中除所述丢弃图像区域之外的剩余区域的图像数据，传输至视频图像输出终端的步骤，包括：将所述剩余区域的图像数据以及所述视角方向数据，传输给视频图像输出终端，以使所述视频图像输出终端根据所述视角方向数据，确定所述全景视频图像的丢弃图像区域。11.一种视频播放的控制方法，应用于视频图像输出终端，其特征在于，包括：实时获取用户的视角方向数据，并将所述视角方向数据发送给服务器端；接收所述服务器端传输的全景视频图像中除丢弃图像区域之外的剩余区域的图像数据；将所述剩余区域的图像数据映射到预先确定的三维映射模型中；从映射后的三维映射模型中获取与所述用户的可视角对应的图像部分，并播放与所述用户的可视角对应的所述图像部分。12.根据权利要求11所述的控制方法，其特征在于，所述接收所述服务器端传输的全景视频图像中除丢弃图像区域之外的剩余区域的图像数据的步骤，包括：接收所述服务器端传输的全景视频图像中除丢弃图像区域之外的剩余区域的图像数据以及所述剩余区域的图像数据对应的视角方向数据；在播放所述图像部分后，所述控制方法还包括：根据所述视角方向数据，确定映射后的三维映射模型中所述丢弃图像区域的坐标范围；实时获取用户的当前视角方向数据，根据实时获取的当前视角方向数据，确定映射后的三维映射模型中与所述用户的可视角对应的图像部分是否落入所述丢弃图像区域的坐标范围；其中，若映射后的三维映射模型中与所述用户的可视角对应的图像部分落入所述丢弃图像区域的坐标范围，则从之前映射后的、最近一次包含有与丢弃图像区域对应的图像部分的三维映射模型中，获取与所述用户的可视角对应的丢弃图像区域的图像部分，并利用获取的丢弃图像区域的图像部分进行显示；或者，从映射后的三维映射模型中，获取与所述用户的当前可视角相关的、所述丢弃图像区域的相邻区域的图像部分，并将丢弃图像区域的相邻区域的图像部分作为与所述用户的当前可视角对应的图像部分进行显示。13.一种视频播放的控制装置，应用于服务器端，其特征在于，包括：第一接收模块，用于接收用户的...

【专利技术属性】
技术研发人员：田志泽，
申请(专利权)人：深圳超多维科技有限公司，
类型：发明
国别省市：广东;44