视频处理方法、装置及系统制造方法及图纸

本申请实施例提供了一种视频处理方法、装置及系统，该方法包括：解码第一视角覆盖的第一子图像的编码数据，从而得到第一子图像；在第一视角切换到第二视角时，获取第二视角覆盖的第二子图像的编码数据，以及第二子图像的第一参考图像的编码数据，第一参考图像的编码数据独立于第二子图像的编码数据所在的码流；解码第一参考图像的编码数据获得第一参考图像；根据第一参考图像解码第二子图像的编码数据，从而获得第二子图像。从而使终端在视角切换过程中，实现无缝切换，始终显示第二子图像所属的高质量层，有效提升了用户使用体验。

【技术实现步骤摘要】
视频处理方法、装置及系统
本申请实施例涉及视频处理领域，尤其涉及一种视频处理方法、装置及系统。
技术介绍
目前，在已有技术中，终端进行视频播放时，如果发生视角切换，则，可能出现由于切换时刻未到达新视角中的切片(Tile)对应的随机切入点，因此，导致终端无法对新的Tile进行解码，仅能暂时播放质量较低的数据层或出现黑屏，造成用户使用体验差的问题。
技术实现思路
本申请提供一种视频处理方法、装置及系统，能够在一定程度上避免视角切换过程中出现的低数据层，造成用户使用体验差的问题。为达到上述目的，本申请采用如下技术方案：第一方面，本申请实施例提供一种视频处理方法，所述方法包括：终端(或客户端，或解码端)解码第一视角覆盖的第一子图像的编码数据，从而得到第一子图像。随后，终端在第一视角切换到第二视角时，获取第二视角覆盖的第二子图像的编码数据，以及第二子图像的第一参考图像的编码数据，其中，第一参考图像的编码数据独立于第二子图像的编码数据所在的码流。接着，终端解码第一参考图像的编码数据获得第一参考图像。以及，终端可根据第一参考图像解码第二子图像的编码数据，从而获得第二子图像。通过上述方式，实现了服务器端预先准备两个独立的码流，其中，包括包含第一参考图像的编码数据的码流以及包含第二子图像(和/或第一子图像)的编码数据的码流，以使终端在视角切换后，可基于第一参考图像对切换后的视角覆盖的第二子图像进行解码，从而获得第二子图像，使终端在视角切换过程中，实现无缝切换，终端的显示画面始终保持在第二子图像所属的高质量层，而不会在视角覆盖范围内出现低质量层或黑屏的现象，有效提升了用户使用体验。在一种可能的实现方式中，第二子图像的编码数据所在的码流为第二子图像的编码数据所在的段(Segment)码流。具体的，在本申请中，服务器与终端的交互过程中，是以码流的形式进行数据传输，可选地，码流可以为段码流，即，服务器将编码封装后的至少一个段码流发送给终端，以供终端进行解码与显示。在一种可能的实现方式中，第二子图像为第二子图像的编码数据所在的码流所描述的图像序列中在解码顺序上的第一幅图像之外的图像，或者第二子图像为第二子图像的编码数据所在的码流所描述的图像序列中在解码顺序上的第一幅图像以及第二幅图像之外的图像。通过上述方式，实现了当切换时刻为第二子图像的编码数据所在的码流所描述的图像序列中在解码顺序上的第二幅图像对应的播放时刻时，相应的，第一参考图像与第二子图像所依赖的参考图像(即，位于段码流首位的图像帧)所描述的图像一致。可选地，当切换时刻为除第一幅图像以及第二幅图像，例如：第三幅图像或第四幅图像等图像对应的播放时刻时，相应的，第一参考图像可以与第三副图像或第四幅图像所依赖的参考图像所描述的图像相同。在一种可能的实现方式中，第一参考图像的图像内容与第二子图像的第二参考图像的图像内容相同，第二参考图像为第二子图像的编码数据所在的码流所描述的图像序列中的图像。通过上述方式，实现了服务器端在编码时，基于相同的图像内容对第一参考图像与第二子图像进行编码。可选地，编码时的编码率可相同，可不同。在一种可能的实现方式中，第二参考图像为第二子图像的编码数据所在的码流所描述的图像序列中在解码顺序上的第一幅图像之外的图像。通过上述方式，实现了当视角切换时，终端所获取的码流从第一子图像的编码数据所在的码流，例如第一子图像的编码数据所在的段码流，切换到第二子图像的编码数据所在的码流，例如第二子图像的编码数据所在的段码流时，第一参考图像的图像内容与第二子图像所依赖的参考图像(即第二参考图像)的图像内容是一致的，其中，第二参考图像可以为第二子图像的编码数据所在的段码流对应的图像序列中在解码顺序上的第一幅图像之外的图像。在一种可能的实现方式中，第二参考图像为第二子图像在图像序列中的前一幅图像。通过上述方式，实现了第一参考图像的图像内容可以与第二子图像在图像序列中的前一幅图像(即第二参考图像)的图像内容一致。在一种可能的实现方式中，第二子图像的编码数据所在的码流为通过对码流中描述的所有图像帧执行帧间预测得到的码流。通过上述方式，实现了第二子图像的编码数据所在的码流中的所有图像帧的预测方式可以为帧间预测。例如：其所在的段码流中的所有图像帧均可以为P帧。在一种可能的实现方式中，第一参考图像的编码数据所在的码流为通过对码流中描述的所有图像帧的所有图像块执行帧内预测得到的码流，第一参考图像的编码数据所在的码流独立于第二子图像的编码数据所在的码流。通过上述方式，实现了第一参考图像的编码数据所在的码流中的所有图像帧的预测方式可以为帧内预测。例如：每个段码流中的所有图像帧均为I帧。在一种可能的实现方式中，第一参考图像为纯随机接入CRA图像。通过上述方式，实现了第一参考图像的编码数据所在的码流中的所有图像帧的预测方式可以为帧内预测，并且，所有图像帧可以为CRA型I帧。在一种可能的实现方式中，第二子图像的不被第一视角覆盖。通过上述方式，实现了终端获取到的第二子图像可不被第一视角覆盖，即，仅显示于第二视角中，也就是说，本申请可应用于对新的子图像(即，仅覆盖于切换后的视角而不被切换前的视角覆盖的子图像)的解码过程。在一种可能的实现方式中，第二视角覆盖第一子图像的区域，方法还包括：终端解码第一子图像的编码数据所在的码流中的下一帧子图像，，从而得到下一帧子图像；以及，终端将下一帧图像与第一参考图像进行拼接，从而得到拼接后的图像；播放拼接后的图像。通过上述方式，实现了第一参考图像被解码后，可显示于第二视角覆盖范围内，也就是说，在本申请中，若切换时刻为第二子图像所在图像序列中的前一幅图像对应的播放时刻，则，终端获取到的第一参考图像的图像内容与所述前一幅图像的图像内容一致，并且，终端对第一参考图像进行解码后，基于第一参考图像对第二子图像进行解码，以及，第二视角的覆盖范围内显示的为第一参考图像以及包括第二子图像及其所在的码流的其它后续的子图像。在一种可能的实现方式中，第二视角覆盖第一子图像的区域，方法还包括：解码第一子图像的编码数据所在的码流中的下一帧子图像，，从而得到下一帧子图像；将下一帧图像与第二子图像进行拼接，从而得到拼接后的图像；播放拼接后的图像。通过上述方式，实现了第一参考图像被解码后，不显示于第二视角覆盖范围内，也就是说，在本申请中，若切换时刻为第二子图像对应的播放时刻，则，终端获取到的第一参考图像的图像内容与第二子图像所依赖的参考图像(例如：本申请中的第二参考图像)的图像内容一致，并且，终端对第一参考图像进行解码后，基于第一参考图像对第二子图像进行解码，以及，第二视角的覆盖范围内显示的为包括第二子图像及其所在的码流的其它后续的子图像。在一种可能的实现方式中，第一子图像对应的播放时刻为t1，第二子图像对应的播放时刻为t2，t1时刻和t2时刻为相邻播放时刻，或者，第一子图像和第二子图像在播放顺序上相差N帧，N为1,2,3本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，所述方法包括：/n解码第一视角覆盖的第一子图像的编码数据，从而得到所述第一子图像；/n在所述第一视角切换到第二视角时，获取所述第二视角覆盖的第二子图像的编码数据，以及第二子图像的第一参考图像的编码数据，所述第一参考图像的编码数据独立于所述第二子图像的编码数据所在的码流；/n解码所述第一参考图像的编码数据获得第一参考图像；/n根据所述第一参考图像解码所述第二子图像的编码数据，从而获得所述第二子图像。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：
解码第一视角覆盖的第一子图像的编码数据，从而得到所述第一子图像；
在所述第一视角切换到第二视角时，获取所述第二视角覆盖的第二子图像的编码数据，以及第二子图像的第一参考图像的编码数据，所述第一参考图像的编码数据独立于所述第二子图像的编码数据所在的码流；
解码所述第一参考图像的编码数据获得第一参考图像；
根据所述第一参考图像解码所述第二子图像的编码数据，从而获得所述第二子图像。


2.根据权利要求1所述的方法，其特征在于，所述第二子图像的编码数据所在的码流为所述第二子图像的编码数据所在的段(Segment)码流。


3.根据权利要求1或2所述的方法，其特征在于，所述第二子图像为所述第二子图像的编码数据所在的码流所描述的图像序列中在解码顺序上的第一幅图像之外的图像，或者所述第二子图像为所述第二子图像的编码数据所在的码流所描述的图像序列中在解码顺序上的第一幅图像以及第二幅图像之外的图像。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述第一参考图像的图像内容与所述第二子图像的第二参考图像的图像内容相同，所述第二参考图像为所述第二子图像的编码数据所在的码流所描述的图像序列中的图像。


5.根据权利要求4所述的方法，其特征在于，所述第二参考图像为所述第二子图像的编码数据所在的码流所描述的图像序列中在解码顺序上的第一幅图像之外的图像。


6.根据权利要求5所述的方法，其特征在于，所述第二参考图像为所述第二子图像在所述图像序列中的前一幅图像。


7.根据权利要求1至6任一项所述的方法，其特征在于，所述第二子图像的编码数据所在的码流为通过对码流中所述描述的所有图像帧执行帧间预测得到的码流。


8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一参考图像的编码数据所在的码流为通过对码流中所述描述的所有图像帧的所有图像块执行帧内预测得到的码流，所述第一参考图像的编码数据所在的码流独立于所述第二子图像的编码数据所在的码流。


9.根据权利要求8所述的方法，其特征在于，所述第一参考图像为纯随机接入CRA图像。


10.根据权利要求1至9任一项所述的方法，其特征在于，所述第二子图像的不被所述第一视角覆盖。


11.根据权利要求1至10任一项所述的方法，其特征在于，所述第二视角覆盖所述第一子图像区域，所述第一视角还覆盖第三子图像区域，所述解码第一视角覆盖的第一子图像的编码数据，从而得到所述第一子图像包括：
将第一码流和第三码流合并，从而得到第一合并码流，所述第一码流为所述第一子图像的编码数据所在的码流，所述第三码流为所述第三子图像的编码数据所在的码流；
解码所述第一合并码流，从而得到包括第一子图像和所述第三子图像的图像；
所述根据所述第一参考图像解码所述第二子图像的编码数据，从而获得所述第二子图像包括：
将所述第一码流与第二码流合并，从而得到第二合并码流，所述第二码流为所述第二子图像的编码数据所在的码流，所述第一码流所描述的子图像对应在所述第一合并码流所述描述的图像中的位置，与所述第一码流所描述的子图像对应在所述第二合并码流所述描述的图像中的位置一致；
根据所述第一参考图像解码所述第一合并码流，从而得到包括第二子图像和所述第一码流所描述的子图像的图像。


12.一种视频处理方法，其特征在于，所述方法包括：
向终端发送所述终端的第一视角覆盖的第一子图像的编码数据；
在所述终端的第一视角切换到第二视角时，向所述终端发送所述第二视角覆盖的第二子图像的编码数据，以及第二子图像的第一参考图像的编码数据，所述第一参考图像的编码数据独立于所述第二子图像的编码数据所在的码流。


13.根据权利要求12所述的方法，其特征在于，所述第二子图像的编码数据所在的码流为所述第二子图像的编码数据所在的段码流。


14.根据权利要求12或13所述的方法，其特征在于，所述第二子图像为所述第二子图像的编码数据所在的码流所描述的图像序列中在解码顺序上的第一幅...

【专利技术属性】
技术研发人员：方华猛，邸佩云，邹文杰，杨付正，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44