一种基于AVS3编码框架下的多路视频多视角场景编解码方法技术

一种基于AVS3编码框架下的多路视频多视角场景编解码方法，包含如下步骤：第一步、多视角AVS3编码，第二步、时间同步，第三步、发明专利技术编码数据结构，第四步、扩展数据填充，第五步、音视频封装成TS流，第六步、TS流传输：TS流进行网络传输，第七步、接收TS流并解码：用户在收到TS流后进行解码，第八步、图像扩展数据解码，第九步、用户选择场景观看。本方法实现了在AVS编码框架下全景多角编码，解决了视频因为图像拼接所带来的许多边界模糊问题，场景编解码效率更高效，不使用拼接算法与CPU\GPU的设备，因而能节约成本。节约成本。节约成本。

A multi view scene coding and decoding method of multi video based on avs3 coding framework

【技术实现步骤摘要】
一种基于AVS3编码框架下的多路视频多视角场景编解码方法


[0001]本专利技术属于视频压缩编码领域，特别是一种基于AVS3编码框架下的多路视频多视角场景编解码方法。

技术介绍

[0002]进入2021年，我国超高清8K编码标准第三代音视频标准AVS3(Audio Video Standard3)已经在国内的各地方进行商用，尤其是中央电视总台CCTV 8K超高清试验频道开播，标志正式进入了8K超高清时代，接下来将在超高清基础研究下，推进3D超高清编解码技术，使得我国超高清编码标准继续领跑国际标准。
[0003]目前，在运动场下，传统多路摄像机拍摄出来的图像，将进行拼接处理，形成一个360度全景图像，之后再次编码传输，在后端则进行解码后的多视角输出观看。根据现有的技术，图像拼接质量对算法要求高，并且对性能也有极高需求，有拼接边界也会有模糊图像出现，这个直接影响到图像质量和用户体验，而且拼接算法与CPU\GPU计算相关，图像分辨率越大，越需要强大的硬件算力，这对图像处理是一个巨大挑战，并且也会影响图像实时性，并且要解决这种超高清图像的拼接所带来的拼接边界模糊缺陷，一方面需要强大的实时图像处理能力，同时，一旦多路拍摄视角有所变化，则需要重新拼接，并且需要重新植入算法，难度较大，并且成本较高，通用性不强。
[0004]为此，市场需要提出一种不需要进行拼接的算法，在图像编码层进行了一种多路直接编码传输方法，利用AVS3标准现有的单路编码数据结构，扩展出多路编码结构，并且预置一些场景应用，经过理论验证分析，可以达到与传统拼接手段一样的可实现360度全景观看的目的，该方法具有了性能高，成本低，技术易实现等特点，同时不会出现拼接拼缝模糊现象，进而直接提升用户体验，具备初步可应用条件，因此本专利技术可为AVS3提供一种新的多路编码手段，可充实AVS3标准框架，具有一定的可实用意义。

技术实现思路

[0005]本专利技术的目的在于公开一种基于AVS3编码框架下的多路视频多视角场景编解码方法。该基于多路多视角编解码方法，在编码侧编码多路视频并且进行数据同步和传输，在后端解码侧可以随时选择和配置不同的视频作为最终输出。
[0006]实现本专利技术技术目的的技术方案如下：
[0007]一种基于AVS3编码框架下的多路视频多视角场景编解码方法，包含如下步骤：
[0008]第一步、多视角AVS3编码：在某场景下，多路超高清摄像机分别进行多视角AVS3编码
[0009]第二步、时间同步：编码后获取每路视频编码后的图像，进行多路视频编码时间校验，保证编码后的时间数据一致。
[0010]第三步、专利技术编码数据结构：在AVS3编码框架内，利用编码图像的扩展数据，并把多路视频编码相关信息嵌入到该扩展数据中，其中该扩展数据包括多场景定义、各路图像
信息以及同步时间信息和多场景下解码的解码取帧排序等。
[0011]第四步、扩展数据填充：把扩展数据填充到第二步编码图像后扩展数据区中。
[0012]第五步、音视频封装成TS流：把携带扩展数据编码图像与音频结合后，封装成TS流格式，其中TS流(Transport Stream)即：传送流，是一种媒体文件封装格式。
[0013]第六步、TS流传输：TS流进行网络传输。
[0014]第七步、接收TS流并解码：用户在收到TS流后进行解码。
[0015]第八步、图像扩展数据解码：解码侧解码图像的扩展数据，检测到带有多路多视角时，可让用户选择不同推荐视角(不同场景)的视角画面输出。
[0016]第九步、用户选择场景观看：用户体验选择，并体验不同视角。
[0017]优选地，第二步、时间同步的进行多路视频编码时间校验，具体是把每帧含时间戳图像数据按链表数据结构存入内存中，通过向链表读取每路每帧数据，并读取时间戳，该时间戳为一串长整型时间数据，进行数字大小比对，确认编码后的时间数据一致。优选地，第三步、专利技术编码数据结构是：编码图像扩展数据是一种携带编码信息的特定数据，本专利技术人基于此数据结构，创立了一种叫做全景编码图像的扩展数据结构全景编码图像的扩展数据结构，并把多路视频编码相关信息嵌入到该扩展数据中，该扩展数据结构包括多场景定义、各路图像信息以及同步时间信息和多场景下解码的解码取帧排序等。
[0018]优选地，第八步、图像扩展数据解码是：解码侧解码图像的解析出全景编码图像的扩展数据结构表扩展数据，检测到带有多路多视角时，可让用户选择不同推荐视角(不同场景)的视角画面输出。
[0019]根据本专利技术的技术方案，产生的有益效果是：
[0020]1、本专利技术的一种基于AVS3编码框架内的多路视频同时编码方法实现了在在AVS编码框架下的全景多角编码，给超高清内容的制作，特别是需要全景内容制作领域提供一种方法指引，进一步完善了AVS3编码标准。
[0021]2、本方法技术实现简便，不需要全景拼接，省去了图像拼接所带来的许多边界模糊问题，解决了视频因为图像拼接所带来的许多边界模糊问题，为市场提供更加清晰的视频信号和用户体验，同时场景编解码效率更高效。
[0022]3、本专利技术的基于AVS3编码框架下的多路视频多视角场景编解码方法，不使用基于GPU(Graphics Processing Unit，图像处理器)的拼接算法，且不需要对图像进行拼接，也不需要强大的算力支撑，但可为后端内容制作与输出提供不同视角，提供有力360度全景方案，因而能节约成本。
[0023]本专利技术中使用技术术语的英文缩写的含义及中文对照：
[0024]AVS3(Audio Video Standard 3)第三代音视频标准；
[0025]TS流(Transport Stream，传送流，一种媒体文件封装格式)。
附图说明
[0026]图1本专利技术编解码方法的流程方框图；
[0027]图2是本专利技术模拟实施的系统流程图。
具体实施方式
[0028]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，通过具体实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0029]一种基于AVS3编码框架下的多路视频多视角场景编解码方法，包括如下步骤：
[0030]第一步S1、多视角AVS3编码S1：多路超高清摄像机分别进行多视角AVS3编码。
[0031]第二步S2、时间同步S2：编码后获取每路视频编码后的图像，编码的图像含有时间戳，(时间戳是基于同步时钟90K hz来换算，如果帧率是25fps的话，一帧数据采样时间40ms(＝1000ms/25)，那么每帧数据时间戳值增加就是90K x 40ms＝3600),把每帧含时间戳图像数据按链表数据结构存入内存中，通过向链表读取每路每帧数据，并读取时间戳值，得到的时间戳为一串长整型数据，通过对时间戳数字大小的比对，当各路编码的时间戳之差绝经值不超过某个特定值(如100，具体可调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AVS3编码框架下的多路视频多视角场景编解码方法，包括如下步骤：第一步、多视角AVS3编码：在某场景下，多路超高清摄像机分别进行多视角AVS3编码第二步、时间同步：编码后获取每路视频编码后的图像，进行多路视频编码时间校验，保证编码后的时间数据一致；第三步、发明编码数据结构：在AVS3编码框架内，一种编码图像的扩展数据，并把多路视频编码相关信息嵌入到该扩展数据中，其中该扩展数据包括多场景定义、各路图像信息以及同步时间信息和多场景下解码的解码取帧排序等；第四步、扩展数据填充：把扩展数据填充到第二步编码图像后扩展数据区中；第五步、音视频封装成TS流：把携带扩展数据编码图像与音频结合后，封装成TS流格式；第六步、TS流传输：TS流进行网络传输；第七步、接收TS流并解码：用户在收到TS流后进行解码；第八步、图像扩展数据解码：解码侧解码图像的扩展数据，检测到带有多路多视角时，可让用户选择不同推荐视角的视角画面输出；第九步、用户选择场景观看：用户体验选择，并体验不同视角。2.根据权利要求1所述的基于AVS3编码框架下的多路视频多视角场景编解码方法，其特征在于：所述的第二步、时间同步...

【专利技术属性】
技术研发人员：陈智敏，龙仕强，林晓帆，曾辉，张伟民，
申请(专利权)人：广东博华超高清创新中心有限公司，
类型：发明
国别省市：