一种视频编码方法、视频解码方法和相关设备技术

本发明专利技术实施例公开了一种视频编码方法、视频解码方法和相关设备，用于提高视频帧的压缩效率。本发明专利技术实施例方法包括：获取多个视频帧，多个视频帧中的每一视频帧间在画面内容上包括冗余数据；对多个视频帧进行重构，得到场景信息和每一视频帧的重构残差，场景信息包括由减少冗余数据的冗余度得到的数据，重构残差用于表示视频帧和场景信息间的差值；对场景信息和重构残差分别进行预测编码，得到场景特征预测编码数据和残差预测编码数据。这样，减少了视频帧间的冗余度，减少了压缩后得到的数据量。而将每一视频帧重构为场景特征和重构残差，重构残差属于残差编码，编码数据量小，压缩比高。这样，本发明专利技术实施例的方法可有效提高视频帧的压缩效率。

【技术实现步骤摘要】
一种视频编码方法、视频解码方法和相关设备
本专利技术涉及视频帧处理领域，尤其涉及一种视频编码方法、视频解码方法、视频编码设备和视频解码设备、以及视频编解码设备。
技术介绍
随着互联网及流媒体等技术的不断发展，数字视频已大量应用于各种终端设备中，如传统PC、智能手机、平板电脑、网络互动电视(IPTV)等。另一方面，人们感官需求也在不断提升，对高清视频、超高清视频的需求也在不断增加。这些视频制式、分辨率不断提高的要求势必会带来十分巨大的传输码率(BitRate)。因此，在大视频背景下，需要对视频进行高质量压缩，以降低网络传输负担，提升存储容量。对于要独立编码的视频帧，现有技术往往是对该帧进行独立的编码，从而导致该需要独立编码的帧冗余信息较大，不利于数据存取和传输。例如，HEVC(HighEfficiencyVideoCoding)预测编码使用了帧内压缩和帧间压缩两种方式。编码之前首先设定GOP(Groupofpictures；帧组)步长，即GOP中所包含帧的个数。其中，帧组即多个帧构成的群组。为防止运动变化，帧数不宜设置过多。在具体预测编码环节，HEVC将所有帧划分I，P，B三种类型帧，如图1所示。图中各帧上方数字表明相应帧在原有视频序列中的编号。编码时以GOP为单位，先后对I帧、P帧及B帧进行编码。其中，I帧(Intra-frame)又称为帧内编码帧，是一种自带全部信息的独立帧，无需参考其它图像便可独立进行编码及解码。现有HEVC标准的对该I帧，只采用了当前I帧的图像帧内信息进行编码和解码，且是按照视频时间轴采用固定策略选取。从而，在HEVC标准中，独立编码的I帧压缩数据量占比高且存在大量信息冗余。
技术实现思路
本专利技术实施例提供了一种视频编码方法、视频解码方法、视频编码设备、视频解码设备和视频编解码设备，用于提高视频帧的压缩效率。本专利技术实施例的第一方面提供一种视频编码方法，该方法包括：获取多个视频帧，其中，该多个视频帧中的每一视频帧间在画面内容上包括冗余数据。然后，对该多个视频帧进行重构，得到场景信息和每一视频帧的重构残差，该场景信息包括由减少冗余数据的冗余度得到的数据，重构残差用于表示视频帧和场景信息间的差值，这样，通过重构减少了该多个视频帧的冗余数据。后续，对场景信息进行预测编码，得到场景特征预测编码数据，以及，对重构残差进行预测编码，得到残差预测编码数据。这样，通过对该多个视频帧进行重构的处理，可以减少这些视频帧的冗余度，从而在编码操作中，得到的场景特征和重构残差总体的压缩数据量相对于原来的视频帧的压缩数据量得到了缩减，减少了压缩后得到的数据量。而将每一视频帧重构为场景特征和重构残差，因重构残差包含除场景信息外的残差信息，因此信息量少且稀疏，该特性在进行预测编码时，可以通过较少的码字对其进行预测编码，编码数据量小，压缩比高。这样，本专利技术实施例的方法可有效提高视频帧的压缩效率。结合本申请实施例的第一方面，在本申请实施例的第一方面的第一种实现方式中，该多个视频帧中的每一视频帧间包括相同的画面内容，这些相同的画面内容即为该多个视频帧的冗余数据。对多个视频帧进行重构，得到场景信息和每一视频帧的重构残差的步骤，包括：对多个视频帧进行重构，得到场景特征和每一视频帧的重构残差，场景特征用于表示每一视频帧间的相同的画面内容，重构残差用于表示视频帧和场景特征间的差值。该场景特征为场景信息的其中一种具体形式。通过重构操作，将多个视频帧间的多个相同的画面内容中的其中一个，在一个场景特征中进行保存，从而减少了对相同画面内容的重复记录，减少了冗余数据的冗余度。相应的，对场景信息进行预测编码，得到场景特征预测编码数据，包括：对场景特征进行预测编码，得到场景特征预测编码数据。这样，通过重构，将该相同的画面内容去重后由场景特征进行表示，可减少该多个视频帧的冗余信息的冗余度。从而在编码操作中，得到的场景特征和重构残差总体的压缩数据量相对于原来的视频帧的压缩数据量得到了缩减，减少了压缩后得到的数据量。而将每一视频帧重构为场景特征和重构残差，因重构残差包含除场景信息外的残差信息，因此信息量少且稀疏，该特性在进行预测编码时，可以通过较少的码字对其进行预测编码，编码数据量小，压缩比高。这样，本专利技术实施例的方法可有效提高视频帧的压缩效率。结合本申请实施例的第一方面的第一种实现方式，在本申请实施例的第一方面的第二种实现方式中，对多个视频帧进行重构，得到场景特征和每一视频帧的重构残差，包括：将多个视频帧转换成观测矩阵，观测矩阵用于以矩阵形式对多个视频帧进行表示。然后，根据第一约束条件对观测矩阵进行重构，得到场景特征矩阵和重构残差矩阵，场景特征矩阵用于以矩阵形式对场景特征进行表示，重构残差矩阵用于以矩阵形式对多个视频帧的重构残差进行表示，第一约束条件用于限定场景特征矩阵低秩以及重构残差矩阵稀疏。这样，通过矩阵的形式执行对多个视频帧的重构操作，并且在第一约束条件的限定下，使得重构残差和场景特征符合预设的要求，利于后续编码操作时减少编码量和提高压缩率。结合本申请实施例的第一方面的第二种实现方式，在本申请实施例的第一方面的第三种实现方式中，根据第一约束条件对观测矩阵进行重构，得到场景特征矩阵和重构残差矩阵，包括：根据第一预设公式，计算得到场景特征矩阵和重构残差矩阵，得到的场景特征矩阵为低秩矩阵，而重构残差矩阵为稀疏矩阵。其中，第一预设公式为：或者，这两组公式都包括两个公式：目标约束函数和重构公式。前一组公式因属于NP难题，对其进行松弛操作，得到后一组公式，后一组公式方便求解。其中，D为观测矩阵，F为场景特征矩阵，E为重构残差矩阵，λ为权重参数，λ用来平衡场景特征矩阵F与重构残差矩阵E之间的关系，表示求F和E的最优值，即使得目标公式rank(F)+λ||E||1或者||F||*+λ||E||1值最小时F和E的取值，rank(·)为矩阵求秩函数，||·||1为矩阵L1范数，||·||*为矩阵核范数。结合本申请实施例的第一方面的第一种至第三种中的任意一种实现方式，在本申请实施例的第一方面的第四种实现方式中，对所述多个视频帧进行重构，得到场景特征和所述每一视频帧的重构残差之前，本实现方式的方法还包括：提取所述多个视频帧中的每一视频帧的画面特征信息；然后，根据画面特征信息，计算得到内容度量信息，该内容度量信息用于度量所述多个视频帧的画面内容的差异性。从而，当所述内容度量信息不大于预设度量阈值时，执行所述对所述多个视频帧进行重构，得到场景特征和所述每一视频帧的重构残差的步骤。通过该判断检测，可以使得符合要求的多个视频帧才使用第一方面的第一种至第三种实现方式的重构操作，保证了该重构操作的正常执行。结合本申请实施例的第一方面的第四种实现方式，在本申请实施例的第一方面的第五种实现方式中，该画面特征信息为全局GIST特征，该预设度量阈值为预设方差阈值，该根据所述画面特征信息，计算得到内容度量信息，包括：根据全局GIST特征，计算得到场景GIST特征方差。通过计算多个视频帧的场景GIST特征方差以实现度量多个视频帧的内容一致性，从而判断是否执行本申请第一方面的第一种至第三种实现方式的重构操作。结合本申请实施例的第一方面的第一种至第三种中的任意一种实现方式，在本申请实本文档来自技高网...

【技术保护点】
1.一种视频编码方法，其特征在于，所述方法包括：获取多个视频帧，所述多个视频帧中的每一视频帧间在画面内容上包括冗余数据；对所述多个视频帧进行重构，得到场景信息和所述每一视频帧的重构残差，所述场景信息包括由减少所述冗余数据的冗余度得到的数据，所述重构残差用于表示所述视频帧和所述场景信息间的差值；对所述场景信息进行预测编码，得到场景特征预测编码数据；对所述重构残差进行预测编码，得到残差预测编码数据。

【技术特征摘要】
1.一种视频编码方法，其特征在于，所述方法包括：获取多个视频帧，所述多个视频帧中的每一视频帧间在画面内容上包括冗余数据；对所述多个视频帧进行重构，得到场景信息和所述每一视频帧的重构残差，所述场景信息包括由减少所述冗余数据的冗余度得到的数据，所述重构残差用于表示所述视频帧和所述场景信息间的差值；对所述场景信息进行预测编码，得到场景特征预测编码数据；对所述重构残差进行预测编码，得到残差预测编码数据。2.根据权利要求1所述的方法，其特征在于，所述对所述多个视频帧进行重构，得到场景信息和所述每一视频帧的重构残差，包括：对所述多个视频帧进行重构，得到场景特征和所述每一视频帧的重构残差，所述场景特征用于表示所述每一视频帧间的相同的画面内容，所述重构残差用于表示所述视频帧和所述场景特征间的差值；所述对所述场景信息进行预测编码，得到场景特征预测编码数据，包括：对所述场景特征进行预测编码，得到场景特征预测编码数据。3.根据权利要求2所述的方法，其特征在于，所述对所述多个视频帧进行重构，得到场景特征和所述每一视频帧的重构残差之前，所述方法还包括：提取所述多个视频帧中的每一视频帧的画面特征信息；根据所述画面特征信息，计算得到内容度量信息，所述内容度量信息用于度量所述多个视频帧的画面内容的差异性；当所述内容度量信息不大于预设度量阈值时，执行所述对所述多个视频帧进行重构，得到场景特征和所述每一视频帧的重构残差的步骤。4.根据权利要求2所述的方法，其特征在于，所述获取多个视频帧，包括：获取视频流，所述视频流的视频帧包括I帧和B帧以及P帧；从所述视频流中提取所述I帧，所述I帧用于执行所述对所述多个视频帧进行重构，得到场景特征和所述每一视频帧的重构残差的步骤；所述方法还包括：根据所述场景特征和所述重构残差进行重构，得到参考帧；以所述参考帧做参考，对所述B帧和所述P帧进行帧间预测编码，得到B帧预测编码数据和P帧预测编码数据；对预测编码数据进行变换编码、量化编码及熵编码，得到视频压缩数据；所述预测编码数据包括所述场景特征预测编码数据、所述残差预测编码数据、所述B帧预测编码数据和所述P帧预测编码数据。5.根据权利要求1所述的方法，其特征在于，所述多个视频帧中的每一视频帧相互之间在局部位置包括冗余数据；所述对所述多个视频帧进行重构，得到场景信息和所述每一视频帧的重构残差，包括：对所述多个视频帧中的每一视频帧进行拆分，得到多个帧子块；对所述多个帧子块进行重构，得到场景特征、所述多个帧子块中的每一帧子块的表示系数和所述每一帧子块的重构残差，所述场景特征包括多个独立的场景特征基，在所述场景特征内所述独立的场景特征基间不能互相重构得到，所述场景特征基用于描述所述帧子块的画面内容特征，所示表示系数表示所述场景特征基和所述帧子块的对应关系，所述重构残差表示所述帧子块和所述场景特征基的差值；所述对所述场景信息进行预测编码，得到场景特征预测编码数据，包括：对所述场景特征进行预测编码，得到场景特征预测编码数据。6.根据权利要求5所述的方法，其特征在于，所述对所述多个帧子块进行重构，得到场景特征、所述多个帧子块中的每一帧子块的表示系数和所述每一帧子块的重构残差，包括：对所述多个帧子块进行重构，得到所述多个帧子块中的每一帧子块的表示系数和所述每一帧子块的重构残差，所述表示系数表示所述帧子块和目标帧子块的对应关系，所述目标帧子块为所述多个帧子块中独立的帧子块，所述独立的帧子块为不能基于所述多个帧子块中的其它帧子块重构得到的帧子块，所述重构残差用于表示所述目标帧子块和所述帧子块间的差值；组合所述多个表示系数指示的目标帧子块，得到场景特征，所述目标帧子块为场景特征基。7.根据权利要求5所述的方法，其特征在于，所述对所述多个视频帧中的每一视频帧进行拆分，得到多个帧子块之前，所述方法还包括：提取所述多个视频帧中的每一视频帧的画面特征信息；根据所述画面特征信息，计算得到内容度量信息，所述内容度量信息用于度量所述多个视频帧的画面内容的差异性；当所述内容度量信息大于预设度量阈值时，执行所述对所述多个视频帧中的每一视频帧进行拆分，得到多个帧子块的步骤。8.根据权利要求5所述的方法，其特征在于，所述获取多个视频帧，包括：获取视频流，所述视频流的视频帧包括I帧和B帧以及P帧；从所述视频流中提取所述I帧，所述I帧用于执行所述对所述多个视频帧中的每一视频帧进行拆分，得到多个帧子块的步骤；所述方法还包括：根据所述场景特征、所述表示系数和所述重构残差进行重构，得到参考帧；以所述参考帧做参考，对所述B帧和所述P帧进行帧间预测编码，得到B帧预测编码数据和P帧预测编码数据；对预测编码数据进行变换编码、量化编码及熵编码，得到视频压缩数据；所述预测编码数据包括所述场景特征预测编码数据、所述残差预测编码数据、所述B帧预测编码数据和所述P帧预测编码数据。9.根据权利要求1至8任一项所述的方法，其特征在于，所述获取多个视频帧之后，所述方法还包括：基于画面内容的相关性对所述多个视频帧进行分类，得到一个或多个分类簇的视频帧，同一分类簇的视频帧用于执行所述对所述多个视频帧进行重构，得到场景信息和所述每一视频帧的重构残差的步骤。10.根据权利要求1所述的方法，其特征在于，所述获取多个视频帧，包括：获取视频流，所述视频流包括多个视频帧；分别提取第一视频帧和第二视频帧的特征信息，所述特征信息用于对视频帧的画面内容进行描述，所述第一视频帧和所述第二视频帧为所述视频流中的视频帧；根据所述特征信息计算所述第一视频帧和所述第二视频帧间的镜头距离；判断所述镜头距离是否大于预设镜头阈值；若所述镜头距离大于所述预设镜头阈值，则从所述视频流中分割出目标镜头，所述目标镜头的起始帧为所述第一视频帧，所述目标镜头的结束帧为所述第二视频帧的上一视频帧；若所述镜头距离小于所述预设镜头阈值，则将所述第一视频帧和所述第二视频帧归属于同一镜头，所述目标镜头属于所述视频流的镜头的其中之一，所述镜头为一段在时间上连续的视频帧；对所述视频流中的每一镜头，根据镜头内的视频帧间的帧距离提取出关键帧，在每一镜头内任意两个相邻的关键帧间的帧距离大于预设帧距离阈值，所述帧距离用于表示两视频帧间的差异度，所述每一镜头的关键帧用于执行所述对所述多个视频帧进行重构，得到场景信息和所述每一视频帧的重构残差的步骤。11.一种视频解码方法，其特征在于，所述方法包括：获取场景特征预测编码数据和残差预测编码数据；对所述场景特征预测编码数据进行解码，得到场景信息，所述场景信息包括由减少所述冗余数据的冗余度得到的数据，所述冗余数据为多个视频帧中的每一视频帧间在画面内容上的冗余数据；对所述残差预测编码数据进行解码，得到重构残差，所述重构残差用于表示所述视频帧和所述场景信息间的差值；根据所述场景信息和所述重构残差进行重构，得到所述多个视频帧。12.根据权利要求11所述的方法，其特征在于，所述对所述场景特征预测编码数据进行解码，得到场景信息，包括：对所述场景特征预测编码数据进行解码，得到场景特征，所述场景特征用于表示所述每一视频帧间的相同的画面内容；所述根据所述场景信息和所述重构残差进行重构，得到所述多个视频帧，包括：根据所述场景特征和所述重构残差进行重构，得到所述多个视频帧。13.根据权利要求12所述的方法，其特征在于，所述获取场景特征预测编码数据和残差预测编码数据，包括：获取视频压缩数据；对所述视频压缩数据进行熵解码、反量化处理和DCT反变化得到预测编码数据，所述预测编码数据包括所述场景特征预测编码数据、所述残差预测编码数据、B帧预测编码数据和P帧预测编码数据；所述根据所述场景特征和所述重构残差进行重构，得到所述多个视频帧，包括：根据所述场景特征和所述重构残差进行重构，得到多个I帧；所述方法还包括：以所述I帧为参考帧，对所述B帧预测编码数据和P帧预测编码数据进行帧间解码，得到B帧和P帧；对所述I帧、所述B帧和所述P帧按时间顺序进行排列，得到视频流。14.根据权利要求11所述的方法，其特征在于，所述方法还包括：获取表示系数；所述对所述场景特征预测编码数据进行解码，得到场景信息，包括：对所述场景特征预测编码数据进行解码，得到场景特征，所述场景特征包括多个独立的场景特征基，在所述场景特征内所述独立的场景特征基间不能互相重构得到，所述场景特征基用于描述帧子块的画面内容特征，所述表示系数表示所述场景特征基和所述帧子块的对应关系，所述重构残差表示所述帧子块和所述场景特征基的差值；所述根据所述场景信息和所述重构残差进行重构，得到所述多个视频帧，包括：根据所述场景特征、所述表示系数和所述重构残差进行重构，得到多个帧子块；对所述多个帧子块进行组合，得到多个视频帧。15.根据权利要求14所述的方法，其特征在于，所述获取场景特征预测编码数据和残差预测编码数据，包括：获取视频压缩数据；对所述视频压缩数据进行熵解码、反量化处理和DCT反变化得到预测编码数据，所述预测编码数据包括所述场景特征预测编码数据、所述残差预测编码数据、B帧预测编码数据和P帧预测编码数据；所述对所述多个帧子块进行组合，得到多个视频帧，包括：对所述多个帧子块进行组合，得到多个I帧；所述方法还包括：以所述I帧为参考帧，对所述B帧预测编码数据和P帧预测编码数据进行帧间解码，得到B帧和P帧；对所述I帧、所述B帧和所述P帧按时间顺序进行排列，得到视频流。16.一种视频编码设备，其特征在于，所述设备包括：获取模块，用于获取多个视频帧，所述多个视频帧中的每一视频帧间在画面内容上包括...

【专利技术属性】
技术研发人员：吴国星，林灿榕，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44