视频编解码方法、装置、设备、存储介质及计算机程序制造方法及图纸

本申请实施例公开了一种视频编解码方法、装置、设备、存储介质及计算机程序，属于编解码技术领域。所述方法包括：基于待编码的视频帧的属性信息确定所述视频帧的掩膜标签，所述属性信息包括语义类别和/或纹理特征，所述视频帧的掩膜标签用于区分所述视频帧中的纹理区域和非纹理区域；对所述视频帧的掩膜标签进行编码；对所述视频帧包括的多个编码块进行编码；将所述视频帧的掩膜标签的编码结果以及所述多个编码块的编码结果写入码流。本申请实施例将视频帧的掩膜标签编入码流，这样有助于解码端提高重建的视频帧中纹理区域的质量。码端提高重建的视频帧中纹理区域的质量。码端提高重建的视频帧中纹理区域的质量。

【技术实现步骤摘要】
视频编解码方法、装置、设备、存储介质及计算机程序


[0001]本申请涉及编解码
，特别涉及一种视频编解码方法、装置、设备、存储介质及计算机程序。

技术介绍

[0002]随着多媒体技术的快速发展，视频的数据量越来越大。然而，大量的数据在传输和存储的过程中存在困难，因此如何进行视频编解码成为业界的关注点之一。
[0003]相关技术提出了一种视频编解码方法，在该方法中，对于待编码的视频帧，编码端将该视频帧划分为多个编码块，基于事先设置的量化参数对各个编码块进行编码并写入码流。由于量化参数是控制量化程度的重要参数，反映了视频帧的压缩情况，与编码后的视频质量相关，所以，通过量化参数对各个编码块进行编码之后会产生图像失真的情况。为了缓解图像的失真，解码端从码流中解析出各个编码块之后，通过滤波器对各个编码块进行处理，进而确定重建视频帧。
[0004]然而，不同视频帧的视频内容不同，所以按照上述方法进行解码后得到的重建视频帧的质量可能并不是最优的。

技术实现思路

[0005]本申请提供了一种视频编解码方法、装置、设备、存储介质及计算机程序，可以解决相关技术中重建的视频帧的质量并不是最优的问题。所述技术方案如下：
[0006]第一方面，提供了一种视频编码方法，在该方法中，基于待编码的视频帧的属性信息确定该视频帧的掩膜标签，该属性信息包括语义类别和/或纹理特征，该视频帧的掩膜标签用于区分该视频帧中的纹理区域和非纹理区域；对该视频帧的掩膜标签进行编码；对该视频帧包括的多个编码块进行编码；将该视频帧的掩膜标签的编码结果以及该多个编码块的编码结果写入码流。
[0007]由于该视频帧的属性信息包括语义类别和/或纹理特征，也即是，该视频帧的属性信息存在三种情况，在该视频帧的属性信息不同的情况下，确定该视频帧的掩膜标签的方式不同。所以，接下来将分为多种情况，对该视频帧的掩膜标签的确定方式进行介绍。
[0008]第一种情况，该视频帧的属性信息包括语义类别和纹理特征。基于待编码的视频帧的属性信息确定该视频帧的掩膜标签，包括：对该视频帧进行语义分割，以得到第一语义分割图，第一语义分割图包括多个语义区域，每个语义区域对应一个语义类别。基于该多个语义区域分别对应的语义类别和该视频帧的纹理特征，确定该视频帧的掩膜标签，该视频帧的掩膜标签还用于区分该视频帧中的纹理区域所属的纹理类别。
[0009]基于该多个语义区域分别对应的语义类别和该视频帧的纹理特征，确定该视频帧的掩膜标签，包括：基于该多个语义区域分别对应的语义类别和该视频帧的纹理特征，确定该多个语义区域分别对应的掩膜标签。基于该多个语义区域分别对应的掩膜标签，确定该视频帧的掩膜标签。
[0010]由于该多个语义区域中每个语义区域对应的掩膜标签的确定方式相同，因此接下来以其中一个语义区域为例进行介绍。也即是，从该多个语义区域中选择一个语义区域，若存储的语义类别与纹理类别之间的对应关系中存在与第一语义类别对应的第一纹理类别，则基于第一纹理类别确定选择出的语义区域对应的掩膜标签，第一语义类别为选择出的语义区域所对应的语义类别。若该语义类别与纹理类别之间的对应关系中不存在第一纹理类别，则基于第一图像区域内的纹理特征，确定选择出的语义区域对应的掩膜标签，第一图像区域为选择出的语义区域在该视频帧中对应的图像区域。
[0011]对于一些比较典型和特殊的区域来说，这些区域通常存在丰富的纹理，比如，草地、建筑、山、植物等。所以，本申请实施例事先确定这些区域的语义类别，以及这些区域的纹理类别，并存储语义类别与纹理类别之间的对应关系。这样，对于选择出的语义区域来说，若存储的语义类别与纹理类别之间的对应关系中存在与第一语义类别对应的第一纹理类别，则表明选择出的语义区域为纹理区域，并且是典型和特殊的纹理区域，之后，基于第一纹理类别确定选择出的语义区域对应的掩膜标签。若存储的语义类别与纹理类别之间的对应关系中不存在第一纹理类别，则表明选择出的语义区域可能为非纹理区域，也可能为纹理区域，但不是典型和特殊的纹理区域，此时，需要基于第一图像区域内的纹理特征，确定选择出的语义区域对应的掩膜标签。
[0012]需要说明的是，一个纹理类别可能对应一个语义类别，当然，一个纹理类别也可能对应多个语义类别。比如，树木和草地这两个语义类别对应同一纹理类别，即植物。山和丘陵这两个语义类别对应同一纹理类别，即山。
[0013]由于该视频帧的掩膜标签不仅用于区分纹理区域和非纹理区域，还用于区分不同纹理区域的纹理类别，所以，本申请实施例可以事先针对一些典型和特殊的纹理区域，确定这些纹理区域对应的纹理类别，以及这些纹理类别对应的掩膜标签，进而存储纹理类别与掩膜标签之间的对应关系。这样，在基于第一纹理类别确定选择出的语义区域对应的掩膜标签时，可以从该纹理类别与掩膜标签之间的对应关系中获取与第一纹理类别对应的掩膜标签，将该掩膜标签确定为选择出的语义区域对应的掩膜标签。
[0014]基于第一图像区域内的纹理特征，确定选择出的语义区域对应的掩膜标签的实现过程包括：获取第一图像区域内的多个局部图像区域分别对应的纹理特征，该多个局部图像区域不存在重叠。基于该多个局部图像区域分别对应的纹理特征，以及存储的多个基准视频帧分别对应的纹理特征，确定该多个局部图像区域分别与该多个基准视频帧中每个基准视频帧之间的纹理相似度，该多个基准视频帧包括纹理视频帧和非纹理视频帧。基于确定的纹理相似度，确定该多个局部图像区域分别对应的掩膜标签。基于该多个局部图像区域分别对应的掩膜标签，确定选择出的语义区域对应的掩膜标签。
[0015]在确定出该多个局部图像区域分别与该多个基准视频帧中每个基准视频帧之间的纹理相似度之后，每个局部图像区域均对应多个纹理相似度，该多个纹理相似度与该多个基准视频帧一一对应。所以，在一些实施例中，对于任一局部图像区域，可以基于该局部图像区域对应的多个纹理相似度，按照纹理相似度从大到小的顺序，选择前K个纹理相似度所对应的基准视频帧，以得到K个基准视频帧。确定该K个基准视频帧中纹理视频帧的数量以及非纹理视频帧的数量，如果非纹理视频帧的数量大于纹理视频帧的数量，则确定该局部图像区域为非纹理区域，进而确定该局部图像区域对应的掩膜标签为第一值。如果纹理
视频帧的数量大于非纹理视频帧的数量，则确定该局部图像区域为纹理区域，进而确定该局部图像区域对应的掩膜标签为第二值。
[0016]由于通过上述的语义类别只能识别出典型和特殊的纹理区域，而无法识别出不是典型和特殊的纹理区域(也可以称为常规纹理区域)，所以，本申请实施例通过纹理特征来识别常规纹理区域。在通过纹理特征来识别常规纹理区域时，在确定出K个基准视频帧中纹理视频帧的数量大于非纹理视频帧的数量的情况下，表明该局部图像区域为常规纹理区域，此时，可以直接确定该局部图像区域对应的掩膜标签为第二值，第二值与上述纹理类别与掩膜标签之间的对应关系中的掩膜标签不同。当然，上述纹理类别与掩膜标签之间的对应关系中也可以包括常规纹理区域的纹理类别与掩膜标签的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频编码方法，其特征在于，所述方法包括：基于待编码的视频帧的属性信息确定所述视频帧的掩膜标签，所述属性信息包括语义类别和/或纹理特征，所述视频帧的掩膜标签用于区分所述视频帧中的纹理区域和非纹理区域；对所述视频帧的掩膜标签进行编码；对所述视频帧包括的多个编码块进行编码；将所述视频帧的掩膜标签的编码结果以及所述多个编码块的编码结果写入码流。2.如权利要求1所述的方法，其特征在于，所述视频帧的属性信息包括语义类别和纹理特征；所述基于待编码的视频帧的属性信息确定所述视频帧的掩膜标签，包括：对所述视频帧进行语义分割，以得到第一语义分割图，所述第一语义分割图包括多个语义区域，每个语义区域对应一个语义类别；基于所述多个语义区域分别对应的语义类别和所述视频帧的纹理特征，确定所述视频帧的掩膜标签，所述视频帧的掩膜标签还用于区分所述视频帧中的纹理区域所属的纹理类别。3.如权利要求2所述的方法，其特征在于，所述基于所述多个语义区域分别对应的语义类别和所述视频帧的纹理特征，确定所述视频帧的掩膜标签，包括：基于所述多个语义区域分别对应的语义类别和所述视频帧的纹理特征，确定所述多个语义区域分别对应的掩膜标签；基于所述多个语义区域分别对应的掩膜标签，确定所述视频帧的掩膜标签。4.如权利要求3所述的方法，其特征在于，所述基于所述多个语义区域分别对应的语义类别和所述视频帧的纹理特征，确定所述多个语义区域分别对应的掩膜标签，包括：从所述多个语义区域中选择一个语义区域，按照以下操作确定选择出的语义区域对应的掩膜标签，直至确定出每个语义区域对应的掩膜标签为止：若存储的语义类别与纹理类别之间的对应关系中存在与第一语义类别对应的第一纹理类别，则基于所述第一纹理类别确定所述选择出的语义区域对应的掩膜标签，所述第一语义类别为所述选择出的语义区域所对应的语义类别；若所述语义类别与纹理类别之间的对应关系中不存在所述第一纹理类别，则基于第一图像区域内的纹理特征，确定所述选择出的语义区域对应的掩膜标签，所述第一图像区域为所述选择出的语义区域在所述视频帧中对应的图像区域。5.如权利要求4所述的方法，其特征在于，所述基于第一图像区域内的纹理特征，确定所述选择出的语义区域对应的掩膜标签，包括：获取所述第一图像区域内的多个局部图像区域分别对应的纹理特征，所述多个局部图像区域不存在重叠；基于所述多个局部图像区域分别对应的纹理特征，以及存储的多个基准视频帧分别对应的纹理特征，确定所述多个局部图像区域分别与所述多个基准视频帧中每个基准视频帧之间的纹理相似度，所述多个基准视频帧包括纹理视频帧和非纹理视频帧；基于确定的纹理相似度，确定所述多个局部图像区域分别对应的掩膜标签；基于所述多个局部图像区域分别对应的掩膜标签，确定所述选择出的语义区域对应的
掩膜标签。6.如权利要求1所述的方法，其特征在于，所述视频帧的属性信息包括纹理特征，所述视频帧的掩膜标签包括所述多个编码块分别对应的掩膜标签；所述基于待编码的视频帧的属性信息确定所述视频帧的掩膜标签，包括：基于所述多个编码块分别对应的纹理特征，确定所述多个编码块分别对应的掩膜标签。7.如权利要求6所述的方法，其特征在于，所述基于所述多个编码块分别对应的纹理特征，确定所述多个编码块分别对应的掩膜标签，包括：从所述多个编码块中选择一个编码块，按照以下操作确定选择出的编码块对应的掩膜标签，直至确定出每个编码块对应的掩膜标签为止：获取所述选择出的编码块内的多个局部图像区域分别对应的纹理特征，所述多个局部图像区域不存在重叠；基于所述多个局部图像区域分别对应的纹理特征，以及存储的多个基准视频帧分别对应的纹理特征，确定所述多个局部图像区域分别与所述多个基准视频帧中每个基准视频帧之间的纹理相似度，所述多个基准视频帧包括纹理视频帧和非纹理视频帧；基于确定的纹理相似度，确定所述多个局部图像区域分别对应的掩膜标签；基于所述多个局部图像区域分别对应的掩膜标签，确定所述选择出的编码块对应的掩膜标签。8.如权利要求1所述的方法，其特征在于，所述视频帧的属性信息包括语义类别；所述基于待编码的视频帧的属性信息确定所述视频帧的掩膜标签，包括：对所述视频帧进行语义分割，以得到第一语义分割图，所述第一语义分割图包括多个语义区域，每个语义区域对应一个语义类别，所述视频帧的掩膜标签包括所述多个语义区域分别对应的语义类别。9.如权利要求1所述的方法，其特征在于，所述对所述视频帧包括的多个编码块进行编码，包括：基于所述视频帧的掩膜标签确定所述多个编码块分别对应的量化参数，所述多个编码块中属于纹理区域的编码块所对应的量化参数大于非纹理区域的编码块所对应的量化参数；基于所述多个编码块分别对应的量化参数，对所述多个编码块进行编码。10.如权利要求9所述的方法，其特征在于，所述基于所述视频帧的掩膜标签确定所述多个编码块分别对应的量化参数，包括：从所述多个编码块中选择一个编码块，按照以下操作确定选择出的编码块对应的量化参数，直至确定出每个编码块对应的量化参数为止：如果基于所述视频帧的掩膜标签确定所述选择出的编码块属于纹理区域，则确定所述选择出的编码块对应的像素值标准差，所述像素值标准差用于指示所述选择出的编码块内的纹理复杂度；将所述像素值标准差与最大可调节量化参数相乘，以得到第一量化参数；将所述第一量化参数与第二量化参数相加，以得到所述选择出的编码块对应的量化参数，所述第二量化参数为所述多个编码块中属于非纹理区域的编码块所对应的量化参数。
11.一种视频解码方法，其特征在于，所述方法包括：解析码流，以得到多个重建编码块；确定所述多个重建编码块分别对应的掩膜标签，所述掩膜标签用于区分纹理区域和非纹理区域，以及用于区分纹理区域所属的纹理类别；基于所述多个重建编码块中属于纹理区域的各个重建编码块所对应的掩膜标签，从多个纹理增强网络中确定属于纹理区域的各个重建编码块所对应的纹理增强网络；将所述多个重建编码块中属于纹理区域的各个重建编码块输入至各自对应的纹理增强网络，以得到多个纹理增强编码块；将所述多个重建编码块中属于非纹理区域的重建编码块与所述多个纹理增强编码块进行拼接，以得到重建的视频帧。12.如权利要求11所述的方法，其特征在于，所述确定所述多个重建编码块分别对应的掩膜标签，包括：解析所述码流，以得到待重建的视频帧的掩膜标签，所述待重建的视频帧的掩膜标签用于区分纹理区域和非纹理区域，以及用于区分纹理区域所属的纹理类别；基于所述待重建的视频帧的掩膜标签确定所述多个重建编码块分别对应的掩膜标签。13.如权利要求11所述的方法，其特征在于，所述确定所述多个重建编码块分别对应的掩膜标签，包括：解析所述码流，以得到待重建的视频帧的掩膜标签，所述待重建的视频帧的掩膜标签用于区分纹理区域和非纹理区域；对基础重建帧进行语义分割，以得到第二语义分割图，所述基础重建帧为所述多个重建编码块拼接后得到的视频帧，所述第二语义分割图包括多个语义区域，每个语义区域对应一个语义类别；基于所述待重建的视频帧的掩膜标签和所述多个语义区域分别对应的语义类别，确定所述多个语义区域分别对应的掩膜标签；基于所述多个语义区域分别对应的掩膜标签，确定所述多个重建编码块分别对应的掩膜标签。14.如权利要求13所述的方法，其特征在于，所述基于所述待重建的视频帧的掩膜标签和所述多个语义区域分别对应的语义类别，确定所述多个语义区域分别对应的掩膜标签，包括：从所述多个语义区域中选择一个语义区域，按照以下操作处理选择出的语义区域，直至处理完每个语义区域为止：若存储的语义类别与纹理类别之间的对应关系中存在与第二语义类别对应的第二纹理类别，则基于所述第二纹理类别确定所述选择出的语义区域对应的掩膜标签，所述第二语义类别为所述选择出的语义区域所对应的语义类别；若所述语义类别与纹理类别之间的对应关系中不存在所述第二纹理类别，则基于所述视频帧的掩膜标签确定所述选择出的语义区域对应的掩膜标签。15.如权利要求11所述的方法，其特征在于，所述确定所述多个重建编码块分别对应的掩膜标签，包括：解析所述码流，以得到待重建的视频帧的掩膜标签，所述待重建的视频帧的掩膜标签
包括多个语义区域分别对应的语义类别；基于所述多个语义区域分别对应的语义类别和基础重建帧的纹理特征，确定所述多个语义区域分别对应的掩膜标签，所述基础重建帧是对所述多个重建编码块进行拼接后得到；基于所述多个语义区域分别对应的掩膜标签，确定所述多个重建编码块分别对应的掩膜标签。16.如权利要求11所述的方法，其特征在于，所述确定所述多个重建编码块分别对应的掩膜标签，包括：对基础重建帧进行语义分割，以得到第二语义分割图，所述基础重建帧为所述多个重建编码块拼接后得到的视频帧，所述第二语义分割图包括多个语义区域，每个语义区域对应一个语义类别；基于所述多个语义区域分别对应的语义类别和所述基础重建帧的纹理特征，确定所述多个语义区域分别对应的掩膜标签；基于所述多个语义区域分别对应的掩膜标签，确定所述多个重建编码块分别对应的掩膜标签。17.如权利要求16所述的方法，其特征在于，所述基于所述多个语义区域分别对应的语义类别和所述基础重建帧的纹理特征，确定所述多个语义区域分别对应的掩膜标签，包括：从所述多个语义区域中选择一个语义区域，按照以下操作确定选择出的语义区域对应的掩膜标签，直至确定出每个语义区域对应的掩膜标签为止：若存储的语义类别与纹理类别之间的对应关系中存在与第二语义类别对应的第二纹理类别，则基于所述第二纹理类别确定所述选择出的语义区域对应的掩膜标签，所述第二语义类别为所述选择出的语义区域所对应的语义类别；若所述语义类别与纹理类别之间的对应关系中不存在所述第二纹理类别，则基于第二图像区域内的纹理特征，确定所述选择出的语义区域对应的掩膜标签，所述第二图像区域为所述选择出的语义区域在所述基础重建帧中对应的图像区域。18.如权利要求17所述的方法，其特征在于，所述基于第二图像区域内的纹理特征，确定所述选择出的语义区域对应的掩膜标签，包括：获取所述第二图像区域内的多个局部图像区域分别对应的纹理特征，所述多个局部图像区域不存在重叠；基于所述多个局部图像区域分别对应的纹理特征，以及存储的多个基准视频帧分别对应的纹理特征，确定所述多个局部图像区域分别与所述多个基准视频帧中每个基准视频帧之间的纹理相似度，所述多个基准视频帧包括纹理视频帧和非纹理视频帧；基于确定的纹理相似度，确定所述多个局部图像区域分别对应的掩膜标签；基于所述多个局部图像区域分别对应的掩膜标签，确定所述选择出的语义区域对应的掩膜标签。19.一种视频编码装置，其特征在于，所述装置包括：标签确定模块，用于基于待编码的视频帧的属性信息确定所述视频帧的掩膜标签，所述属性信息包括语义类别和/或纹理特征，所述视频帧的掩膜标签用于区分所述视频帧中的纹理区域和非纹理区域；
第一编码模块，用于对所述视频帧的掩膜标签进行编码；第二编码模块，用于对所述视频帧包括的多个编码块进行编码；写入模块，用于将所述视频帧的掩膜标签的编...

【专利技术属性】
技术研发人员：朱辰，陈焕浜，孙宇乐，杨海涛，宋利，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：