一种视频数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例公开了一种视频数据处理方法、装置、计算机设备及存储介质，该方法包括：获取目标视频帧中的待编码单元和非运动估计模式；在基于第一非运动估计模式对待编码单元进行帧间预测处理时，基于目标视频帧的帧类型，确定参考视频帧，根据参考视频帧的第一失真参数以及第一模板生成条件，构建第一模板；对所获取的参考块的参考帧信息进行信息整理，基于整理后的参考帧信息在参考视频帧中确定满足第二模板生成条件的关键参考帧，以构建第二模板；在参考块满足第三模板生成条件时获取补充参考帧，以构建第三模板；基于第一模板、第二模板以及第三模板，生成第一预测模板。采用本申请实施例，可以提高最优参考帧的选择效率。

【技术实现步骤摘要】
一种视频数据处理方法、装置、计算机设备及存储介质
本申请涉及计算机
，尤其涉及一种视频数据处理方法、装置、计算机设备及存储介质。
技术介绍
在数据传输场景（例如，视频通话场景、直播场景等）中，具有视频编码功能的计算机设备需要对待传输的视频数据进行编码处理，得到视频数据对应的视频码流，以提高传输效率。可以理解的是，该计算机设备能够从视频数据中获取待进行编码处理的目标视频帧的待编码单元，进而可以分别对待编码单元进行帧间预测和帧内预测这样的预测处理，以确定出最优预测模式。其中，在帧间预测过程中，帧间预测模式可以包括单参考帧模式和组合参考帧模式。这里的单参考帧模式中可以包括非运动估计模式和运动估计模式。应当理解，计算机设备在基于非运动估计模式，对待编码单元进行帧间预测处理时，可以获取非运动估计模式对应的编码策略。这里的编码策略可以包括非运动估计模式1（例如，NEARESTMV模式），非运动估计模式2（例如，NEARMV模式）和非运动估计模式3（例如，GLOBALMV模式）这样的非运动估计模式。其中，每个非运动估计模式均会对应多个参考帧。例如，在目标视频帧的帧类型为B帧时，每个非运动估计模式均会对应7个参考帧。这意味着在计算机设备基于非运动估计模式，对待编码单元进行帧间预测处理时，将会进行21次帧间预测处理，计算复杂度较大，进而导致该计算机设备在非运动估计模式下，降低了对最优参考帧进行选择的效率。
技术实现思路
本申请实施例提供一种视频数据处理方法、装置、计算机设备及存储介质，可以提高最优参考帧的选择效率。本申请实施例一方面提供一种视频数据处理方法，包括：获取目标视频帧中的待编码单元以及待编码单元对应的非运动估计模式；非运动估计模式包括第一非运动估计模式；在基于第一非运动估计模式对待编码单元进行帧间预测处理时，基于目标视频帧的帧类型，确定与待编码单元相关联的参考视频帧，根据参考视频帧的第一失真参数以及第一模板生成条件，构建与待编码单元相关联的第一模板；获取待编码单元的参考块的参考帧信息，对参考块的参考帧信息进行信息整理，基于整理后的参考帧信息在参考视频帧中确定满足第二模板生成条件的关键参考帧，基于关键参考帧构建与待编码单元相关联的第二模板；在参考块满足第三模板生成条件时，获取与第三模板生成条件相关联的补充参考帧，基于补充参考帧构建与待编码单元相关联的第三模板；基于第一模板、第二模板以及第三模板，生成第一非运动估计模式对应的第一预测模板；第一预测模板用于预测待编码单元在第一非运动估计模式下的目标最优参考帧。本申请实施例一方面提供一种视频数据处理装置，包括：模式获取模块，用于获取目标视频帧中的待编码单元以及待编码单元对应的非运动估计模式；非运动估计模式包括第一非运动估计模式；第一模板构建模块，用于在基于第一非运动估计模式对待编码单元进行帧间预测处理时，基于目标视频帧的帧类型，确定与待编码单元相关联的参考视频帧，根据参考视频帧的第一失真参数以及第一模板生成条件，构建与待编码单元相关联的第一模板；第二模板构建模块，用于获取待编码单元的参考块的参考帧信息，对参考块的参考帧信息进行信息整理，基于整理后的参考帧信息在参考视频帧中确定满足第二模板生成条件的关键参考帧，基于关键参考帧构建与待编码单元相关联的第二模板；第三模板构建模块，用于在参考块满足第三模板生成条件时，获取与第三模板生成条件相关联的补充参考帧，基于补充参考帧构建与待编码单元相关联的第三模板；预测模板生成模块，用于基于第一模板、第二模板以及第三模板，生成第一非运动估计模式对应的第一预测模板；第一预测模板用于预测待编码单元在第一非运动估计模式下的目标最优参考帧。其中，该模式获取模块包括：目标视频帧获取单元，用于获取由图像采集器所采集到的视频数据，从视频数据中获取待进行编码处理的视频帧，将获取到的视频帧作为目标视频帧；图像块划分处理单元，用于通过视频编码器对目标视频帧进行图像块划分处理，得到目标视频帧的一个或者多个图像块，从一个或者多个图像块中获取待编码单元；模式获取单元，用于获取视频编码器的编码策略，从与编码策略相关联的编码模式中获取第一非运动估计模式，将第一非运动估计模式作为待编码单元对应的非运动估计模式。其中，该第一模板构建模块包括：参考帧确定单元，用于在基于第一非运动估计模式对待编码单元进行帧间预测处理时，基于目标视频帧的帧类型，确定与待编码单元相关联的参考视频帧；参考视频帧包括n个参考帧；n为正整数；初始失真参数确定单元，用于对每个参考帧的失真参数分别进行初始化处理，得到每个参考帧对应的初始失真参数；候选列表确定单元，用于在目标视频帧中获取与待编码单元具有相邻位置关系的相邻块，基于相邻块的参考帧信息、相邻块对应的运动向量以及向量记录条件，确定与待编码单元相关联的运动向量候选列表；运动向量候选列表中的目标运动向量是由相邻块对应的运动向量所确定的；目标失真参数确定单元，用于基于目标运动向量确定待编码单元对应的初始预测单元，基于待编码单元和初始预测单元，确定目标运动向量的目标失真参数；失真确定单元，用于基于初始失真参数、目标失真参数以及图像失真条件，分别确定每个参考帧对应的第一失真参数；第一模板构建单元，用于基于每个参考帧对应的第一失真参数以及第一模板生成条件，构建与待编码单元相关联的第一模板。其中，该候选列表确定单元包括：相邻块获取子单元，用于获取与目标视频帧相关联的向量记录条件，在目标视频帧中获取与待编码单元具有相邻位置关系的相邻块，且获取相邻块的参考帧信息以及相邻块的最优预测模式；目标运动向量确定子单元，用于从n个参考帧中遍历获取参考帧Xk，在相邻块的最优预测模式为帧间预测模式，且相邻块的参考帧信息与参考帧Xk相同时，将相邻块对应的运动向量确定为满足向量记录条件的目标运动向量，将目标运动向量记录至参考帧Xk所在的目标列表栏；目标列表栏属于初始运动向量候选列表中的列表栏；k为小于或者等于n的正整数；候选列表确定子单元，用于将记录有目标运动向量的初始运动向量候选列表作为与待编码单元相关联的运动向量候选列表。其中，待编码单元的图像尺寸为M×N；M和N均为非负整数；该目标失真参数确定单元包括：初始确定子单元，用于基于目标运动向量，确定待编码单元对应的初始预测单元；原始像素值确定子单元，用于从图像尺寸为M×N的待编码单元中获取像素点Pij，在待编码单元中确定像素点Pij的原始像素值；像素点Pij为待编码单元中的第i行第j列上的像素点；i为小于或者等于M的非负整数；j为小于或者等于N的非负整数；预测像素值确定子单元，用于在初始预测单元中确定像素点Pij所映射的预测像素点Pij’的预测像素值；目标失真参数确定子单元，用于确定像素点Pij的原始像素值与预测像素点Pij’的预测像素值的像素差值，基于像素差值得到目标运动向量的目标失真参数。本文档来自技高网...

【技术保护点】
1.一种视频数据处理方法，其特征在于，包括：/n获取目标视频帧中的待编码单元以及所述待编码单元对应的非运动估计模式；所述非运动估计模式包括第一非运动估计模式；/n在基于所述第一非运动估计模式对所述待编码单元进行帧间预测处理时，基于所述目标视频帧的帧类型，确定与所述待编码单元相关联的参考视频帧，根据所述参考视频帧的第一失真参数以及第一模板生成条件，构建与所述待编码单元相关联的第一模板；/n获取所述待编码单元的参考块的参考帧信息，对所述参考块的参考帧信息进行信息整理，基于整理后的参考帧信息在所述参考视频帧中确定满足第二模板生成条件的关键参考帧，基于所述关键参考帧构建与所述待编码单元相关联的第二模板；/n在所述参考块满足第三模板生成条件时，获取与所述第三模板生成条件相关联的补充参考帧，基于所述补充参考帧构建与所述待编码单元相关联的第三模板；/n基于所述第一模板、所述第二模板以及所述第三模板，生成所述第一非运动估计模式对应的第一预测模板；所述第一预测模板用于预测所述待编码单元在所述第一非运动估计模式下的目标最优参考帧。/n

【技术特征摘要】
1.一种视频数据处理方法，其特征在于，包括：
获取目标视频帧中的待编码单元以及所述待编码单元对应的非运动估计模式；所述非运动估计模式包括第一非运动估计模式；
在基于所述第一非运动估计模式对所述待编码单元进行帧间预测处理时，基于所述目标视频帧的帧类型，确定与所述待编码单元相关联的参考视频帧，根据所述参考视频帧的第一失真参数以及第一模板生成条件，构建与所述待编码单元相关联的第一模板；
获取所述待编码单元的参考块的参考帧信息，对所述参考块的参考帧信息进行信息整理，基于整理后的参考帧信息在所述参考视频帧中确定满足第二模板生成条件的关键参考帧，基于所述关键参考帧构建与所述待编码单元相关联的第二模板；
在所述参考块满足第三模板生成条件时，获取与所述第三模板生成条件相关联的补充参考帧，基于所述补充参考帧构建与所述待编码单元相关联的第三模板；
基于所述第一模板、所述第二模板以及所述第三模板，生成所述第一非运动估计模式对应的第一预测模板；所述第一预测模板用于预测所述待编码单元在所述第一非运动估计模式下的目标最优参考帧。


2.根据权利要求1所述的方法，其特征在于，所述获取目标视频帧中的待编码单元以及所述待编码单元对应的非运动估计模式，包括：
获取由图像采集器所采集到的视频数据，从所述视频数据中获取待进行编码处理的视频帧，将获取到的视频帧作为目标视频帧；
通过视频编码器对所述目标视频帧进行图像块划分处理，得到所述目标视频帧的一个或者多个图像块，从所述一个或者多个图像块中获取待编码单元；
获取所述视频编码器的编码策略，从与所述编码策略相关联的编码模式中获取第一非运动估计模式，将所述第一非运动估计模式作为所述待编码单元对应的非运动估计模式。


3.根据权利要求1所述的方法，其特征在于，所述在基于所述第一非运动估计模式对所述待编码单元进行帧间预测处理时，基于所述目标视频帧的帧类型，确定与所述待编码单元相关联的参考视频帧，根据所述参考视频帧的第一失真参数以及第一模板生成条件，构建与所述待编码单元相关联的第一模板，包括：
在基于所述第一非运动估计模式对所述待编码单元进行帧间预测处理时，基于所述目标视频帧的帧类型，确定与所述待编码单元相关联的参考视频帧；所述参考视频帧包括n个参考帧；所述n为正整数；
对每个参考帧的失真参数分别进行初始化处理，得到所述每个参考帧对应的初始失真参数；
在所述目标视频帧中获取与所述待编码单元具有相邻位置关系的相邻块，基于所述相邻块的参考帧信息、所述相邻块对应的运动向量以及向量记录条件，确定与所述待编码单元相关联的运动向量候选列表；所述运动向量候选列表中的目标运动向量是由所述相邻块对应的运动向量所确定的；
基于所述目标运动向量确定所述待编码单元对应的初始预测单元，基于所述待编码单元和所述初始预测单元，确定所述目标运动向量的目标失真参数；
基于所述初始失真参数、所述目标失真参数以及图像失真条件，分别确定所述每个参考帧对应的第一失真参数；
基于所述每个参考帧对应的第一失真参数以及第一模板生成条件，构建与所述待编码单元相关联的第一模板。


4.根据权利要求3所述的方法，其特征在于，所述在所述目标视频帧中获取与所述待编码单元具有相邻位置关系的相邻块，基于所述相邻块的参考帧信息、所述相邻块对应的运动向量以及向量记录条件，确定与所述待编码单元相关联的运动向量候选列表，包括：
获取与所述目标视频帧相关联的向量记录条件，在所述目标视频帧中获取与所述待编码单元具有相邻位置关系的相邻块，且获取所述相邻块的参考帧信息以及所述相邻块的最优预测模式；
从所述n个参考帧中遍历获取参考帧Xk，在所述相邻块的最优预测模式为帧间预测模式，且所述相邻块的参考帧信息与所述参考帧Xk相同时，将所述相邻块对应的运动向量确定为满足所述向量记录条件的目标运动向量，将所述目标运动向量记录至所述参考帧Xk所在的目标列表栏；所述目标列表栏属于初始运动向量候选列表中的列表栏；所述k为小于或者等于n的正整数；
将记录有所述目标运动向量的初始运动向量候选列表作为与所述待编码单元相关联的运动向量候选列表。


5.根据权利要求3所述的方法，其特征在于，所述待编码单元的图像尺寸为M×N；所述M和所述N均为非负整数；
所述基于所述目标运动向量确定所述待编码单元对应的初始预测单元，基于所述待编码单元和所述初始预测单元，确定所述目标运动向量的目标失真参数，包括：
基于所述目标运动向量，确定所述待编码单元对应的初始预测单元；
从图像尺寸为M×N的待编码单元中获取像素点Pij，在所述待编码单元中确定所述像素点Pij的原始像素值；所述像素点Pij为所述待编码单元中的第i行第j列上的像素点；所述i为小于或者等于所述M的非负整数；所述j为小于或者等于所述N的非负整数；
在所述初始预测单元中确定所述像素点Pij所映射的预测像素点Pij’的预测像素值；
确定所述像素点Pij的原始像素值与所述预测像素点Pij’的预测像素值的像素差值，基于所述像素差值得到所述目标运动向量的目标失真参数。


6.根据权利要求3所述的方法，其特征在于，所述基于所述每个参考帧对应的第一失真参数以及第一模板生成条件，构建与所述待编码单元相关联的第一模板，包括：
在所述每个参考帧对应的第一失真参数中，将最小第一失真参数确定为第二失真参数；
获取与第一模板生成条件相关联的权重等级表，在所述权重等级表中确定所述目标视频帧对应的权重等级，基于所述权重等级与权重参数之间的映射关系，确定所述权重等级对应的所述权重参数；
基于所述第二失真参数以及所述权重参数，确定所述第一模板生成条件中的预测阈值；
基于所述每个参考帧对应的第一失真参数以及所述预测阈值，从所述n个参考帧中获取满足所述第一模板生成条件的参考帧；
基于满足所述第一模板生成条件的参考帧，构建与所述待编码单元相关联的第一模板。


7.根据权利要求1所述的方法，其特征在于，所述获取所述待编码单元的参考块的参考帧信息，对所述参考块的参考帧信息进行信息整理，基于整理后的参考帧信息在所述参考视频帧中确定满足第二模板生成条件的关键参考帧，基于所述关键参考帧构建与所述待编码单元相关联的第二模板，包括：
获取与所述待编码单元具有相邻位置关系的相邻块，若所述相邻块中存在最优预测模式为帧间预测模式的相邻块，则将所述最优预测模式为帧间预测模式的相邻块确定为目标相邻块，记录所述目标相邻块的第一参考帧信息；
获取所述待编码单元对应的块划分策略，基于所述块划分策略对所述待编码单元进行划分处理，得到所述待编码单元对应的子块，若所述子块中存在最优预测模式为帧间预测模式的子块，则将所述最优预测模式为帧...

【专利技术属性】
技术研发人员：张宏顺，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44