直播视频帧编码预处理方法及其装置、设备、介质制造方法及图纸

本申请公开一种直播视频帧编码预处理方法及其装置、设备、介质，所述方法包括：获取直播视频流中的待滤波视频帧，对所述待滤波视频帧进行视频帧预处理；对待滤波视频帧进行下采样处理，获取下采样视频帧；基于预设像素数据块单位尺寸，对待滤波视频帧与下采样视频帧分别进行像素分行分块，获取待滤波视频帧与下采样视频帧的像素数据行，所述像素行中具有尺寸为所述预设像素数据块单位尺寸的像素数据块；并行对各像素数据行中的像素数据块进行时空域滤波，获取待滤波视频帧对应的滤波视频帧，将滤波视频帧输入至视频编码模型中进行视频编码。本申请应用于直播视频流的视频编码预处理，通过对视频帧进行时空域滤波，以提升视频帧的视频编码效率。帧的视频编码效率。帧的视频编码效率。

【技术实现步骤摘要】
直播视频帧编码预处理方法及其装置、设备、介质


[0001]本申请涉及网络直播领域，尤其涉及一种直播视频帧编码预处理方法，此外还涉及该方法相应的装置、设备以及非易失性存储介质。

技术介绍

[0002]现有的互联网直播平台的直播间业务中，会通过服务器将主播用户端的直播视频流推送至处于直播间中的观众用户端，以便直播间中的观众用户端获取直播视频流进行播放显示，主播用户端其自身的直播视频流进行视频编码，并将视频编码数据通过服务器广播至直播间中的观众用户端进行解码播放，但主播用户端所使用的直播设备的硬件水平各不相同，拍摄设备的硬件水平或网络传输条件较差的主播用户端上传的直播视频流的质量较差，该类直播视频流中的视频帧一般存在较多噪点，导致对该类视频帧的视频编码过程中编码效率较低且编解码所生成的视频帧质量也较差，导致直播视频流存在较长时延及视频质量较差，影响观众用户的直播观看体验。
[0003]鉴于现有的互联网直播平台中关于直播视频流的视频编码所存在的问题，本申请人出于解决该问题的考虑做出相应的探索。

技术实现思路

[0004]本申请的目的在于满足用户需求而提供一种直播视频帧编码预处理方法，此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。
[0005]为实现本申请的目的，采用如下技术方案：
[0006]适应本申请的目的而提出的一种直播视频帧编码预处理方法，包括如下步骤：
[0007]获取直播视频流中的待滤波视频帧，对所述待滤波视频帧进行视频帧预处理；
[0008]对所述待滤波视频帧进行下采样处理，获取下采样视频帧；
[0009]基于预设像素数据块单位尺寸，对所述待滤波视频帧与所述下采样视频帧分别进行像素分行分块，获取所述待滤波视频帧与所述下采样视频帧的像素数据行，所述像素行中具有尺寸为所述预设像素数据块单位尺寸的像素数据块；
[0010]并行对各所述像素数据行中的像素数据块进行时空域滤波，获取所述待滤波视频帧对应的滤波视频帧，将所述滤波视频帧输入至视频编码模型中进行视频帧编码。
[0011]进一步的实施例中，所述获取直播视频流中的待滤波视频帧的步骤之中，包括如下步骤：
[0012]根据作用于直播视频流的视频帧间隔，确定出所述直播视频流中的待滤波视频帧；
[0013]对所述待滤波视频帧预处理进行图像扩边与图像尺寸修改，并获取所述待滤波视频帧对应的视频帧编码决策。
[0014]进一步的实施例中，所述对所述待滤波视频帧进行下采样处理，获取下采样视频帧的步骤之中，包括如下步骤：
[0015]获取作用于待滤波视频帧的预设图像采样尺寸；
[0016]基于所述预设图像采样尺寸，对所述待滤波视频帧进行下采样处理，获取图像尺寸为所述预设图像采样尺寸的采样视频帧。
[0017]进一步的实施例中，所述基于预设像素数据块单位尺寸，对所述待滤波视频帧与所述下采样视频帧分别进行像素分行分块，获取所述待滤波视频帧与所述下采样视频帧的像素数据行，所述像素行中具有尺寸为所述预设像素数据块单位尺寸的像素数据块的步骤之中，包括如下步骤：
[0018]分别对滤波视频帧与其下采样视频帧进行像素分行处理，将所述滤波视频帧与所述下采样视频帧具有的像素数据划分为长度为预设像素数据块单位尺寸的像素数据行；
[0019]分别对所述滤波视频帧与所述下采样视频帧中的所述像素数据行进行像素分块处理，将各所述像素数据行中的像素数据划分为长度与宽度均为所述预设像素数据块单位尺寸的像素数据块。
[0020]进一步的实施例中，所述并行对各所述像素数据行中的像素数据块进行时空域滤波，获取所述待滤波视频帧对应的滤波视频帧之中，包括如下步骤：
[0021]并行对下采样视频帧中各下采样像素数据行的下采样像素数据块进行运动估计，获取各所述下采样像素数据块的下采样最佳运动矢量信息；
[0022]并行对待滤波像素帧中各待滤波像素数据行的待滤波像素数据块进行运动估计，获取各所述待滤波像素数据块的待滤波最佳运动矢量信息，其中，各所述待滤波像素数据块使用对应的下采样数据块的下采样最佳运动矢量信息进行运动估计；
[0023]并行对待滤波像素帧中各待滤波像素数据行的待滤波像素数据块进行半像素精度运动估计，获取各所述待滤波像素数据块的最终最佳运动矢量信息，其中，各所述待滤波像素数据块使用对应的待滤波数据块的待滤波最佳运动矢量信息进行运动估计；
[0024]并行对待滤波像素帧中各待滤波像素数据行的待滤波像素数据块进行运动补偿及双边滤波，将所述待滤波视频帧转换为滤波视频帧，其中，各所述待滤波像素数据块使用对应的待滤波数据块的待滤波最佳运动矢量信息进行运动补偿及双边滤波。
[0025]进一步的实施例中，所述并行对各所述像素数据行中的像素数据块进行时空域滤波，获取所述待滤波视频帧对应的滤波视频帧之中，包括如下步骤：
[0026]确定处于下采样视频帧中待处理的目标像素数据块，获取所述下采样视频帧对应的一个或多个邻近下采样视频帧；
[0027]搜索各所述邻近下采样视频帧中的参考像素数据块；
[0028]计算出所述目标像素数据块与各所述参考像素数据块之间的亮度差值，检测各所述参考像素数据块中是否存在所述亮度误差未超过预设阈值的目标参考像素数据块；
[0029]若存在所述目标参考像素数据块，则停止搜索所述邻近下采样视频帧中的参考像素数据块，计算所述目标像素数据块与所述目标参考像素数据块之间的运动矢量，生成包含所述运动矢量、所述目标参考像素数据块所处邻近下采样视频帧的视频帧标识及所述目标像素数据块的坐标位置的下采样最佳运动矢量信息。
[0030]进一步的实施例中，所述并行对各所述像素数据行中的像素数据块进行时空域滤波，获取所述待滤波视频帧对应的滤波视频帧之中，包括如下步骤：
[0031]根据处于待滤波视频帧中待处理的目标像素数据块的坐标位置，确定出所述目标
像素数据块对应的下采样最佳运动矢量信息；
[0032]根据所述目标像素数据块的坐标位置及所述下采样最佳运动矢量信息，确定出对应的邻近视频帧中的中心参考像素数据块，在所述邻近视频帧中确定出所述中心参考像素数据块周围的参考像素数据块；
[0033]计算出所述目标像素数据块与所述中心参考像素数据块及各所述参考像素数据块之间的亮度误差，确定出各所述参考像素数据块中所述亮度误差最小的目标参考像素数据块，当所述目标参考像素数据块为所述中心参考像素数据块或处于邻近视频帧图像边界的边界参考像素数据块时，将所述目标像素数据块作为最佳参考像素数据块，计算所述目标像素数据块与所述目标参考像素数据块之间的运动矢量，生成包含所述运动矢量、所述目标参考像素数据块所处邻近下采样视频帧的视频帧标识及所述目标像素数据块的坐标位置的最佳运动矢量信息；
[0034]当所述目标参考像素数据块不为所述中心参考像素数据块或所述边界参考像素数据块时，确定出所述目标参考像素数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播视频帧编码预处理方法，其特征在于，包括如下步骤：获取直播视频流中的待滤波视频帧，对所述待滤波视频帧进行视频帧预处理；对所述待滤波视频帧进行下采样处理，获取下采样视频帧；基于预设像素数据块单位尺寸，对所述待滤波视频帧与所述下采样视频帧分别进行像素分行分块，获取所述待滤波视频帧与所述下采样视频帧的像素数据行，所述像素行中具有尺寸为所述预设像素数据块单位尺寸的像素数据块；并行对各所述像素数据行中的像素数据块进行时空域滤波，获取所述待滤波视频帧对应的滤波视频帧，将所述滤波视频帧输入至视频编码模型中进行视频帧编码。2.根据权利要求1所述的方法，其特征在于，所述获取直播视频流中的待滤波视频帧的步骤之中，包括如下步骤：根据作用于直播视频流的视频帧间隔，确定出所述直播视频流中的待滤波视频帧；对所述待滤波视频帧预处理进行图像扩边与图像尺寸修改，并获取所述待滤波视频帧对应的视频帧编码决策。3.根据权利要求1所述的方法，其特征在于，所述对所述待滤波视频帧进行下采样处理，获取下采样视频帧的步骤之中，包括如下步骤：获取作用于待滤波视频帧的预设图像采样尺寸；基于所述预设图像采样尺寸，对所述待滤波视频帧进行下采样处理，获取图像尺寸为所述预设图像采样尺寸的采样视频帧。4.根据权利要求1所述的方法，其特征在于，所述基于预设像素数据块单位尺寸，对所述待滤波视频帧与所述下采样视频帧分别进行像素分行分块，获取所述待滤波视频帧与所述下采样视频帧的像素数据行，所述像素行中具有尺寸为所述预设像素数据块单位尺寸的像素数据块的步骤之中，包括如下步骤：分别对滤波视频帧与其下采样视频帧进行像素分行处理，将所述滤波视频帧与所述下采样视频帧具有的像素数据划分为长度为预设像素数据块单位尺寸的像素数据行；分别对所述滤波视频帧与所述下采样视频帧中的所述像素数据行进行像素分块处理，将各所述像素数据行中的像素数据划分为长度与宽度均为所述预设像素数据块单位尺寸的像素数据块。5.根据权利要求1所述的方法，其特征在于，所述并行对各所述像素数据行中的像素数据块进行时空域滤波，获取所述待滤波视频帧对应的滤波视频帧之中，包括如下步骤：并行对下采样视频帧中各下采样像素数据行的下采样像素数据块进行运动估计，获取各所述下采样像素数据块的下采样最佳运动矢量信息；并行对待滤波像素帧中各待滤波像素数据行的待滤波像素数据块进行运动估计，获取各所述待滤波像素数据块的待滤波最佳运动矢量信息，其中，各所述待滤波像素数据块使用对应的下采样数据块的下采样最佳运动矢量信息进行运动估计；并行对待滤波像素帧中各待滤波像素数据行的待滤波像素数据块进行半像素精度运动估计，获取各所述待滤波像素数据块的最终最佳运动矢量信息，其中，各所述待滤波像素数据块使用对应的待滤波数据块的待滤波最佳运动矢量信息进行运动估计；并行对待滤波像素帧中各待滤波像素数据行的待滤波像素数据块进行运动补偿及双边滤波，将所述待滤波视频帧转换为滤波视频帧，其中，各所述待滤波像素数据块使用对应
的待滤波数据块的待滤波最佳运动矢量信息进行运动补偿及双边滤波。6.根据权利要求1所述的方法，其特征在于，所述并行对各所述像素数据行中的像素数据块进行时空域滤波，获取所述待滤波视频帧对应的滤波视频帧之中，包括如下步骤：确定处于下采样视频帧中待处理的目标像素数据块，获取所述下采样视频帧对应的一个或多个邻近下采样视频帧；搜索各所述邻近下采样视频帧中的参考像素数据块；计算出所述目标像素数据块与各所述参考像素数据块之...

【专利技术属性】
技术研发人员：周旭，林煜，周超，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：