【技术实现步骤摘要】
帧内预测方法及装置
本专利技术涉及编解码
，特别涉及一种帧内预测方法及装置。
技术介绍
随着视频编解码技术的飞速发展，目前提出了一种高效的视频压缩编码技术，该视频压缩编码技术是指在图像帧的各种维度上去除冗余，采用帧内预测技术通过降低图像帧在空域上的冗余来提高编码压缩率。目前的帧内预测技术主要是将待预测区域的左侧相邻的一列已重建(即已编码重建或者已解码重建)的像素值和上侧的一行已重建的像素值作为参考像素值，对待预测区域的像素值按照帧内预测模式进行预测。但是，目前的帧内预测模式比较单一，且主要根据是待预测区域和相邻的已重建像素的相关性预测的，这样预测得到的像素值的可靠性较低。
技术实现思路
本专利技术实施例提供了一种帧内预测方法及装置，能够解决目前的帧内预测技术预测得到的像素值的可靠性较低的问题。所述技术方案如下：根据本专利技术实施例的第一方面，提供一种帧内预测方法，所述方法包括：生成待处理图像帧中待预测区域的预测图像块；将待处理图像块输入深度神经网络，所述待处理图像块包括所述预测图像块，以及周边图像块，所述周边图像块包括与所述待预测区域相邻的，且位于所述待预测区域的左侧、上方和左上方中的至少一个方位的块状区域中的已重建的像素值；获取所述深度神经网络输出的输出图像块；基于所述输出图像块，确定最终预测块，所述最终预测块的尺寸与所述预测图像块的尺寸相同。可选的，所述生成待处理图像帧中待预测区域的预测图像块，包括：基于帧内预测模式，生成所述预测图像块；或者，基于所述待预测区域的第一周边区域中所有已重建的像素值的第一平均值，生成所述预测图像块，其中，所述第一周边区域...
【技术保护点】
1.一种帧内预测方法，其特征在于，所述方法包括：生成待处理图像帧中待预测区域的预测图像块；将待处理图像块输入深度神经网络，所述待处理图像块包括所述预测图像块，以及周边图像块，所述周边图像块包括与所述待预测区域相邻的，且位于所述待预测区域的左侧、上方和左上方中的至少一个方位的块状区域中的已重建的像素值；获取所述深度神经网络输出的输出图像块；基于所述输出图像块，确定最终预测块，所述最终预测块的尺寸与所述预测图像块的尺寸相同。
【技术特征摘要】
1.一种帧内预测方法，其特征在于，所述方法包括：生成待处理图像帧中待预测区域的预测图像块；将待处理图像块输入深度神经网络，所述待处理图像块包括所述预测图像块，以及周边图像块，所述周边图像块包括与所述待预测区域相邻的，且位于所述待预测区域的左侧、上方和左上方中的至少一个方位的块状区域中的已重建的像素值；获取所述深度神经网络输出的输出图像块；基于所述输出图像块，确定最终预测块，所述最终预测块的尺寸与所述预测图像块的尺寸相同。2.根据权利要求1所述的方法，其特征在于，所述生成待处理图像帧中待预测区域的预测图像块，包括：基于帧内预测模式，生成所述预测图像块；或者，基于所述待预测区域的第一周边区域中所有已重建的像素值的第一平均值，生成所述预测图像块，其中，所述第一周边区域包括与所述待预测区域相邻的，且位于所述待预测区域的左侧、上方和左上方中的至少一个方位的块状区域，所述预测图像块中的每个像素值均等于所述第一平均值；或者，基于所述待预测区域的第二周边区域中所有已重建的像素值的第二平均值，生成所述预测图像块，其中，所述第二周边区域包括：与所述待预测区域相邻的，且位于所述待预测区域的左侧、上方和左上方的块状区域，以及与所述待预测区域相邻的，位于所述待预测区域的左下方和/或右上方的块状区域，所述预测图像块中的每个像素值均等于所述第二平均值。3.根据权利要求1所述的方法，其特征在于，在所述将待处理图像块输入深度神经网络之前，所述方法还包括：确定左下图像块，所述左下图像块包括所述待预测区域的左下方相邻的块状区域的像素值；确定右上图像块，所述右上图像块包括所述待预测区域的右上方相邻的块状区域的像素值；采用所述预测图像块中右边缘的块状区域的像素值填充所述待预测区域右侧相邻的块状区域，得到右侧图像块，所述右侧图像块还与所述右上图像块相邻；采用所述预测图像块中下边缘的块状区域的像素值填充所述待预测区域下方相邻的块状区域，得到下方图像块，所述下方图像块还与所述左下图像块相邻；采用所述预测图像块中右下角边缘的块状区域的像素值填充所述待预测区域右下方相邻的块状区域，得到右下方图像块，所述右下方图像块还分别与所述右侧图像块与所述下方图像块相邻；生成所述待处理图像块，所述待处理图像块由所述预测图像块、所述周边图像块、所述左下图像块、所述右上图像块、所述右侧图像块、所述下方图像块和所述右下方图像块按照在所述待处理图像帧中的位置关系组成。4.根据权利要求3所述的方法，其特征在于，所述确定左下图像块，包括：当所述待预测区域的左下方相邻的第一块状区域存在已重建的像素值时，将所述第一块状区域中的已重建的像素值确定为所述左下图像块中的像素值；当所述第一块状区域不存在已重建的像素值时，将所述第一块状区域上方相邻的块状区域中的已重建的像素值确定为所述左下图像块中的像素值；所述确定右上图像块，包括：当所述待预测区域的右上方相邻的第二块状区域存在已重建的像素值时，将所述第二块状区域中的已重建的像素值确定为所述右上图像块中的像素值；当所述第二块状区域不存在已重建的像素值时，将所述第二块状区域左侧的块状区域中的已重建的像素值确定为所述右上图像块中的像素值。5.根据权利要求1所述的方法，其特征在于，所述输出图像块的尺寸大于所述预测图像块的尺寸；所述基于所述输出图像块，确定最终预测块，包括：对所述输出图像块进行裁剪，将裁剪得到的图像块作为所述最终预测块。6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：对初始深度神经网络进行训练以得到所述深度神经网络，所述深度神经网络的训练过程包括：采用与所述预测图像块相同的生成方式，生成指定图像帧中的第一训练区域的训练预测图像块，所述第一训练区域的尺寸与所述待预测区域尺寸相同；基于所述训练预测图像块，采用与所述待处理图像块相同的生成方式，生成第一训练图像块；将所述第一训练图像块输入初始深度神经网络；将第二训练图像块作为训练标签，对所述初始深度神经网络进行训练以得到所述深度神经网络，所述第二训练图像块包括所述指定图像帧中第二训练区域对应的原始像素值；其中，第一位置关系与第二位置关系相同，所述第一位置关系为所述第二训练区域与所述第一训练区域在所述指定图像帧中的位置关系，所述第二位置关系为所述输出图像块对应的区域与所述预测图像块对应的区域在所述待处理图像帧中的位置关系。7.根据权利要求6所述的方法，其特征在于，所述深度神经网络基于代价函数训练得到，所述代价函数为所述初始深度神经网络输出的训练输出图像块与所述标签的预设运算值，所述预设运算值为均方误差，或者，平均绝对差值，或者，绝对差值之和，或者，标准差。8.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述输出图像块，确定最终预测块，包括：对所述输出图像块进行裁剪，将裁剪得到的图像块作为备用预测块，并将所述备用预测块与所述预测图像块之和确定为所述最终预测块；或者，将所述输出图像块与所述预测图像块之和确定为所述最终预测块。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：对初始深度神经网络进行训练以得到所述深度神经网络，所述深度神经网络的训练过程包括：采用与所述预测图像块相同的生成方式，生成指定图像帧中的第一训练区域的训练预测图像块，所述第一训练区域的尺寸与所述待预测区域尺寸相同；基于所述训练预测图像块，采用与所述待处理图像块相同的生成方式，生成训练图像块；将所述训练图像块输入初始深度神经网络；将残差块作为训练标签，对所述初始深度神经网络进行训练以得到所述深度神经网络，所述残差块包括所述指定图像帧中第二训练区域对应的残差值；其中，第一位置关系与第二位置关系相同，所述第一位置关系为所述第二训练区域与所述第一训练区域在所述指定图像帧中的位置关系，所述第二位置关系为所述输出图像块对应的区域与所述预测图像块对应的区域在所述待处理图像帧中的位置关系。10.根据权利要求9所述的方法，其特征在于，所述深度神经网络基于代价函数训练得到，所述代价函数为所述初始深度神经网络输出的训练输出图像块与所述训练预测图像块之和与所述标签的预设运算值，所述预设运算值为均方误差，或者，平均绝对差值，或者，绝对差值之和，或者，标准差。11.根据权利要求6或9所述的方法，其特征在于，所述训练预测图像块有多个，所述对所述初始深度神经网络进行训练以得到所述深度神经网络，包括：通过反向传递的方式更新所述初始深度神经网络的网络参数，直至多个所述训练预测图像块对应的所述训练代价函数收敛，以得到所述深度神经网络。12.根据权利要求5或8所述的方法，其特征在于，所述裁剪得到的图像块为位于所述输出图像块中右下角的图像块。13.根据权利要求1所述的方法，其特征在于，所述深度神经网络包括依次连接的输入层、隐含层和输出层；所述隐含层包括依次连接的至少一个卷积层，每个所述卷积层中只包含一种尺寸的卷积核；或者，所述隐含层包括依次连接的至少一个卷积层，至少存在一个卷积层包含多个尺寸的卷积核；或者，所述隐含层包括依次连接的至少一个卷积层和整合层，所述整合层用于对经过所述至少一个卷积层的图像块进行缩放和偏移处理；或者，所述隐含层包括依次连接的至少两个全连接层；或者，所述隐含层包括至少一个卷积层和至少一个全连接层。14.根据权利要求1所述的方法，其特征在于，所述深度神经网络包括依次连接的输入层、隐含层和输出层；在所述获取所述深度神经网络输出的输出图像块之前，所述方法还包括：当所述隐含层输出的图像块的尺寸与所述预测图像块的尺寸相同，通过所述输出层将所述隐含层输出的图像块作为所述输出图像块输出；当所述隐含层输出的图像块的尺寸大于所述预测图像块的尺寸，通过所述输出层对所述隐含层输出的图像块进行裁剪，将裁剪得到的图像块作为所述输出图像块输出，所述裁剪得到的图像块的尺寸等于所述预测图像块的尺寸。15.根据权利要求14所述的方法，其特征在于，所述裁剪得到的图像块为位于所述隐含层输出的图像块中右下角的图像块。16.根据权利要求1至14任一所述的方法，其特征在于，所述方法应用于解码端时，在所述将待处理图像块输入深度神经网络之前，所述方法还包括：获取待预测区域对应的码流；解析所述待预测区域对应的码流中的第一语法标记，所述第一语法标记用于标识所述预测图像块是否需要经过所述深度神经网络处理；所述将待处理图像块输入深度神经网络，包括：当所述第一语法标记标识所述预测图像块需要经过所述深度神经网络处理，将待处理图像块输入深度神经网络。17.根据权利要求16所述的方法，其特征在于，所述生成待处理图像帧中待预测区域的预测图像块，包括：解析所述待预测区域对应的码流中的第二语法标记，所述第二语法标记用于标识所述待预测区域的帧内预测模式；基于所述第二语法标记指示的帧内预测模式，对于所述待预测区域的像素值进行预测，以生成所述预测图像块。18.根据权利要求1或2所述的方法，其特征在于，所述方法应用于编码端时，在所述基于所述输出图像块，确定最终预测块之后，所述方法还包括：基于所述最终预测块，生成所述待预测区域对应的码流，所述码流中携带第一语法标记，所述第一语法标记用于标识所述待预测区域对应的码流是否为经过所述深度神经网络处理得到的。19.根据权利要求18所述的方法，其特征在于，当所述预测图像块是基于帧内预测模式生成时，所述待预测区域对应的码流还携带有所述待预测区域对应的第二语法标记，所述第二语法标记用于标识所述待预测区域的帧内预测模式。20.一种帧内预测装置，其特征在于，所述装置包括：第一生成模块，用于生成待处理图像帧中待预测区域的预测图像块；输入模块，用于将待处理图像块输入深度神经网络，所述待处理图像块包括所述预测图像块，以及周边图像块，所述周边图像块包括与所述待预测区域相邻的，且位于所述待预测区域的左侧、上方和左上方中的至少一个方位的块状区域中的已重...
【专利技术属性】
技术研发人员：左旭光，王莉，周璐璐，姚佳宝，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。