视频编解码方法及其装置制造方法及图纸

本发明专利技术涉及视频压缩领域，公开了一种视频编解码方法及装置。编码方法包括：获取背景图像，采用帧内预测对背景图像编码得到背景帧，对背景帧解码得到背景帧重建图；获取输入图像作为第一图像，根据其相对于背景帧重建图的差异，至少局部地采用帧间预测编码为刷新帧；获取输入图像作为第二图像，根据其相对于背景帧重建图和相邻前一帧重建图的差异，或相对于相邻前一帧重建图的差异，至少局部地采用帧间预测编码为普通帧；根据背景帧、刷新帧和普通帧生成视频码流。本发明专利技术中，根据输入图像相对于背景帧重建图和/或相邻前一帧重建图的差异，至少局部地采用帧间预测编码，对于存在大量冗余背景信息的场景，可以更低码率获得同等的图像质量。

【技术实现步骤摘要】
视频编解码方法及其装置
本专利技术涉及视频压缩领域，特别涉及一种视频编解码方法及其装置。
技术介绍
随着社会的发展，视频监控系统越来越广泛的应用于生活之中，来解决日益增长的安全需求。但同时，高质量的视频数据需要占用大量的存储资源，所以视频压缩技术一直在不断的发展，以节省存储成本。但现有的视频压缩标准都不是针对监控场景制定的，其压缩技术对于视频监控这种大部分都是静止不动的场景还存在较大的信息冗余。所以本专利技术提供一种编码方法，针对监控场景，可以以更低的码率获得同等的图像质量，从而降低视频存储成本。在视频编码系统中，编码器可以采用多种不同的编码技术对视频数据进行压缩，其中一种常用的技术是预测编码。如图1所示为现有技术中的编码示意图。在视频流中，有些帧是仅采用空域预测编码技术，可独立编码，称为I帧；有些帧是采用时域预测编码技术，需要利用其它帧做参考来编码，称为P帧。P帧可以参考单个先前的编码帧来编码，也可以参考先前的多个编码帧来编码，这些被P帧用于参考的帧称为参考帧。在编码P帧时，选择合适的参考帧可以获得更好的编码质量或更低的编码码率。但现有的编码方法为了降低编码复杂度，节省内存开销，一般都只存储一帧参考帧，所以在很多情况下都无法搜索到合适的匹配块，比如物体移动之后新露出的背景。另外，通常情况下，采用时域预测编码技术的P帧的压缩效率要远高于仅采用空域预测编码技术的I帧,所以若单从压缩效率来考虑，应该尽量采用P帧进行编码，而减少I帧编码。但是在视频的编码中，我们还是需要每隔一段时间就编码一个I帧，主要原因有两点：第一是为了能够在回放时随机定位到某一帧时能快速响应；第二是为了防止预测量化而导致的误差累积和扩散。本专利技术的专利技术人发现，针对视频监控系统大多数都是静止不动的场景，现有的做法每次I帧编码都编码了大量背景冗余信息，监控视频的压缩效率还有进一步提升的空间。
技术实现思路
本专利技术的目的在于提供一种视频编解码方法及其装置，可以以更低的码率获得同等的图像质量，从而降低视频存储成本和传输成本。为解决上述技术问题，本专利技术的实施方式公开了一种视频编码方法，该方法包括以下步骤：获取背景图像，采用帧内预测的编码方式对该背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图，其中背景帧的解码结果不用于显示输出；获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧；获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一帧的重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；根据背景帧、刷新帧和普通帧生成视频码流。本专利技术的实施方式还公开了一种视频解码方法，该方法包括以下步骤：对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；对背景帧码流进行解码得到背景帧重建图，该背景帧重建图不用于显示输出；根据背景帧重建图对刷新帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图；根据背景帧重建图和相邻前一帧的重建图，或者仅根据相邻前一帧的重建图，对普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的普通帧重建图。本专利技术的实施方式还公开了一种视频编码装置，该装置包括：背景图像获取模块，用于获取背景图像；背景帧编码模块，用于采用帧内预测的编码方式对背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图，其中背景帧的解码结果不用于显示输出；刷新帧编码模块，用于获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧；普通帧编码模块，用于获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一帧的重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；码流生成模块，用于根据背景帧、刷新帧和普通帧生成视频码流。本专利技术的实施方式还公开了一种视频解码装置，该装置包括以下模块：码流解析模块，用于对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；背景帧解码模块，用于对背景帧码流进行解码得到背景帧重建图，该背景帧重建图不用于显示输出；刷新帧解码模块，用于根据背景帧重建图对刷新帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图；普通帧解码模块，用于根据背景帧重建图和相邻前一帧的重建图，或者仅根据相邻前一帧的重建图，对普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的普通帧重建图。本专利技术实施方式与现有技术相比，主要区别及其效果在于：根据输入图像相对于背景帧重建图或者相对于背景帧重建图和相邻的前一输入图像的差异，至少局部地采用帧间预测的方式编码，相对于全部采用帧内预测方式编码节省了大量编码比特，对于存在大量冗余背景信息的场景，可以以更低的码率获得同等的图像质量，从而降低视频存储成本和传输成本。随机访问时，只要先解码背景帧，然后再解码刷新帧，接着顺序解码普通帧即可获得随机访问的图像，能够对随机定位进行快速响应。进一步地，通过前景置信度获取背景图像能够更好地区分背景图像中的背景部分和前景部分；进一步地，将输入图像划分为前景部分和背景部分，仅对前景部分采用帧内预测的编码方式，而背景部分则以获取的背景帧重建图作为参考图像采用帧间预测的编码方式，相较于传统的将整帧都采用帧内预测的编码方式，节省了背景部分大量的编码比特，同时又防止因预测量化引起的误差累积和扩散，平衡了编码效率和误差控制。进一步地，普通帧的编码相对于现有的P帧编码增加了背景帧重建图作为参考图像，在编码时可获得更好的匹配块，在节省编码比特的同时能够提高编码质量。进一步地，整合后的前景置信度适合编码以决定刷新帧和普通帧的编码方式。附图说明图1是现有技术中视频编码方法的示意图；图2是本专利技术第一实施方式中一种视频编码方法的流程示意图；图3是本专利技术第二实施方式优选例中一种视频编码方法的流程图；图4是本专利技术第二实施方式优选例中一种视频编码结果的示意图；图5是本专利技术第二实施方式优选例中一种视频编码结果的示意图；图6是本专利技术第二实施方式优选例中背景帧编码模块的编码输入输出示意图；图7是本专利技术第二实施方式优选例中刷新帧编码模块的编码输入输出示意图；图8和图9是本专利技术第二实施方式优选例中普通帧编码模块的编码输入输出示意图；图10是不同时刻输入图像的差异对比图；图11是本专利技术第三实施方式中一种视频解码方法的流程示意图；图12是本专利技术第三实施方式优选例中解码器解码流程图；图13是本专利技术第三实施方式优选例中码流解析模块的码流解析流程图；图14是本专利技术第四实施方式中一种视频编码装置的结构示意图；图15是本专利技术第六实施方式中一种视频解码装置的结构示意图。图16是本专利技术一种视频编解码系统的结构示意图。具体实施方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本文档来自技高网...

【技术保护点】
一种视频编码方法，其特征在于，该方法包括以下步骤：获取背景图像，采用帧内预测的编码方式对该背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图；获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧；获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一帧的重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；根据所述背景帧、刷新帧和普通帧生成视频码流。

【技术特征摘要】
1.一种视频编码方法，其特征在于，该方法包括以下步骤：获取背景图像，采用帧内预测的编码方式对该背景图像进行编码得到背景帧，对已编码的背景帧解码得到背景帧重建图；获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧；获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一帧的重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；根据所述背景帧、刷新帧和普通帧生成视频码流；所述刷新帧后的第一个普通帧将所述刷新帧的重建图和所述背景帧的重建图作为参考图像采用帧间预测的编码方式进行编码，所述刷新帧后的其它普通帧将所述相邻前一帧的重建图和所述背景帧的重建图作为参考图像采用帧间预测的编码方式进行编码；其中，所述相邻前一帧不同于所述背景帧。2.根据权利要求1所述的视频编码方法，其特征在于，在所述获取背景图像的步骤中，包括以下子步骤：计算连续多帧输入图像中每个像素的前景置信度信息；将所述前景置信度信息与预设的置信度阈值进行比较；将所述前景置信度信息低于所述预设的置信度阈值的像素组成背景图像。3.根据权利要求1所述的视频编码方法，其特征在于，在所述“获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧”的步骤中，包括以下子步骤：获取所述第一图像中每个像素的前景置信度；根据所述前景置信度与阈值比较，将所述第一图像划分为第一前景部分和第一背景部分；所述第一前景部分采用帧内预测的方式进行编码，所述第一背景部分将所述背景帧重建图作为参考图像采用帧间预测的方式进行编码。4.根据权利要求1所述的视频编码方法，其特征在于，在所述“获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一帧的重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧”的步骤中，包括以下子步骤：获取所述第二图像中每个像素的前景置信度；根据所述前景置信度与阈值比较，将所述第二图像划分为第二前景部分和第二背景部分；所述第二前景部分中至少有一部分将相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码，所述第二背景部分将所述背景帧重建图和/或相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码。5.根据权利要求3或4所述的视频编码方法，其特征在于，在所述获取每个像素的前景置信度的步骤之后，包括步骤：对所述获取的每个像素的前景置信度进行整合，该步骤包括以下子步骤：对输入图像的宏块内多个像素的前景置信度进行统计求平均，并将平均值作为该块的前景置信度；或将输入图像的宏块内出现概率最高的前景置信度作为该块的前景置信度；或计算缩小的输入图像的每个像素的前景置信度，将每个像素的前景置信度作为缩小前输入图像的对应宏块的前景置信度。6.一种视频解码方法，其特征在于，该方法包括以下步骤：对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；对所述背景帧码流进行解码得到背景帧重建图；根据所述背景帧重建图对所述刷新帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图；根据所述背景帧重建图和相邻前一帧的重建图，或者根据相邻前一帧的重建图，对所述普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出的普通帧重建图；所述刷新帧后的第一个普通帧将所述刷新帧的重建图和所述背景帧的重建图作为参考图像采用帧间预测的编码方式进行编码，所述刷新帧后的其它普通帧将所述相邻前一帧的重建图和所述背景帧的重建图作为参考图像采用帧间预测的编码方式进行编码；其中，所述相邻前一帧不同于所述背景帧。7.一种视频编码装置，其特征在于，该装置...

【专利技术属性】
技术研发人员：沈林杰，浦世亮，武晓阳，苏辉，俞海，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33