基于运动目标检测的视频编码方法技术

本发明专利技术公开了一种基于运动目标检测的视频编码方法，它先对视频图像中的运动目标进行检测，根据检测结果将图像分为运动区和静止区，再对静止区图像采用以下一种或一种以上的方法进行编码处理：ａ．调整帧间预测编码模式选择时的ＳＫＩＰ模式的率失真优化策略，提高选择ＳＫＩＰ模式的概率；ｂ．对静止区图像进行去噪滤波预处理；ｃ．利用静止区生成一幅背景图像作为新增的参考图像。本发明专利技术是一种在混合编码框架中添加运动目标检测单元的方法，其优点是可在不降低运动区域图像质量的条件下，降低整幅图像压缩后的码流，提高视频传输、存储的效率。

【技术实现步骤摘要】

本专利技术属于数字视频编码和数字视频分析领域，特别涉及一种利用视频检测结果提高视 频编码性能的方法。
技术介绍
视频监控是安全防范行业中的一个重要组成部分。随着视频监控系统规模的扩大，监视 场点的不断增多，长时间监控累积的数据是十分庞大的，存放和检索数据需要付出极大的成 本，因此必须对视频信息进行高效压縮，有效利用网络资源，降低数据存储设备的存储量和复杂度。对大规模视频监控系统来说，由于人力、场地和设备等资源有限，不可能对所有视频进 行在线监视，需要采用运动目标视频检测和报警等技术辅助人工监视，及时发出报警信号， 并记录视频事件。视频编码技术的发展使压缩性能有了很大的提高，且大多数是基于块的预 测和变换混合的编码技术，如IL264/AVC、 MPEG4、 AVS。考虑到视频监控通常有较多静止 区域等特点，可利用视频检测得到的静止区和运动区，提高静止区的编码效率，降低码率而 不影响运动目标的清晰度。但以MPEG-4为代表的基于视频对象的压縮编码技术由于其对目 标的提取必须准确， 一般不能用于实时视频编码。MPEG-4在用于视频监控或实时通信时， 一般不作目标分割，只将整幅图像作为一个视频对象。H,264和AVS等视频编码标准引入了 一些更细致的编码方法，提高了压缩比，但其基本框架仍是基于块的预测和变换混合的编码。 利用不变的背景图像作为参考图像能提高视频编码效率，但现有的提取真实背景的方法并不 能利用解码重建图像生成，背景图像图像需要单独传输。兄264或八丫8等新的视频编码技术提供了很好的压缩性能。但是在智能监控系统，以及 视频会议、可视电话中，在静止区域，每帧并不能提供更多的有用信息，且由于受噪声，或 是环境细微变化影响形成的码流数据占了视频码流的很大一部分。因此，如果能对其进行处 理，或采用更有效的视频编码方法，既能不降低重要区域的图像质量，又能减少压縮后的码 流数据，则能更好地满足应用需要。
技术实现思路
本专利技术的目的是针对智能化视频监控应用，提出了一种在混合编码框架中添加运动目标检测单元的方法，该方法区别对待静止图像区域和运动图像区域，通过改变静止区域的编码 策略，并进行视频处理，从而减少静止区域的码流，在不降低运动区域图像质量的条件下， 可降低整幅图像压縮后的码流，提高视频传输、存储的效率。本专利技术特别适合在视频监控、 可视电话和视频会议等场合的应用。本专利技术主要提出了针对视频编码的改进方案。其中所述的视频处理包括引入基于视频的 运动目标检测单元，根据检测结果将图像分为运动区和静止区，并对静止区图像采用以下三 种方法中的一种或一种以上的方法进行编码处理对由运动目标检测单元确定的静止区域进行帧间滤波；对静止区域调整预测编码模式策略，增加静止区域宏块选择SKIP模式(即作 为SKIP宏块)的概率；创建并维护一个背景图像作为附加的参考图像。采用上述一种或一 种以上的方法进行编码处理的本质都是通过提高静止区压縮效率来提高编码的效率，该方法 实质上是以静止区域图像质量的较小下降换取编码效率的大幅度提高，这是对原有的基于预 测和变换编码技术的改进。本专利技术提出的区分静止区域和运动区域与MPEG-4中基于对象编码的不同之处在于，本 专利技术并不要求对运动物体有完整、准确无误的分割，编码仍然以块为单位，所以并不会因运 动区域提取不准确而导致的视频编码内容的错误。本专利技术提出的中静止宏块的模式选择策略，适用于 MPEG-4、 H.264/AVC、 AVS、 H.263、 MPEG-2等基于帧间预测和变换编码技术的编码。本发 明提出的方法需要一个运动目标检测单元，用于确定运动区域和静止区域。运动目标检测单元是以像素为单位的，在混合编码框架中是以块为单位的。如果宏块中 包含运动区域像素，则认为该宏块是运动宏块，否则为静止宏块。对于运动宏块，本系统采 用原有的模式选择方式对其进行编码。对于静止宏块，如果当前帧是I帧，则按原有的编码 模式进行帧内编码，如果当前帧是P帧或B帧，则使用新的模式决策。在新的模式决策中，计算当前宏块SKIP模式的率失真，第一种方法是如果该率失真小 于某个阈值，就直接选择SKIP模式；第二种方法是将该SKIP模式率失真值乘以一个縮小因 子或者减去一个缩小因子，从而减小静止宏块的SKIP模式的率失真，增加静止宏块选择SKIP 模式的概率。为了更合理地计算縮小因子，统计以前帧每个静止宏块的最小率失真与该宏块的未经縮 小的SKIP模式率失真之比值r，并将其离散化，形成比值r的分布直方图或累积分布直方图， 为了便于理解和计算，可形成(l-比值r)的累积分布直方图。预先设定一个希望静止区选用 SKIP模式的比例，利用该比例和分布直方图，便可得到对应该比例的比值，将其作为当前帧静止区SKIP模式率失真的縮小因子。SKIP模式的率失真乘以縮放因子就可用于率失真优化 比较。縮小因子可每帧计算，并用于下一帧编码；也可隔几帧计算一次，用于后继P帧或B 帧的编码，或P帧计算得到的缩小因子只用于后继P帧，B帧计算得到的縮小因子只用于后 继B帧。这里希望静止宏块以一定比例采用SKIP模式，保留了一部分静止宏块不采用SKIP 模式编码，是因为考虑如下情况所检测到的静止区可能是被运动目标遮挡重现的静止区域； 静止区域也可能有误检测；静止区域可能发生缓慢的光照变化。计算需要减去的缩小因子的方法与计算作为乘子的縮小因子的方法类似，所不同的是统 计以前帧每个静止宏块的未经縮小的SKIP模式率失真与该宏块的最小率失真之差，并对其 离散化，形成差值分布直方图或差值累积分布直方图。再根据预设的静止宏块选用SKIP模 式的比例，从分布直方图上确定縮小因子。这里所说的SKIP模式是指对残差不需要编码的模式，只需要较少的码流数据。 这里所说的以前帧可以是当前帧的前一帧或前多帧，为了计算方便，通常可只用前一帧。 在编码端，本专利技术还提出了将帧间滤波应用于被检测为静止区域像素的方法，对当前静 止区像素，如果前一帧也是静止区像素，则进行帧间去噪滤波。帧间滤波的目的是去除噪声， 可以是低通滤波、中值滤波等多种形式。 一种简单的方案是采用线性帧间滤波器K+(i-收 (i)其中义 是当前像素值，z二是当前帧像素经滤波后的值，z二—,是对应前一帧像素滤波后或未经滤波的值，"是一个取值在o和i间的滤波系数。如果当前帧是新的静止区，即对应 前一帧为非静止区，或即使对应前一帧为静止区，但与当前帧差别较大，则不进行帧间滤波， 成为未经滤波的像素值。本专利技术还提出了利用运动目标检测结果来生成背景图像，并利用所生成的背景图像进行 预测的方法。在选择背景图像作为参考图像时，运动矢量的模一般为零。如果规定用背景图 像作为参考图像时运动矢量只能为零，则可不在码流中传输运动矢量。在考虑摄像机抖动时， 背景图像作为参考图像时的运动矢量也可不为零。背景图像的生成与维护策略如下若当前帧为I帧，则将I帧重建图像作为背景图像的 初始值；若当前帧不是I帧，且当前宏块为静止宏块，则背景图像用当前宏块的重建值进行 更新；否则背景图像不更新。这里所说的当前宏块的重建值可以是经过环路滤波的重建值， 也可以是未经过环路滤波的重建值，只要解码端与编码端一致即可。在当前帧不是I帧，且当前宏块为静止宏块时，背景本文档来自技高网...

【技术保护点】
一种基于运动目标检测的视频编码方法，它利用帧间预测和变换编码技术对视频图像进行压缩，其特征在于，它还对视频图像中的运动目标进行检测，根据检测结果将图像分为运动区和静止区，对静止区图像采用以下一种或一种以上的方法进行编码处理：ａ．调整帧间预测编码模式选择时的ＳＫＩＰ模式的率失真优化策略，提高选择ＳＫＩＰ模式的概率；ｂ．对静止区图像进行去噪滤波预处理；ｃ．利用静止区生成一幅背景图像作为新增的参考图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：唐慧明，杨名，鲍庆洁，卢超，虞露，刘云海，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]