编码过程中的实时视频降噪方法和装置制造方法及图纸

本发明专利技术涉及一种编码过程中的实时视频降噪方法和装置。所述方法包括以下步骤：获取图像的当前帧及当前帧中的平坦区域；对所述平坦区域进行降噪处理；判断所述当前帧是否为P帧，若是，则读取所述当前帧的子宏块，若否，则结束；判断读取的当前子宏块是否为帧间子宏块，若是，则对读取的当前子宏块进行整数离散余弦变换降噪处理，再判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；否则读取下一个子宏块，再进入判断读取的当前子宏块是否为帧间子宏块的步骤。上述实时视频降噪方法和装置，由于整数离散余弦变换是编码过程中的已有模块，直接复用，从而减小了计算量，通过降噪降低了码流，适应实时视频，缓解网络带宽瓶颈。

【技术实现步骤摘要】

本专利技术涉及信号处理领域，特别是涉及一种编码过程中的实时视频降噪方法和装置。
技术介绍
目前绝大多数智能手机都已经具有视频拍摄功能，由于受镜头和成本限制，导致单像素上的光通量较小，采集的视频中含有大量随机噪声，尤其在场景较暗弱的情况下更加明显。这种噪声一方面破坏了图像的清晰度和质量，另一方面使得编码时残差过大，导致码流增加，加剧了网络和存储的负担。对视频进行降噪预处理不仅可以提高视频质量，有利于网络传输。因此视频降噪对于带宽受限的实时流媒体服务、移动可视电话、网络视频聊天等具有一定的实用价值。目前的降噪方法一般是基于空间域或时间域。空间域降噪只考虑单幅图像中相邻像素之间的相关性，如均值降噪、非局部平均(NonLocalMeans，简称NLM)、三维块匹配(BlockMatch3D，简称BM3D)等。均值降噪平滑了边缘和纹理区域，导致图像质量下降，NLM和BM3D计算量非常大，无法适应视频聊天的场合。时间域降噪考虑了相邻帧之间的信息，其基本思路是判断前景和背景像素，对于静止的背景区域采用时间域均值降噪，对于运动的前景区域采用空间域降噪。这种方法的难点在于前背景的准确判断，同时需要缓存多帧数据，同样不太适应手机端。另外变换域的方法，即将图像通过某种变换如小波、傅里叶变换等，转换到频率域中。对处于高频段的系数进行降噪处理，也取得了不错的效果。这类方法需要额外的转换过程，而且计算复杂度比较高。<br>
技术实现思路
基于此，有必要针对目前的降噪方法计算量大无法适应实时视频的问题，提供一种编码过程中的实时视频降噪方法，可以充分利用编码过程中已有的整数离散余弦变换的信息，减小计算量，适应实时视频，缓解网络带宽瓶颈。此外，还有必要提供一种编码过程中的实时视频降噪装置，能减小计算量，适应实时视频，缓解网络带宽瓶颈。一种编码过程中的实时视频降噪方法，包括以下步骤：获取图像的当前帧及当前帧中的平坦区域；对所述平坦区域进行降噪处理；判断所述当前帧是否为P帧，若是，则读取所述当前帧的子宏块，若否，则结束；判断读取的当前子宏块是否为帧间子宏块，若是，则对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理，再判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；否则读取下一个子宏块，再进入判断读取的当前子宏块是否为帧间子宏块的步骤。一种编码过程中的实时视频降噪装置，包括：获取模块，用于获取当前帧及当前帧中的平坦区域；降噪模块，用于对所述平坦区域进行降噪处理；判断模块，用于判断所述当前帧是否为P帧，若是，则读取模块用于读取所述当前帧的子宏块，若否，则结束；所述判断模块还用于判断读取的当前子宏块是否为帧间子宏块，若是，则所述降噪模块还用于对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理，再由所述判断模块判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；否则所述读取模块还用于读取下一个子宏块，再由所述判断模块判断读取的当前子宏块是否为帧间子宏块。上述编码过程中的实时视频降噪方法和装置，首先通过对图像的平坦区域进行降噪处理，降低了平坦区域的噪声，再对当前帧的子宏块进行整数离散余弦变换，并对整数离散余弦变换后的当前子宏块进行降噪处理，由于整数离散余弦变换是编码过程中的已有模块，因此可以直接复用，从而减小了计算量，通过降噪降低了码流，适应实时视频，缓解网络带宽瓶颈。附图说明图1为一个实施例中编码过程中的实时视频降噪方法的应用环境示意图；图2为一个实施例中图1中的终端的内部结构示意图；图3为一个实施例中编码过程中的实时视频降噪方法的流程图；图4为对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理的具体流程图；图5为一个实施例中编码过程中的实时视频降噪装置的结构框图；图6为另一个实施例中编码过程中的实时视频降噪装置的结构框图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1为一个实施例中编码过程中的实时视频的降噪方法的应用环境示意图。该应用环境可包括一个或多个终端。该实时视频的降噪方法可应用于一个终端的视频拍摄功能中的视频降噪处理或实时流媒体服务中的视频降噪处理，也可应用于多个终端之间进行实时视频通话中视频的降噪处理。图1是以两个终端进行实时视频通话的应用环境，仅为示例，不限于此。在其他实施例中，多个终端之间也可通过服务器传输数据。图2为一个实施例中图1中的终端的内部结构示意图。如图2所示，该终端包括通过系统总线连接的处理器、存储介质、内存、网络接口、声音采集装置、显示屏、扬声器和输入装置。其中，终端的存储介质存储有操作系统，还包括一种编码过程中的实时视频降噪装置，该编码过程中的实时视频降噪装置用于实现一种编码过程中的实时视频降噪方法。该处理器用于提供计算和控制能力，支撑整个终端的运行。终端中的内存为存储介质中的实时视频降噪的装置的运行提供环境，网络接口用于与服务器或其他终端进行网络通信，如发送数据至服务器或终端，接收服务器或终端返回的数据等。终端的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该终端可以是手机、平板电脑或者个人数字助理。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。图3为一个实施例中编码过程中的实时视频降噪方法的流程图。如图3所示，一种编码过程中的实时视频降噪方法，包括以下步骤：步骤302，获取图像的当前帧及当前帧中的平坦区域。在一个实施例中，获取当前帧中的平坦区域的步骤包括：获取当前帧中的当前像素点及选取的包含当前像素点的区域；判断该区域中其余像素点的像素值与该当前像素点的像素值的差值的绝对值是否小于给定阈值，若是，则认为该区域属于平坦区域，若否，则不认为该区域为平坦区域。具体地，图像可采用YUV或RGB颜色空间表示。YUV中Y表示明本文档来自技高网...

【技术保护点】
一种编码过程中的实时视频降噪方法，包括以下步骤：获取图像的当前帧及当前帧中的平坦区域；对所述平坦区域进行降噪处理；判断所述当前帧是否为P帧，若是，则读取所述当前帧的子宏块，若否，则结束；判断读取的当前子宏块是否为帧间子宏块，若是，则对读取的当前子宏块进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理，再判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；否则读取下一个子宏块，再进入判断读取的当前子宏块是否为帧间子宏块的步骤。

【技术特征摘要】
1.一种编码过程中的实时视频降噪方法，包括以下步骤：
获取图像的当前帧及当前帧中的平坦区域；
对所述平坦区域进行降噪处理；
判断所述当前帧是否为P帧，若是，则读取所述当前帧的子宏块，若否，
则结束；
判断读取的当前子宏块是否为帧间子宏块，若是，则对读取的当前子宏块
进行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理，
再判断读取的当前子宏块是否为当前帧最后一个帧间子宏块，若是，则结束；
否则读取下一个子宏块，再进入判断读取的当前子宏块是否为帧间子宏块
的步骤。
2.根据权利要求1所述的方法，其特征在于，所述获取当前帧中的平坦区
域的步骤包括：
获取当前帧中的当前像素点及选取的包含当前像素点的区域；
判断所述区域中其余像素点的像素值与所述当前像素点的像素值的差值的
绝对值是否小于给定阈值，若是，则认为所述区域属于平坦区域，若否，则不
认为所述区域为平坦区域。
3.根据权利要求1所述的方法，其特征在于，所述对平坦区域进行降噪处
理的步骤包括：
对所述平坦区域进行均值降噪处理或加权平均降噪处理。
4.根据权利要求1所述的方法，其特征在于，所述对读取的当前子宏块进
行整数离散余弦变换，对整数离散余弦变换后的当前子宏块进行降噪处理的步
骤包括：
对读取的当前子宏块的残差系数进行整数离散余弦变换得到当前子宏块的
非直流分量系数；
对所述当前子宏块的非直流分量系数进行调整，以使所述非直流分量系数
的绝对值向0调整。
5.根据权利要求4所述的方法，其特征在于，对所述当前子宏块的非直流

\t分量系数进行调整，以使所述非直流分量系数的绝对值向0调整的步骤包括：
若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系
数的偏移量，则将所述非直流分量系数保留原来的符号位，并减小非直流分量
系数的绝对值；
若当前子宏块的非直流分量系数的绝对值小于当前子宏块的非直流分量系
数的，则将所述非直流分量系数的值置为0。
6.根据权利要求5所述的方法，其特征在于，若当前子宏块的非直流分量
系数的绝对值大于当前子宏块的非直流分量系数的偏移量，则将所述非直流分
量系数保留原来的符号位，并减小非直流分量系数的绝对值的步骤包括：
若当前子宏块的非直流分量系数的绝对值大于当前子宏块的非直流分量系
数的偏移量，且非直流分量系数的值大于0，则将所述非直流分量系数减小所述
偏移量，若非直流分量系数的值小于0，则将所述非直流分量系数加上所述偏移
量。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
获取降噪强度、已处理的与当前子宏块尺寸相同的子宏块的次数及当前子
宏块的非直流分量系数；

【专利技术属性】
技术研发人员：邓海波，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44