一种移动播放端实时视频画质增强方法及系统技术方案

本发明专利技术公开了一种移动播放端实时视频画质增强方法及系统，解码视频流数据，得到RGB图像数据；对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；对增强后的图像进行对比度调整，得到调整后的图像；对调整后的图像进行亮度调整，得到亮度调整后的图像。本发明专利技术综合考虑了多种因素对图像进行增强，在增强视频图像的同时，尽量避免对图像中画质缺陷放大，保护人眼的兴趣区域，达到了较好的图像画质增强效果。

【技术实现步骤摘要】
一种移动播放端实时视频画质增强方法及系统
本专利技术涉及播放器产品，特别是一种移动播放端实时视频画质增强方法及系统。
技术介绍
随着手机等移动终端的普及，人们越来越习惯用手机等移动终端观看网络视频。人们观看视频时，视频画质主要受到下面的因素影响：1.受视频拍摄质量和后期制作的因素影响，其中包括拍摄器材的因素、拍摄环境的因素、有损的后期剪辑等；2.网络视频服务商会将原始视频(指只经拍摄和后期处理后的视频)转码成不同码率供用户选择，转码过程会对视频进行有损压缩，转码后的视频质量相比原始视频会有下降。为了改进视频图象的质量，提升用户的播放观看体验，在播放端会对视频图像进行图像增强处理，常见的图像增强处理包括对比度调整、色彩调整、滤波、饱和度调整、细节增强、边缘增强等操作。在实际的增强处理中通常会综合上述多种算法，以达到更好的增强效果。但是图像增强算法都比较耗时，综合多种算法后，增强处理的实时性很难保证。增强技术在对细节增强和对图像通透度上增加的同时，也会将图像本来的的画质缺陷放大。而当这种画质缺陷如果是出现在人眼敏感区域(比如字幕区域)，放大后会加重观看的不适感。通常的增强算法都是放在服务器端，处理器的性能都比较好，容易满足实时性的要求，而手机等移动终端，处理器性能比较差，如何实时完成增强和播放是一个难题。现有技术研究情况：(1)CN102811354B，一种视频画质增强播放方法及点播终端。该方法属于一致性增强方法，即对整帧图像采用相同的增强方案，没有考虑增强带来的不利影响。处理流程包括RGB颜色增强、亮度信号Y的伽马校正、锐化处理，其中特别指出当分辨率小于1280*720时，才对视频帧进行画质增强。(2)CN106412383A，视频图像的处理方法和装置。该图像增强方法，考虑了图像的亮度因素，当图像亮度小于预设亮度值才进行增强处理，其增强处理包括亮度增强、双边滤波降噪，主要目的是降噪，以及如何消除亮度增强对噪声的放大。该方案主要侧重于亮度因素上的考量，因素比较单一，无法达到比较好的图像质量增强效果。(3)CN106550244A，视频图像的画质增强方法及装置。该方法采用多尺度增强方式，预先为不同类型的图像区域设置不同的增强尺度，使用时需要实时的识别图像中包含的预设类型区域(马赛克区域、直线边缘、人脸型区域)，增强时对不同预设类型区域的高频信息进行相应的预设尺度增强，最终将增强后的高频信息与相应低频信息叠加得到增强后图像。该方法需要检测预设类型区域，算法复杂度比较高，实时处理的难度比较大，同时增强的时候只考虑了高频信息(细节)，单一因素，增强效果相比多因素增强的综合方案要差。(4)CN105407296A，实时视频增强方法和装置。该方法通过获取当前帧的平均亮度，判断平均亮度是否小于预设亮度阈值，决定是否需要增强。根据当前帧的平均亮度得到第一增强曲线，根据兴趣区域得到局部增强曲线，由局部增强曲线和第一增强曲线得到第二增强曲线，运用第二增强曲线对当前帧进行增强。该方法在增强的时候考虑了兴趣区域，但在增强效果上，只考虑了亮度这一因素，相比多因素增强的方案效果要差。(5)CN104202604B，视频增强的方法和装置。该方法通过对当前帧确定反映运动状态或明暗信息的属性信息，以此来查找预设的映射关系，得到对应的增强强度控制参数，以所述控制参数对当前帧执行视频增强操作。该方法通过运动状态或者明暗信息，依此来确定不同帧，以及同一帧中的不同区域的增强强度。该方法中，采用运动状态对视频区域分类，运动状态这一因素不能和视频主观上有强的相关性，即不能根据运动的强弱判断是否应该用强的增强参数还是弱的增强参数。(6)CN102811353B，提升视频图像清晰度的方法及系统。该方法对视频图像进行清晰度增强时，对YUV数据，利用高斯矩阵作为像素点的权重值，对每个像素点四周的预设个数的其他像素点进行纹理增强处理，以获得每个像素点进行纹理增强后的像素值，该方法不足是，对视频图像全局进行同一强度的纹理增强，没有考虑到视频图像自身的纹理信息，容易放大图像的缺陷(如噪声等)，增强后的图像连续播放时会有明显的闪烁现象。(7)CN104166967B，提升视频图像清晰度的方法。该方法通过判断图像的分辨率和显示设备的分辨率，确定是否需要对图像进行插值，当图像分辨率小于显示设备的分辨率时进行插值处理。然后对图像进行纹理增强，纹理增强的时候通过sobel算子计算纹理强度，通过纹理强度来控制纹理增强的强度，最后修改视频图像的灰度直方图，增强图像的对比度。该方案的缺点，计算出的纹理强度仅能反映纹理的强弱，不能区分图像中的噪声，更不能反映人的主观关注点，所以既不能达到好的增强效果，也不能很好的保护图像的缺陷不被放大。(8)CN103281544B，图像和视频的亮度、颜色和对比度的联合增强。该方案提供一种方法，可以一次性执行亮度、颜色和对比度增强视频处理。该方案的缺点是采用的是一致性增强的方法，无法避免会放大图像的缺陷，增强的同时带来了观看的不适感。(9)CN105488793A，图像显示方法以及图像处理方法。该方法通过在图像的大尺度边缘处适当的增大边缘台阶如边缘亮度台阶，得到相对锐利的边缘轮廓，增加图像感知深度，进而提高显示图像的人眼感知对比度。该方法的缺点，只对图像中的大边缘进行增强，图像中很多细节并不能得到很好的增强，考虑的因素比较单一，难以达到很好的增强效果。(10)CN105744118A，一种给予视频帧自适应的视频增强方法及应用其的视频增强系统。该方法通过视频帧的亮度直方图，自适应的调整对比度增强参数和饱和度调整参数。该方法的缺点，对比度的调整只能提升图像的通透度，饱和度的调整改变的是图像颜色，都不能提升图像细节，增强效果不够好。(11)CN102377913B，一种对比度实时调节的方法。该方法可以实时的调节图像的对比度，缺点是考虑的因素单一，无法达到比较好的增强效果。(12)CN108259873A，一种梯度域视频对比度增强方法。该方法采用梯度域增强方法逐帧增强待处理视频，同时利用视频相邻帧之间的低频分量关联特性，对梯度增强的视频帧进行滤波，克服视频增强导致的闪烁问题。该方法考虑的视频增强因素比较单一，无法达到比较好的增强效果。(13)CN105678717A，动态视频图像清晰度强化方法及装置。该方法对当前YUV数据进行归一化处理，计算归一化后的Y分量的邻域模糊数据和纹理数据，使用Y分量的邻域模糊数据和纹理数据进行锐化增强，最后对锐化后的Y分量进行整体对比度调整，再将调整后的Y分量和当前像素的UV分量转化为RGB。该方案考虑了图像增强的多个因素，缺点是，增强的同时，会对图像缺陷放大，采用的是一致性增强方案。由此可见，图像增强
虽然研究比较多，提出的方案也很多。但是现有的方案都或多或少存在一些缺点，要么是采用的单一因素图像增强，增强效果不够理想；要么是采用一致性增强的方案，增强后容易带来观看的不适感；要么采用复杂的图像内容识别，不利于工程实现和实时处理。另外，现有方案大多适用于CPU通用处理器，直接用在移动终端上难以达到好的效果。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种移动播放端实时视频画质增强方法及系统，综合本文档来自技高网...

【技术保护点】
1.一种移动播放端实时视频画质增强方法，其特征在于，包括以下步骤：1)解码视频流数据，得到RGB图像数据；2)对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；3)对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；4)对增强后的图像进行对比度调整，得到调整后的图像；5)对调整后的图像进行亮度调整，得到亮度调整后的图像。

【技术特征摘要】
1.一种移动播放端实时视频画质增强方法，其特征在于，包括以下步骤：1)解码视频流数据，得到RGB图像数据；2)对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；3)对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；4)对增强后的图像进行对比度调整，得到调整后的图像；5)对调整后的图像进行亮度调整，得到亮度调整后的图像。2.根据权利要求1所述的移动播放端实时视频画质增强方法，其特征在于，步骤1)的具体实现过程包括：1)解码视频流数据，将解码后的图像数据存储在图形处理器GPU访问的纹理缓存中；2)将解码后的图像数据绑定到图像处理器GPU中着色器处理的纹理上，若解码出来的数据是YUV格式，则将YUV格式的图像数据转换到RGB格式的图像数据，转换公式为：3.根据权利要求1所述的移动播放端实时视频画质增强方法，其特征在于，步骤2)的具体实现过程包括：1)预先设置保护区域，将图像分成保护区域和非保护区域；2)求取亮度矩阵Luma：3)将亮度矩阵中的一个像素点，作为待增强的像素点，以该待增强像素点为中心，取大小为3x3像素大小的图像块，将该图像块与sobel算子模板进行卷积运算，sobel算子模板包括水平模板Gx和垂直模板Gy，具体模板如下：4)计算待增强像素的梯度值，公式如下：5)根据预设的梯度阈值Thm区分边缘区域和非边缘区域，具体操作是：如果G＞Thm，判定为边缘区域像素；否则，判定为非边缘区域像素，从而将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；m取值为0或者1，其中0表示保护区域，1表示非保护区域。4.根据权利要求3所述的移动播放端实时视频画质增强方法，其特征在于，Thm取值范围为[0.0，1.0]。5.根据权利要求1所述的移动播放端实时视频画质增强方法，其特征在于，步骤3)的具体实现过程包括：1)以当前待增强像素点为中心，选取邻域的N×N个像素，选取归一化后的N×N的高斯滤波模板，将邻域像素和高斯滤波模板做卷积，得到模糊数据Psum；其中N为奇数，且N大于1；所述模糊数据Psum包含R、G、B三个分量；2)将当前待增强的像素点Porg与模糊数据Psum相减，得到细节数据Pdiff；计算公式如下：Pdiff＝Porg-Psum；3)对当前待增强的像素进行细节增强处理，得到增强后的像素Pfix1：Pfix1＝Porg+Ratiow*(1.0-0.5*sign...

【专利技术属性】
技术研发人员：黄志伟，谭嵩，罗准，冯斌，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：湖南,43