System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像处理方法及装置、计算机可读存储介质、终端制造方法及图纸_技高网

图像处理方法及装置、计算机可读存储介质、终端制造方法及图纸

技术编号:40278108 阅读:11 留言:0更新日期:2024-02-02 23:05
一种图像处理方法及装置、计算机可读存储介质、终端,所述方法包括:获取多帧图像;对所述多帧图像进行多帧降噪预处理,得到第一图像;对于所述多帧图像中的每一帧图像,提取所述帧图像中的人脸区域;计算所述人脸区域相较于参考人脸区域的偏移权重;至少基于所述偏移权重对所述人脸区域进行修正,得到修正后的人脸区域;融合所述修正后的人脸区域和原始人脸区域,得到目标人脸区域;将所述第一图像中的所述原始人脸区域替换为所述目标人脸区域,得到第二图像。本发明专利技术可以改善多帧降噪预处理时人脸区域的清晰度和质感,进一步针对性地处理图像中的人脸区域,数据处理量小,对终端的性能要求低,处理耗时少,可以提高图像处理的效率。

【技术实现步骤摘要】

本专利技术涉及图像处理,具体地涉及一种图像处理及装置、计算机可读存储介质、终端。


技术介绍

1、随着智能手机的发展,拍摄和图像处理功能对于用户来说越来越重要。用手机拍摄照片时,可能会由于环境及拍摄设备等多种因素的影响,有时候拍摄的照片会有噪声。采用适当的方法尽量消除噪声是图像处理中一个非常重要的步骤。多帧降噪(multi framenoise reduction,mfnr)是比较常见的降噪方式之一,其核心思想就是利用多帧叠加的方式去除画面的随机噪声,提升画面的信噪比。

2、若拍摄主体中存在人脸,则比起周围环境,用户更为关注人脸呈现的拍摄效果。人脸部分比起其他地方会让人更在意细节,如皮肤纹路、毛发的毛流感等。但是,多帧降噪时为了减少各类噪声,会对图像做多次融合和滤波,去除噪声的同时也损失了较多的细节。这对于用户拍照时相对看重的人脸区域来说,会使皮肤质感下降,细节被抹掉。例如眉毛和头发模糊成一片,看不出根根分明的状态,会出现类似美颜过度的不自然感。

3、现有算法往往通过在多帧降噪时添加“人脸保护”的操作来避免人脸区域细节损失。人脸保护一般是指人脸区域与周围景物不做相同的处理,这种不同通常是使用同种算法在人脸区域和其他区域使用不同强度的操作,人脸区域的强度会稍作减弱甚至跳过某些步骤。多数情况下,这种方法相当于在效果与清晰度之间做取舍,无法兼顾去噪效果和高清晰度。


技术实现思路

1、本专利技术解决的技术问题是如何改善多帧降噪预处理时的人脸清晰度。

2、为解决上述技术问题,本专利技术实施例提供一种图像处理方法,包括:获取多帧图像,其中每一帧图像为raw格式;对所述多帧图像进行多帧降噪预处理,得到第一图像;对于所述多帧图像中的每一帧图像,提取所述帧图像中的人脸区域;计算所述人脸区域相较于参考人脸区域的偏移权重,其中,所述参考人脸区域提取自参考帧,所述参考帧选取自所述多帧图像;至少基于所述偏移权重对所述人脸区域进行修正,得到修正后的人脸区域,其中,所述修正操作在rgb格式下进行,所述修正后的人脸区域为raw格式;融合所述修正后的人脸区域和原始人脸区域,得到目标人脸区域,其中,所述原始人脸区域提取自所述第一图像;将所述第一图像中的所述原始人脸区域替换为所述目标人脸区域,得到第二图像。

3、可选的,所述获取多帧图像包括:对当前场景进行场景检测,得到场景检测结果;基于所述场景检测结果确定目标帧数;根据所述目标帧数获取多帧图像。

4、可选的,所述基于所述场景检测结果确定目标帧数包括:若所述场景检测结果表明所述当前场景为亮场景,则确定当前场景下的目标帧数为n帧,其中,n>1且n为正整数;若所述场景检测结果表明所述当前场景为暗场景,则确定当前场景下的目标帧数为m帧,其中,m>n且m为正整数。

5、可选的,提取所述帧图像中的人脸区域之前,还包括:对所述多帧图像进行初步对齐。

6、可选的,所述计算所述人脸区域相较于参考人脸区域的偏移权重包括:计算所述人脸区域和所述参考人脸区域在像素级对齐下的亚像素级位移;对于所述人脸区域的每一像素,根据所述亚像素级位移确定对应的所述偏移权重。

7、可选的,所述亚像素级位移越小,所述偏移权重越大。

8、可选的,所述至少基于所述偏移权重对所述人脸区域进行修正,得到修正后的人脸区域包括:对于所述人脸区域在raw格式下的每一通道图像,对所述通道图像进行插值处理;对于插值处理后的每一通道图像,将所述通道图像和所述参考人脸区域进行像素级对齐;至少基于所述偏移权重对像素级对齐后的通道图像进行修正,得到rgb图像;基于预设拜耳阵列将所述rgb图像还原为raw格式,得到所述修正后的人脸区域。

9、可选的,所述至少基于所述偏移权重对像素级对齐后的通道图像进行修正,得到rgb图像包括:对于所述像素级对齐后的通道图像的每一像素,确定所述像素的固定权重,其中,所述固定权重为raw格式到rgb格式的转换权重;对于每一像素,基于所述偏移权重和所述固定权重对所述像素进行修正,得到所述rgb图像。

10、可选的,所述基于所述偏移权重和所述固定权重对所述像素进行修正包括:将所述偏移权重和所述固定权重之和乘以所述像素的像素值,并将计算结果映射至所述像素在所述rgb图像中对应的像素位置。

11、可选的,所述计算所述人脸区域相较于参考人脸区域的偏移权重,包括:判断所述人脸区域的亮度是否满足预设阈值;若判断结果表明所述亮度满足所述预设阈值,计算所述人脸区域相较于参考人脸区域的偏移权重。

12、可选的,所述融合所述修正后的人脸区域和原始人脸区域,得到目标人脸区域,包括:叠加预设高斯权重和差异权重得到融合权重,其中,所述高斯权重用于表征距离预设高斯窗边缘的远近程度,所述差异权重用于表征所述修正后的人脸区域和所述参考人脸区域之间的差异;基于所述融合权重融合所述修正后的人脸区域和原始人脸区域,得到所述目标人脸区域。

13、可选的,所述基于所述融合权重融合所述修正后的人脸区域和原始人脸区域,得到目标人脸区域包括:基于所述融合权重对所述修正后的人脸区域和原始人脸区域进行金字塔融合,得到所述目标人脸区域。

14、可选的,越靠近所述预设高斯窗的边缘,所述高斯权重越低;和/或,所述修正后的人脸区域和所述参考人脸区域之间的差异越大,所述差异权重越低。

15、可选的,所述预设高斯窗包括椭圆形高斯窗。

16、为解决上述技术问题,本专利技术实施例提供一种图像处理装置,包括:捕获模块,获取多帧图像,其中每一帧图像为raw格式;多帧降噪模块,对所述多帧图像进行多帧降噪预处理,得到第一图像;提取模块,对于所述多帧图像中的每一帧图像,提取所述帧图像中的人脸区域;计算模块,计算所述人脸区域相较于参考人脸区域的偏移权重,其中,所述参考人脸区域提取自参考帧,所述参考帧选取自所述多帧图像;修正模块,至少基于所述偏移权重对所述人脸区域进行修正,得到修正后的人脸区域,其中,所述修正操作在rgb格式下进行,所述修正后的人脸区域为raw格式;融合模块,融合所述修正后的人脸区域和原始人脸区域,得到目标人脸区域,其中,所述原始人脸区域提取自所述第一图像;替换模块,将所述第一图像中的所述原始人脸区域替换为所述目标人脸区域,得到第二图像。

17、为解决上述技术问题,本专利技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述的图像处理方法的步骤。

18、为解决上述技术问题,本专利技术实施例提供一种终端,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述的图像处理方法的步骤。

19、与现有技术相比,本专利技术实施例的技术方案具有以下有益效果:

20、本专利技术实施例提供一种图像处理方法,包括:获取多帧图像,其中每一帧图像为raw格式;本文档来自技高网...

【技术保护点】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取多帧图像包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述场景检测结果确定目标帧数包括:

4.根据权利要求1所述的方法,其特征在于,提取所述帧图像中的人脸区域之前,还包括:对所述多帧图像进行初步对齐。

5.根据权利要求1所述的方法,其特征在于,所述计算所述人脸区域相较于参考人脸区域的偏移权重包括:

6.根据权利要求5所述的方法,其特征在于,所述亚像素级位移越小,所述偏移权重越大。

7.根据权利要求1所述的方法,其特征在于,所述至少基于所述偏移权重对所述人脸区域进行修正,得到修正后的人脸区域包括:

8.根据权利要求7所述的方法,其特征在于,所述至少基于所述偏移权重对像素级对齐后的通道图像进行修正,得到RGB图像包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述偏移权重和所述固定权重对所述像素进行修正包括:

10.根据权利要求1所述的方法,其特征在于,所述计算所述人脸区域相较于参考人脸区域的偏移权重,包括:

11.根据权利要求1所述的方法,其特征在于,所述融合所述修正后的人脸区域和原始人脸区域,得到目标人脸区域,包括:

12.根据权利要求11所述的方法,其特征在于,所述基于所述融合权重融合所述修正后的人脸区域和原始人脸区域,得到目标人脸区域包括:

13.根据权利要求11所述的方法,其特征在于,越靠近所述预设高斯窗的边缘,所述高斯权重越低;和/或,

14.据权利要求11所述的方法,其特征在于,所述预设高斯窗包括椭圆形高斯窗。

15.一种图像处理装置,其特征在于,包括:

16.一种计算机可读存储介质,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至14中任一项所述方法的步骤。

17.一种终端,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至14中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取多帧图像包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述场景检测结果确定目标帧数包括:

4.根据权利要求1所述的方法,其特征在于,提取所述帧图像中的人脸区域之前,还包括:对所述多帧图像进行初步对齐。

5.根据权利要求1所述的方法,其特征在于,所述计算所述人脸区域相较于参考人脸区域的偏移权重包括:

6.根据权利要求5所述的方法,其特征在于,所述亚像素级位移越小,所述偏移权重越大。

7.根据权利要求1所述的方法,其特征在于,所述至少基于所述偏移权重对所述人脸区域进行修正,得到修正后的人脸区域包括:

8.根据权利要求7所述的方法,其特征在于,所述至少基于所述偏移权重对像素级对齐后的通道图像进行修正,得到rgb图像包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述偏移权重和所述固定权重对所述像素进行修正包括:

10.根据权利要求1所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:陈薇伊姬弘桢
申请(专利权)人:展讯通信上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1