图像降噪方法、装置及系统制造方法及图纸

本发明专利技术提供了一种图像降噪方法、装置及系统，涉及图像处理技术领域，该方法包括：获取图像采集设备针对同一待拍摄场景采集得到的多张帧图像；从多张帧图像中选取参考帧图像和目标帧图像；其中，参考帧图像的数量为一张，目标帧图像的数量至少为一张；按照预设的图像划分方式，将参考帧图像划分为多个参考图像块；确定每个参考图像块对应在目标帧图像中的位置，以对齐参考帧图像和目标帧图像；将对齐后的参考帧图像与目标帧图像进行图像融合处理，得到降噪图像。本发明专利技术能够有效缩短多帧降噪的时长，提升多帧降噪效率。

【技术实现步骤摘要】
图像降噪方法、装置及系统
本专利技术涉及图像处理
，尤其是涉及一种图像降噪方法、装置及系统。
技术介绍
图像在获取过程中，容易因图像采集设备的硬件原因或者场景原因而携带噪声，诸如，感光传感器及镜片尺寸不佳的手机在弱光、暗光等场景下采集的图像往往携带有较多的噪声。因此，为了获取高质量图像，对图像进行降噪处理是很有必要的，以尽量在保持原始信息完整性的基础上去除图像中无用的噪声信息。其中，多帧降噪是一种传统的图像降噪方法，现有的多帧降噪方式大多是将不同帧图像相对应的每个像素点进行加权平均，估算每个像素的颜色值，从而得到较为干净的图像。然而，在采用诸如手机、数码相机等图像采集设备连拍时，还可能会出现抖动等现象，因而需要对连续采集的多帧图像进行对齐操作，而对齐操作需要基于每个像素点进行处理，导致降噪耗时较长，不适用于诸如手机等需要快速运行的设备。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种图像降噪方法、装置及系统，能够有效缩短多帧降噪的时长，提升多帧降噪效率。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种图像降噪方法，所述方法包括：获取图像采集设备针对同一待拍摄场景采集得到的多张帧图像；从多张所述帧图像中选取参考帧图像和目标帧图像；其中，所述参考帧图像的数量为一张，所述目标帧图像的数量至少为一张；按照预设的图像划分方式，将所述参考帧图像划分为多个参考图像块；确定每个所述参考图像块对应在所述目标帧图像中的位置，以对齐所述参考帧图像和所述目标帧图像；将对齐后的所述参考帧图像与所述目标帧图像进行图像融合处理，得到降噪图像。进一步，所述按照预设的图像划分方式，将所述参考帧图像划分为多个参考图像块的步骤，包括：使用均匀网格或者不均匀网格对所述参考帧图像进行划分；将所述参考帧图像经划分得到的每个网格区域确定为一个参考图像块。进一步，所述确定每个所述参考图像块对应在所述目标帧图像中的位置的步骤，包括：确定每个所述参考图像块的中心点在所述参考帧图像中的第一位置，以及确定每个所述参考图像块的中心点在所述目标帧图像上的光流矢量；根据每个所述参考图像块的中心点的所述第一位置和所述光流矢量，计算得到每个所述参考图像块的中心点映射至所述目标帧图像上的第二位置；基于每个所述第二位置和每个所述参考图像块的尺寸大小，确定每个所述参考图像块对应在所述目标帧图像中的位置。进一步，所述确定每个所述参考图像块的中心点在所述目标帧图像上的光流矢量的步骤，包括：对所述参考帧图像和所述目标帧图像进行特征点检测和匹配处理，得到所述参考帧图像与所述目标帧图像之间的匹配特征点；以所述参考帧图像为基准，计算每个所述匹配特征点在所述目标帧图像上的光流矢量；按照所述预设的图像划分方式，将所述目标帧图像划分为多个目标网格，并根据每个所述匹配特征点在所述目标帧图像上的光流矢量，计算每个所述目标网格的顶点的光流矢量；根据每个所述目标网格的顶点的光流矢量，计算每个所述参考图像块的中心点在所述目标帧图像上的光流矢量。进一步，所述以所述参考帧图像为基准，计算每个所述匹配特征点在所述目标帧图像上的光流矢量的步骤，根据每个所述匹配特征点在所述参考帧图像上的位置坐标，以及每个所述匹配特征点在所述目标帧图像上的位置坐标，确定每个所述匹配特征点从所述参考帧图像映射至所述目标帧图像上的光流矢量。进一步，所述根据每个所述匹配特征点在所述目标帧图像上的光流矢量，计算每个所述目标网格的顶点的光流矢量的步骤，包括：将每个所述匹配特征点在所述目标帧图像上的光流矢量均插值至每个所述目标网格的格点上；将每个所述目标网格的顶点收集到的光流矢量的中值确定为每个所述目标网格的顶点的光流矢量。进一步，所述根据每个所述目标网格的顶点的光流矢量，计算每个所述参考图像块的中心点在所述目标帧图像上的光流矢量的步骤，包括：确定每个所述参考图像块的中心点对应的目标网格；基于重心坐标变换法，根据每个所述参考图像块的中心点对应的目标网格的三个顶点的光流矢量，确定每个所述参考图像块的中心点在所述目标帧图像上的光流矢量；其中，所述参考图像块的中心点位于所述目标网格的三个所述顶点构成的三角形区域内。进一步，所述将对齐后的所述参考帧图像与所述目标帧图像进行图像融合处理的步骤，包括：将对齐后的所述参考帧图像与所述目标帧图像中相应的图像块确定为对齐图像块；对所述参考帧图像和所述目标帧图像中的各所述对齐图像块进行鬼影检测，将出现鬼影的对齐图像块确定为鬼影块，未出现鬼影的图像块确定为非鬼影块；采用时域维纳滤波算法对所述非鬼影块进行降噪处理，得到经降噪的非鬼影块；采用非局部均值算法对所述鬼影块行降噪处理，得到经降噪的鬼影块；对所述经降噪的非鬼影块与所述经降噪的鬼影块进行多尺度融合处理。进一步，所述对所述参考帧图像和所述目标帧图像中的各所述对齐图像块进行鬼影检测的步骤，包括：按照预设的块距离公式，计算每张所述目标帧图像与所述参考帧图像的对齐图像块之间的距离；所述块距离公式为：其中，为第t张所述目标帧图像中的对齐图像块的第j个像素点的像素值；其中，1≤j≤N；N为所述对齐图像块中所包含的像素点总数；1≤t≤H；H为所述目标帧图像的数量；为所述参考帧图像中的对齐图像块的第j个像素点的像素值；计算所有所述目标帧图像与所述参考帧图像的对齐图像块的距离之和，得到和值；判断所述和值是否高于预设阈值；如果是，确定所述对齐图像块出现鬼影；如果否，确定所述对齐图像块未出现鬼影。进一步，所述对所述经降噪的非鬼影块与所述经降噪的鬼影块进行多尺度融合处理的步骤，包括：基于经降噪的非鬼影块与经降噪的鬼影块在所述参考帧图像中的位置，生成掩码图M，以及仅含有所述鬼影块的第一图像G和仅含有所述非鬼影块的第二图像L；其中，所述掩码图中的鬼影块的像素值均为预设第一像素值，所述掩码图中的非鬼影块的像素值均为预设第二像素值；将所述第一图像G分解为多尺度的拉普拉斯金字塔图像序列{Gi}，将所述第二图像L分解为多尺度的拉普拉斯金字塔图像序列{Li}，以及将所述掩码图M分解为多尺度的高斯金字塔序列{Mi}：其中，1≤i≤n；n为金字塔层数；按照多尺度融合公式，对所述经降噪的非鬼影块与所述经降噪的鬼影块进行多尺度融合处理；其中，所述多尺度融合公式为：对图像序列进行重建，得到降噪图像。第二方面，本专利技术实施例还提供一种图像降噪装置，所述装置包括：图像获取模块，用于获取图像采集设备针对同一待拍摄场景采集得到的多张帧图像；图像选取模块，用于从多张所述帧图像中选取参考帧图像和目标帧图像；其中，所述参考帧图像的数量为一张，所述目标帧图像的数量至少为一张；图像划分模块，用于按照预设的图像划分方式，将所述参考帧图像划分为多个参考图像块；图像对齐模块，用于确定每个所述参考图像块对应在所述目标帧图像中的位置，以对齐所述参考帧图像和所述目标帧图像；图像融合模块，用于将对齐后的所述参考帧图像与所述目标帧图像进行图像融合处理，得到降噪图像。第三方面，本专利技术实施例提供了一种图像降噪系统，所述系统包括：图像采集设备、处理器和存储设备；所述图像采集设备，用于采集多张帧图像；所述存储设备上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法本文档来自技高网...

【技术保护点】
1.一种图像降噪方法，其特征在于，所述方法包括：获取图像采集设备针对同一待拍摄场景采集得到的多张帧图像；从多张所述帧图像中选取参考帧图像和目标帧图像；其中，所述参考帧图像的数量为一张，所述目标帧图像的数量至少为一张；按照预设的图像划分方式，将所述参考帧图像划分为多个参考图像块；确定每个所述参考图像块对应在所述目标帧图像中的位置，以对齐所述参考帧图像和所述目标帧图像；将对齐后的所述参考帧图像与所述目标帧图像进行图像融合处理，得到降噪图像。

【技术特征摘要】
1.一种图像降噪方法，其特征在于，所述方法包括：获取图像采集设备针对同一待拍摄场景采集得到的多张帧图像；从多张所述帧图像中选取参考帧图像和目标帧图像；其中，所述参考帧图像的数量为一张，所述目标帧图像的数量至少为一张；按照预设的图像划分方式，将所述参考帧图像划分为多个参考图像块；确定每个所述参考图像块对应在所述目标帧图像中的位置，以对齐所述参考帧图像和所述目标帧图像；将对齐后的所述参考帧图像与所述目标帧图像进行图像融合处理，得到降噪图像。2.根据权利要求1所述的方法，其特征在于，所述按照预设的图像划分方式，将所述参考帧图像划分为多个参考图像块的步骤，包括：使用均匀网格或者不均匀网格对所述参考帧图像进行划分；将所述参考帧图像经划分得到的每个网格区域确定为一个参考图像块。3.根据权利要求2所述的方法，其特征在于，所述确定每个所述参考图像块对应在所述目标帧图像中的位置的步骤，包括：确定每个所述参考图像块的中心点在所述参考帧图像中的第一位置，以及确定每个所述参考图像块的中心点在所述目标帧图像上的光流矢量；根据每个所述参考图像块的中心点的所述第一位置和所述光流矢量，计算得到每个所述参考图像块的中心点映射至所述目标帧图像上的第二位置；基于每个所述第二位置和每个所述参考图像块的尺寸大小，确定每个所述参考图像块对应在所述目标帧图像中的位置。4.根据权利要求3所述的方法，其特征在于，所述确定每个所述参考图像块的中心点在所述目标帧图像上的光流矢量的步骤，包括：对所述参考帧图像和所述目标帧图像进行特征点检测和匹配处理，得到所述参考帧图像与所述目标帧图像之间的匹配特征点；以所述参考帧图像为基准，计算每个所述匹配特征点在所述目标帧图像上的光流矢量；按照所述预设的图像划分方式，将所述目标帧图像划分为多个目标网格，并根据每个所述匹配特征点在所述目标帧图像上的光流矢量，计算每个所述目标网格的顶点的光流矢量；根据每个所述目标网格的顶点的光流矢量，计算每个所述参考图像块的中心点在所述目标帧图像上的光流矢量。5.根据权利要求4所述的方法，其特征在于，所述以所述参考帧图像为基准，计算每个所述匹配特征点在所述目标帧图像上的光流矢量的步骤，根据每个所述匹配特征点在所述参考帧图像上的位置坐标，以及每个所述匹配特征点在所述目标帧图像上的位置坐标，确定每个所述匹配特征点从所述参考帧图像映射至所述目标帧图像上的光流矢量。6.根据权利要求4所述的方法，其特征在于，所述根据每个所述匹配特征点在所述目标帧图像上的光流矢量，计算每个所述目标网格的顶点的光流矢量的步骤，包括：将每个所述匹配特征点在所述目标帧图像上的光流矢量均插值至每个所述目标网格的格点上；将每个所述目标网格的顶点收集到的光流矢量的中值确定为每个所述目标网格的顶点的光流矢量。7.根据权利要求4所述的方法，其特征在于，所述根据每个所述目标网格的顶点的光流矢量，计算每个所述参考图像块的中心点在所述目标帧图像上的光流矢量的步骤，包括：确定每个所述参考图像块的中心点对应的目标网格；基于重心坐标变换法，根据每个所述参考图像块的中心点对应的目标网格的三个顶点的光流矢量，确定每个所述参考图像块的中心点在所述目标帧图像上的光流矢量；其中，所述参考图像块的中心点位于所述目标网格的三个所述顶点构成的三角形区域内。8.根据权利要求1所述的方法，其特征在于，所述将对...

【专利技术属性】
技术研发人员：白雪，李凯，王珏，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11