用于对强噪声图像进行多帧融合的设备和方法技术

提供一种用于对强噪声图像进行多帧融合的设备和方法。所述设备包括：图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元，用于计算基准图像相对于参考图像的运动矢量；以及图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。

【技术实现步骤摘要】
用于对强噪声图像进行多帧融合的设备和方法
本申请涉及图像融合技术，更具体地说，涉及一种用于对强噪声图像进行多帧融合以增强图像细节的设备和方法。
技术介绍
随着图像技术的发展，图像融合在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识、尤其在计算机视觉方面，图像融合被认为是克服目前某些难点的技术方向；在航天、航空多种运载平台上，各种遥感器所获得的大量光谱遥感图像(其中分辨率差别、灰度等级差别可能很大)的复合融合，为信息的高效提取提供了良好的处理手段，取得明显效益。通常，由于拍摄环境复杂，在拍摄的图像中会存在一定强度的噪声。当对具有强噪声的图像进行融合时，由于强噪声具有类似于图像中的细节的特性，会造成强噪声和图像细节不易被区分，同时强噪声会影响在进行图像融合时所进行的运动估计的精度，这些都致使现有的图像融合技术的效果不佳，无法很好地保持图像中的细节和边缘信息。总上所述，现有的图像融合方法不能在对强噪声图像进行有效融合的同时保持图像中的细节和边缘信息。
技术实现思路
本专利技术的目的在于提供一种对强噪声图像进行多帧融合的设备和方法。根据本专利技术的一方面，提供一种用于对强噪声图像进行多帧融合的设备，包括：图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元，用于计算基准图像相对于参考图像的运动矢量；图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。在所述设备中，图像预处理单元可计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。其中，图像预处理单元还可计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。在所述设备中，图像预处理单元可计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。在所述设备中，运动估计单元可包括：全图运动矢量确定单元，用于在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；块运动矢量确定单元，将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量。其中，块的运动矢量为基准图像相对于参考图像的运动矢量。在所述设备中，图像融合单元可将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，可利用与融合点相应的权值对融合点和细节点或非细节点进行融合。在所述设备中，图像融合单元可将基准图像中的像素点(D0)的像素值(d0)与在D0的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，可将基准图像中的D0的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。在所述设备中，当D0为非细节点时，如果1.5×|d0-m0|大于参考图像中的基于运动矢量的相应像素点(D1)的像素值(d1)与在D1的预定邻域范围内的像素点的像素平均值(m1)之差的绝对值(|d1-m1|)，则图像融合单元可将D1确定为融合点并利用与D1相应的权值对D0和D1进行融合。当D0为细节点时，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则图像融合单元可将D0确定为强噪声点，并对D1的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则可将d0相对于m0的方向性和d1相对于m1的方向性一致的D1确定为融合点，并可利用与D1相应的权值对D0和D1进行融合。根据本专利技术的另一方面，提供一种用于对强噪声图像进行多帧融合的方法，包括：从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；计算基准图像相对于参考图像的运动矢量；分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。在所述方法中，选取基准图像的步骤可包括：计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。在所述方法中，选取参考图像的步骤还可包括：计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。在所述方法中，估计基准图像的噪声强度等级的步骤可包括：计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。在所述方法中，计算参考图像的运动矢量的步骤可包括：在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量。其中，块的运动矢量为基准图像相对于参考图像的运动矢量。在所述方法中，对基准图像和参考图像进行融合的步骤可包括：将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融合。在所述方法中，可将基准图像中的像素点确定为细节点或非细节点的步骤可包括：将基准图像中的像素点(D0)的像素值(d0)与在D0的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的D0的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。在所述方法中，对基准图像和参考图像进行融合的步骤可包括：当D0为非细节点时，如果1.5×|d0-m0|大于参考图像中的基于运动矢量的相应像素点(D1)的像素值(d1)与在D1的预定邻域范围内的像素点的像素平均值(m1)之差的绝对值(|d1-m1|)，则可将D1确定为融合点并利用与D1相应的权值对D0和D1进行融合；当D0为细节点时，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则可将D0确定为强噪声点，并对D1的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则可将d0相对于m本文档来自技高网...

【技术保护点】
一种用于对强噪声图像进行多帧融合的设备，包括：图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元，用于计算基准图像相对于参考图像的运动矢量；以及图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。

【技术特征摘要】
1.一种用于对强噪声图像进行多帧融合的设备，包括：图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元，用于计算基准图像相对于参考图像的运动矢量；以及图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合，其中，图像融合单元将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融合。2.如权利要求1所述的设备，其中，图像预处理单元计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。3.如权利要求2所述的设备，其中，图像预处理单元计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。4.如权利要求1所述的设备，其中，图像预处理单元计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。5.如权利要求1所述的设备，其中，运动估计单元包括：全图运动矢量确定单元，用于在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；块运动矢量确定单元，将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量，其中，块的运动矢量为基准图像相对于参考图像的运动矢量。6.如权利要求1所述的设备，其中，图像融合单元将基准图像中的像素点(D0)的像素值(d0)与在D0的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的D0的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。7.如权利要求1所述的设备，其中，当D0为非细节点时，如果1.5×|d0-m0|大于参考图像中的基于运动矢量的相应像素点(D1)的像素值(d1)与在D1的预定邻域范围内的像素点的像素平均值(m1)之差的绝对值(|d1-m1|)，则图像融合单元将D1确定为融合点并利用与D1相应的权值对D0和D1进行融合；当D0为细节点时，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则图像融合单元将D0确定为强噪声点，并对D1的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则将d0相对于m0的方向性和d1相对于m1的方向性一致的D1确定为融合点，并利用与D1相应的权值对D0和D1进行融合。8.一种用于对强噪声图像...

【专利技术属性】
技术研发人员：王剑锋，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏;32