一种图像融合方法、装置及系统制造方法及图纸

本发明专利技术实施例公开了一种图像融合方法、装置及系统，该方法包括：获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，该可见光图像与该非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。应用本发明专利技术实施例，在最终图像融合之前，分别对可见光图像以及融合有非可见光图像的第一合成图像进行降噪，以降低融合图像中的噪声。

A method, device and system for image fusion

The embodiment of the invention discloses an image fusion method, device and system. The method includes: obtaining the visible light sensor generates visible light image and visible light sensor generates non visible light image, wherein, the visible image and the non visible image of the relationship; according to the visible image and the non visible light image, the synthesis of the first synthetic image; denoising of the visible image and the first image; fusion of visible image denoising and image denoising after the first synthesis of the second generation synthetic image. In the embodiment of the invention, before the final image fusion, the first synthetic image of the visible light and the fusion of the non visible light images are de-noising respectively, so as to reduce the noise in the fused image.

【技术实现步骤摘要】
一种图像融合方法、装置及系统
本专利技术涉及图像处理
，特别涉及一种图像融合方法、装置及系统。
技术介绍
在一些实际场景中，如低照度场景下，为了保证所采集的图像涵盖较多的图像信息，通常需要分光融合的图像采集设备来采集图像。具体的，分光融合的图像采集设备采集图像的基本原理为：采集可见光信号对应形成的可见光图像以及采集非可见光信号对应形成的非可见光图像，并将可见光图像和非可见光图像进行融合处理，得到融合后的图像。其中，融合后的图像为双波段图像，相对于属于单波段的由可见光图像和非可见光图像中的任一种图像而言，体现出的图像信息更多。其中，非可见光图像包括近红外图像和红外图像。现有的成像过程为：获得包括可见光图像和非可见光图像的成像信息；根据可见光图像和非可见光图像之间的相对量值，对该可见光图像进行降噪处理，然后将非可见光图像和降噪后的可见光图像按照预定权重系数进行合成处理，生成图像。然而，现有的成像过程中仅针对可见光图像进行降噪处理，忽略了非可见光图像存在的噪声，降噪处理不彻底，所得所生成的图像仍存在噪声。
技术实现思路
本专利技术实施例公开了一种图像融合方法、装置及系统，以降低融合图像中的噪声。具体方案如下：一方面，本专利技术实施例提供了一种图像融合方法，所述方法包括：获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。可选地，所述对所述可见光图像和所述第一合成图像分别进行降噪之后，所述方法还包括：分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；所述融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像，包括：融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。可选地，所述分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波，包括：对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；所述融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像，包括：融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。可选地，所述根据所述可见光图像和所述非可见光图像，合成第一合成图像，包括：根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。可选地，所述对所述可见光图像和所述第一合成图像进行降噪，包括：利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。可选地，所述对所述可见光图像和所述第一合成图像进行降噪，包括：利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。可选地，所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值。可选地，所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：获得所述可见光图像的第一增益值以及所述第一合成图像的第二增益值；判断所述第一增益值与所述第二增益值的差值是否大于预定阈值；当判断结果为否时，根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；当判断结果为是时，根据所述第一合成图像以及所述预设降噪公式，确定所述第二降噪权重值，将所述第二降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。可选地，所述利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：根据所述第一合成图像以及预设降噪公式，确定第三降噪权重值，将所述第三降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。可选地，所述预设降噪公式为：其中，所述fxy表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的像素值，所述x和y表示当前像素点的坐标；所述fij表示当前像素点的预设邻域内的像素点的像素值，所述i和j表示当前像素点的坐标；所述δ1和δ2表示高斯分布标准差。可选地，所述对所述可见光图像和所述第一合成图像进行降噪所利用公式为：其中，所述r表示所述预设邻域的半径；所述W(x,y)表示降噪后的第一合成图像，所述VIS(x,y)表示降噪后的可见光图像；所述x和y表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的坐标，所述W(x+i,y+j)表示所述第一合成图像的当前像素点的预设邻域内的像素点的像素值；所述VIS(x+i,y+j)表示所述可见光图像的当前像素点的预设邻域内的像素点的像素值；所述weight(x+i,y+j)表示所述可见光图像或所述第一合成图像的当前像素点对应的降噪控制强度值。另一方面，本专利技术实施例提供了一种图像融合装置，所述装置包括：获得模块、合成模块、降噪模块和融合模块；获得模块，用于获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；合成模块，用于根据所述可见光图像和所述非可见光图像，合成第一合成图像；降噪模块，用于对所述可见光图像和所述第一合成图像进行降噪；融合模块，用于融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。可选地，所述装置还包括滤波模块；所述滤波模块，用于所述对所述可见光图像和所述第一合成图像分别进行降噪之后，分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；所述融合模块，具体用于融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。可选地，所述滤波模块包括第一滤波单元和第二滤波单元；所述第一滤波单元，用于对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；所述第二滤波单元，用于对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；所述融合模块，具体用于融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。可选地，所述合成模块，具体用于根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。可选地，所述降噪模块包括第一确定单元和第一降噪单元；所述第一确定单元，用于利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；所述第一降噪单元，用于本文档来自技高网...

【技术保护点】
一种图像融合方法，其特征在于，所述方法包括：获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。

【技术特征摘要】
1.一种图像融合方法，其特征在于，所述方法包括：获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。2.根据权利要求1所述的方法，其特征在于，所述对所述可见光图像和所述第一合成图像分别进行降噪之后，所述方法还包括：分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；所述融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像，包括：融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。3.根据权利要求2所述的方法，其特征在于，所述分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波，包括：对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；所述融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像，包括：融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。4.根据权利要求1所述的方法，其特征在于，所述根据所述可见光图像和所述非可见光图像，合成第一合成图像，包括：根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。5.根据权利要求1所述的方法，其特征在于，所述对所述可见光图像和所述第一合成图像进行降噪，包括：利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。6.根据权利要求1所述的方法，其特征在于，所述对所述可见光图像和所述第一合成图像进行降噪，包括：利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。7.根据权利要求5所述的方法，其特征在于，所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值。8.根据权利要求5所述的方法，其特征在于，所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：获得所述可见光图像的第一增益值以及所述第一合成图像的第二增益值；判断所述第一增益值与所述第二增益值的差值是否大于预定阈值；当判断结果为否时，根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；当判断结果为是时，根据所述第一合成图像以及所述预设降噪公式，确定所述第二降噪权重值，将所述第二降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。9.根据权利要求6所述的方法，其特征在于，所述利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：根据所述第一合成图像以及预设降噪公式，确定第三降噪权重值，将所述第三降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。10.根据权利要求7-9任一项所述的方法，其特征在于，所述预设降噪公式为：其中，所述fxy表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的像素值，所述x和y表示当前像素点的坐标；所述fij表示当前像素点的预设邻域内的像素点的像素值，所述i和j表示当前像素点的坐标；所述δ1和δ2表示高斯分布标准差。11.根据权利要求10所述的方法，其特征在于，所述对所述可见光图像和所述第一合成图像进行降噪所利用公式为：其中，所述r表示所述预设邻域的半径；所述W(x,y)表示降噪后的第一合成图像，所述VIS(x,y)表示降噪后的可见光图像；所述x和y表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的坐标，所述W(x+i,y+j)表示所述第一合成图像的当前像素点的预设邻域内的像素点的像素值；所述VIS(x+i,y+j)表示所述可见光图像的当前像素点的预设邻域内的像素点的像素值；所述weight(x+i,y+j)表示所述可见光图像或所述第一合成图像的当前像素点对应的降噪控制强度值。12.一种图像融合装置，其特征在于，所述装置包括：获得模块、合成模块、降噪模块和融合模块；获得模块，用于获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；合成模块，用于根据所述可见光图像和所述非可见光图像，合成第一合成图像；降噪模块，用于对所述可见光图像和所述第一合成图像进行降噪；融合模块，用于...

【专利技术属性】
技术研发人员：聂鑫鑫，罗丽红，范蒙，俞海，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33