摄像设备、图像融合方法、装置和存储介质制造方法及图纸

本公开提供了一种摄像设备、图像融合方法、装置和存储介质，涉及计算机视觉技术领域。包括：通过采集模块获取第一原始图像和第二原始图像，第一原始图像为当前场景下的可见光图像，第二原始图像为当前场景下的红外光图像；通过第一图像处理模块将第一原始图像和第二原始图像中的图像信息进行融合，得到第一预处理图像和第二预处理图像；通过双光融合网络模块将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。

【技术实现步骤摘要】
摄像设备、图像融合方法、装置和存储介质
本公开涉及计算机视觉
，特别涉及一种摄像设备、图像融合方法、装置和存储介质。
技术介绍
随着计算机视觉技术的发展，用户对摄像机在低亮度场景下拍摄图像的需求越来越高。摄像机在夜晚或者光照不足的环境下，捕获的可见光图像噪声大，导致图像不清晰，拍摄画面效果不佳。因此，出现了通过红外灯来解决拍摄光线不足的情况。在光线不足时，开启红外灯，通过捕获红外光图像来降低拍摄画面的噪声，但这样捕获的图像为黑白图像，丢失了原本的色彩信息。为了同时捕获图像的色彩信息，并提高图像的信噪比，需要对红外光图像和可见光图像进行图像融合。相关技术中，对红外光图像和可见光图像进行融合时，一般通过图像处理方法对图像进行融合，该过程中通过分解红外光图像，得到红外光图像中的低频成分和高频成分，以及分解可见光图像，得到可见光图像中的低频成分和高频成分；将红外光图像中的低频成分和可见光图像中的低频成分按照融合权重进行融合，以及将红外图像中的高频成分和可见光图像中的高频成分按照融合权重进行融合，得到融合之后的图像。上述相关技术中，进行图像融合时，由于可见光图像中的低频成分较少，因此，融合之后的图像的低频成分过度依赖红外光图像，导致融合之后的图像产生严重的色彩偏差。
技术实现思路
为了克服相关技术中存在的致融合后的图像视觉色彩偏差大的问题，本公开提供了一种摄像设备、图像融合方法、装置和存储介质。根据本公开实施例的第一方面，提供了一种摄像设备，所述摄像设备包括：图像采集模块、第一图像处理模块和双光融合网络模块；所述图像采集模块的输出端与所述第一图像处理模块的输入端连接，所述第一图像处理模块的输出端与所述双光融合网络模块的输入端连接；所述图像采集模块，用于采集第一原始图像和第二原始图像，将所述第一原始图像和所述第二原始图像传输给所述第一图像处理模块；所述第一图像处理模块，用于接收所述第一原始图像和所述第二原始图像，对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像，将所述第一预处理图像和所述第二预处理图像输入至所述双光融合网络模块；所述双光融合网络模块，用于接收所述第一图像处理模块输出的所述第一预处理图像和所述第二预处理图像，对所述第一预处理图像和所述第二预处理图像进行双光融合，得到融合图像。根据本公开实施例的第二方面，提供了一种图像融合方法，所述方法包括：获取第一原始图像和第二原始图像，所述第一原始图像是一路可见光进入图像传感器时采集的图像，所述第二原始图像是一路红外光进入图像传感器时采集的图像；或者，所述第一原始图像是一路红外光进入图像传感器时采集的图像，所述第二原始图像是一路可见光进入图像传感器时采集的图像；对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像；通过双光融合网络，将所述第一预处理图像和所述第二预处理图像整合到同一图像中，得到融合图像。根据本公开实施例的第三方面，提供了一种图像融合装置，所述装置包括：获取模块，用于获取第一原始图像和第二原始图像，所述第一原始图像是一路可见光进入图像传感器时采集的图像，所述第二原始图像是一路红外光进入图像传感器时采集的图像；或者，所述第一原始图像是一路红外光进入图像传感器时采集的图像，所述第二原始图像是一路可见光进入图像传感器时采集的图像；预处理模块，用于对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像；整合模块，用于通过双光融合网络，将所述第一预处理图像和所述第二预处理图像整合到同一图像中，得到融合图像。根据本公开实施例的第四方面，提供了一种摄像设备，所述摄像设备包括：至少一个处理器；和至少一个存储器；所述至少一个存储器存储有一个或多个程序，所述一个或多个程序被配置成由所述至少一个处理器执行，所述一个或多个程序包含用于进行如本公开实施例第二方面所述图像融合方法的指令。根据本公开实施例的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质应用于摄像设备，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现本公开实施例第二方面所述图像融合方法中的步骤。本公开的实施例提供的技术方案可以包括以下有益效果：在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。图1是根据一示例性实施例示出的一种摄像设备的框图；图2是根据一示例性实施例示出的一种摄像设备的框图；图3是根据一示例性实施例示出的一种摄像设备的框图；图4是根据一示例性实施例示出的一种摄像设备的框图；图5是根据一示例性实施例示出的一种图像融合方法流程图；图6是根据一示例性实施例示出的一种图像融合方法流程图；图7是根据一示例性实施例示出的一种图像融合方法示意图；图8是根据一示例性实施例示出的一种图像融合方法示意图；图9是根据一示例性实施例示出的一种图像融合方法流程图；图10是根据一示例性实施例示出的一种图像融合方法流程图；图11是根据一示例性实施例示出的一种图像融合方法流程图；图12是根据一示例性实施例示出的一种图像融合方法流程图；图13是根据一示例性实施例示出的一种图像融合方法流程图；图14是根据一示例性实施例示出的一种图像融合方法流程图；图15是根据一示例性实施例示出的一种图像融合方法流程图；图16是根据一示例性实施例示出的一种图像融合方法流程图；图17是根据一示例性实施例示出的一种图像融合装置框图；图18是根据一示例性实施例示出的一种拍摄设备的结构示意图。具体实施方式这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一本文档来自技高网...

【技术保护点】
1.一种摄像设备，其特征在于，所述摄像设备包括：图像采集模块、第一图像处理模块和双光融合网络模块；/n所述图像采集模块的输出端与所述第一图像处理模块的输入端连接，所述第一图像处理模块的输出端与所述双光融合网络模块的输入端连接；/n所述图像采集模块，用于采集第一原始图像和第二原始图像，将所述第一原始图像和所述第二原始图像传输给所述第一图像处理模块；/n所述第一图像处理模块，用于接收所述第一原始图像和所述第二原始图像，对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像，将所述第一预处理图像和所述第二预处理图像输入至所述双光融合网络模块；/n所述双光融合网络模块，用于接收所述第一图像处理模块输出的所述第一预处理图像和所述第二预处理图像，对所述第一预处理图像和所述第二预处理图像进行双光融合，得到融合图像。/n

【技术特征摘要】
1.一种摄像设备，其特征在于，所述摄像设备包括：图像采集模块、第一图像处理模块和双光融合网络模块；
所述图像采集模块的输出端与所述第一图像处理模块的输入端连接，所述第一图像处理模块的输出端与所述双光融合网络模块的输入端连接；
所述图像采集模块，用于采集第一原始图像和第二原始图像，将所述第一原始图像和所述第二原始图像传输给所述第一图像处理模块；
所述第一图像处理模块，用于接收所述第一原始图像和所述第二原始图像，对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像，将所述第一预处理图像和所述第二预处理图像输入至所述双光融合网络模块；
所述双光融合网络模块，用于接收所述第一图像处理模块输出的所述第一预处理图像和所述第二预处理图像，对所述第一预处理图像和所述第二预处理图像进行双光融合，得到融合图像。


2.根据权利要求1所述的摄像设备，其特征在于，所述图像采集模块包括：分光单元、第一传感器和第二传感器；
所述分光单元的输出端分别与所述第一传感器和所述第二传感器的输入端连接，所述第一传感器和所述第二传感器的输出端分别与所述第一图像处理模块的输入端连接；
所述分光单元，用于采集当前场景的入射光，将采集到的入射光分为红外光和可见光两路，将分光后的一路光输入至所述第一传感器，将另一路光输入至第二传感器；
所述第一传感器，用于接收所述分光单元输出的一路光，根据所述一路光生成第一原始图像，将所述第一原始图像传输给所述第一图像处理模块；
所述第二传感器，用于接收所述分光单元输出的另一路光，根据所述另一路光生成第二原始图像，将所述第二原始图像传输给所述第一图像处理模块。


3.根据权利要求1所述的摄像设备，其特征在于，所述第一图像处理模块包括：配准单元和预处理单元；
所述配准单元的输入端与所述图像采集模块的输出端连接，所述配准单元的输出端与所述预处理单元的输入端连接，所述预处理单元的输出端与所述双光融合网络模块连接；
所述配准单元，用于将所述第一原始图像和所述第二原始图像的像素点进行配准，将配准后的第一原始图像和第二原始图像传输给所述预处理单元；
所述预处理单元，用于接收所述配准单元传输的配准后的第一原始图像和第二原始图像；
所述预处理单元，还用于以配准后的第二原始图像作为参考，将所述第一原始图像的图像信息融合到所述第二原始图像中，得到所述第一预处理图像，将所述第一原始图像作为第二预处理图像；或者，以配准后的第一原始图像作为参考，将所述第二原始图像的图像信息融合到所述第一原始图像中，得到所述第二预处理图像，将所述第二原始图像作为第一预处理图像；或者，以配准后的第二原始图像作为参考，将所述第一原始图像的图像信息融合到所述第二原始图像中，得到所述第一预处理图像，以配准后的第一原始图像作为参考，将所述第二原始图像的图像信息融合到所述第一原始图像中，得到所述第二预处理图像；
所述预处理单元，还用于将所述第一预处理图像和所述第二预处理图像发送给所述双光融合网络模块。


4.根据权利要求1所述的摄像设备，其特征在于，
所述第一图像处理模块，还用于根据融合权重对所述第一原始图像和所述第二原始图像的像素点进行预处理，得到所述第一预处理图像和所述第二预处理图像；或者，
所述第一图像处理模块，还用于确定所述第一原始图像和所述第二原始图像中的系数最高的高频成分，根据所述系数最高的高频成分对所述第一原始图像和所述第二原始图像进行预处理，得到所述第一预处理图像和所述第二预处理图像；或者，
所述第一图像处理模块，还用于分别确定所述第一原始图像和所述第二原始图像的高频成分，根据所述第一原始图像的高频成分和所述第二原始图像的高频成分对所述第一原始图像和所述第二原始图像进行预处理，得到所述第一预处理图像和所述第二预处理图像。


5.根据权利要求1-4任一项所述的摄像设备，其特征在于，所述双光融合网络模块包括输入层、下采样层、残差层、上采样层和输出层；
所述输入层的输出与所述下采样层的输入连接，所述下采样层的输出与所述残差层的输入连接，所述残差层的输出与所述输出层的输入连接；
所述输入层，用于接收所述第一图像处理模块输出的第一预处理图像和第二预处理图像，对所述第一预处理图像和所述第二预处理图像进行整合，得到第一待处理图像；
所述下采样层，用于对所述第一待处理图像进行第一指定步长的卷积，得到第一卷积结果，对所述第一卷积结果进行归一化处理，得到第二待处理图像，所述第一指定步长大于1；
所述残差层，用于对所述第二待处理图像进行残差运算，得到第三待处理图像；
所述上采样层，用于对所述第三待处理图像进行第二指定步长的卷积，得到第二卷积结果，对所述第二卷积结果进行归一化处理，得到第四待处理图像，所述第二指定步长大于0，且小于1；
所述输出层，对所述第四待处理图像进行卷积，得到第三卷积结果，对所述第三卷积结果进行归一化处理，输出所述融合图像。


6.根据权利要求1所述的摄像设备，其特征在于，所述摄像设备还包括：第二图像处理模块；
所述第二图像处理模块的输入端与所述双光融合网络模块的输出端连接；
所述双光融合网络模块还用于将所述融合图像传输给所述第二图像处理模块；
所述第二图像处理模块，用于接收所述融合图像，对所述融合图像进行后处理，所述后处理包括颜色增强、亮度增强和图像锐化中的至少一项。


7.根据权利要求6所述的摄像设备，其特征在于，所述图像采集模块、所述第一图像处理模块、所示双光融合网络模块和所述第二图像处理模块位于一个处理芯片中；所述图像采集模块、所述第一图像处理模块、所述双光融合网络模块和所述第二图像处理模块之间通过数据接口进行数据传输。


8.一种图像融合方法，其特征在于，所述方法包括：
获取第一原始图像和第二原始图像，所述第一原始图像是一路可见光进入图像传感器时采集的图像，所述第二原始图像是一路红外光进入图像传感器时采集的图像；或者，所述第一原始图像是一路红外光进入图像传感器时采集的图像，所述第二原始图像是一路可见光进入图像传感器时采集的图像；
对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像；
通过双光融合网络，将所述第一预处理图像和所述第二预处理图像...

【专利技术属性】
技术研发人员：唐超影，谢建磊，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33