图像融合方法装置设备和摄像机以及存储介质与程序产品制造方法及图纸

本申请涉及图像融合方法装置设备和摄像机以及存储介质与程序产品。一种在低照度场景下，获得标定值的技术，当摄像机在高光照场景拍摄时，分别在不同镜头温度下获得所述摄像机所拍摄的多幅图像之间的标定值，从而得到镜头温度与标定值之间的关系，这种关系例如是线性公式。在低照度场景下拍摄时，难以直接获得标定值，于是根据预先获得的所述线性公式以及再次拍摄时的镜头温度，从而计算出低照度场景下图像之间的标定值，使用这个计算出的标定值对低照度下所拍摄的多幅图像进行对齐，可以提升融合图像的效果。

【技术实现步骤摘要】
图像融合方法装置设备和摄像机以及存储介质与程序产品
本专利技术涉及摄像领域，尤其涉及一种图像融合技术。
技术介绍
摄像机是监控领域的核心设备。但在夜晚低照度条件下，摄像机获得的图像效果不够清晰，导致对图像的识别准确率急剧下降。一种解决方案是摄像机拍摄可见光、红外光两张图像，然后对二者进行融合，从而获得清晰的彩色图像。例如，在摄像机内安装分光棱镜，通过棱镜的分光的特性将进入摄像机的可见光和红外光分别成像在两个传感器上，从而分别生成彩色图像和灰度图像，再对所述彩色图像与所述灰度图像进行像素级的标定与融合，最终生成融合后的彩色图像。由于彩色图像和灰度图像所展现的是相同的被拍摄目标，因此两幅图像的像素之间存在对应关系。需要在两副图像中找到对应的像素，以便在融合时尽可能让相互对应的(或者距离较近的)每一对像素对齐，然后把对齐的像素融合在一起，以减轻“重影”的出现。参见图3，在标定时两副图像中相对应的像素之间相距大约为个10个像素的距离，导致融合后的图像出现明显的重影现象；参见图4，在标定时两幅图像中相对应的像素之间的相距为大约2个像素，因此融合后的图像边缘清晰，没有出现明显的重影现象。由此可以看出，如何尽量准确的的对齐图片，在图像融合中是一个关键的问题。在日间，由于灰度图像和彩色图像本身已经足够清晰，足以定位到彩色图像和黑体图像中相对于的像素，因此应用现有标定算法就可以较准确的得到对齐所需的标定值。然而在夜间，由于彩色图像较为模糊，导致难以定位到彩色图像和黑体图像中相对于的像素，以至于往往难以准确测量标定值。另外，由于日间和夜间存在明显的温差，这个温差带来的热胀冷缩带来了镜头在物理上膨胀或者收缩，这导致了如果把日间的标定值应用于夜间图像的标定同样的话，会出现较大的偏差，融合效果不佳。因此，找到一种在低照度场景下适用的标定值获取方案，是图像融合领域一个待解决的问题。
技术实现思路
第一方面，本专利技术提供一种图像融合的方法实施例，包括：获取摄像机所采集的多幅图像；获取采集所述多幅图像时所述摄像机的镜头的目标温度；根据标定值对齐所述多幅图像，把对齐后的所述多幅图像进行融合，其中所述标定值与所述目标温度相关。该方案不需要直接测量标定值，而是通过温度间接的获得了标定值，在难以直接获得标定值的场景(例如低照度场景)下，可以准备的获得标定值。提高融合图像的质量。第一方面的第一种可能的实现方式，所述摄像机包括多个传感器，所述多幅图像分别由所述多个传感器在同一时刻生成，不同所述传感器生成不同所述图像。该方案介绍了这些被融合的图像是由同一个摄像机的不同传感器同时生成的，每个传感器生成一个不同的所述图像。第一方面的第二种可能的实现方式，所述摄像机包括单镜头和分光器，所述方法还包括：所述单镜头接收光线，所述单镜头把接收的光线传送给所述分光器，所述分光器把来自所述单镜头的光线分成多个子光线，所述分光器把所述多个子光线传送给所述多个传感器，不同的子光线对应不同的传感器；或者，所述摄像机包括：多个镜头，所述方法还包括：所述多个镜头中的每个镜头接收一个子光线，所述多个镜头把接收的多个所述子光线传送给所述多个传感器，其中，不同的子光线对应不同的所述传感器。该方案分别介绍了：当所述摄像机是单目多传感器摄像机时，摄像机内的光线传输路径，当所述摄像机是多目多传感器摄像机时，摄像机内的光线传输路径。第一方面的第三种可能的实现方式，所述摄像机包括彩色传感器和黑白传感器，所述多幅图像包括：由所述彩色传感器生成的彩色图像以及由所述黑白传感器生成的灰度图像。该方案介绍了传感器具体类型。此外，所述摄像机还可以仅仅包括多个彩色传感器，或者仅仅包括多个黑白传感器。在所述摄像机汇总传感器的数量可以是2个，3个、4个或者更多个。第一方面的第四种可能的实现方式，当所述摄像机位于高照度场景中，在所述镜头位于不同温度下时分别获取：所述摄像机不同传感器所采集的图像之间的标定值，从而得到镜头温度与标定值的对应关系；根据所述目标温度和所述对应关系，获得与所述目标温度对应的标定值。该方案介绍了标定值的具体获取方案。在实际应用中，据所述目标温度和所述对应关系可以是标定值计算公式的形式，或者标定值表的形式。第一方面的第五种可能的实现方式，所述多幅图像的数量是2幅，其中：所述标定值包括横向标定值x和纵向标定值y，x和所述镜头温度线性相关，y和所述镜头温度线性相关。第一方面的第六种可能的实现方式，所述多幅图像的格式相同，并且是所述多幅图像的格式是RAW格式；或者所述多幅图像的格式是YUV格式，或者所述多幅图像的格式是RGB格式。第二方面，本专利技术提高一种图像融合装置的实施例，包括：图像获取模块，用于获取摄像机所采集的多幅图像；温度获取模块，用于获取采集所述多幅图像时所述摄像机的镜头的目标温度；标定模块，用于根据标定值对齐所述多幅图像，其中所述标定值与所述目标温度相关；融合模块，用于把对齐后的所述多幅图像进行融合。第三方面，本专利技术提供一种图像融合设备，包括：接口，用于获取摄像机所采集的多幅图像；处理器，用于获取采集所述多幅图像时所述摄像机的镜头的目标温度；根据标定值对齐所述多幅图像，把对齐后的所述多幅图像进行融合，其中所述标定值与所述目标温度相关。第四方面，本专利技术提高一种摄像机，包括：光学结构，用于把多个子光线发送给多个传感器，所述多个子光线中的每个子光线对应所述多个传感器中的一个传感器；所述多个传感器中的每个传感器用于对收到的子光线进行光电转换，从而生成多幅图像；处理器，用于获取采集所述多幅图像时所述摄像机的镜头的目标温度，根据标定值对齐所述多幅图像，把对齐后的所述多幅图像进行融合，其中所述标定值与所述目标温度相关。该第二、三、四方面，拥有和第一方面类似的技术效果，以及拥有类似的各种可能实现方式。附图说明图1是本专利技术提供的一种摄像机实施例的结构示意图。图2是本专利技术提供的一种摄像机实施例的结构示意图。图3是2幅对齐不佳的图像融合后的融合图像效果图。图4是2幅对齐较佳的图像融合后的融合图像效果图。图5是实验室测量的偏差值与温度关系图。图6是对图5的实验结果拟合生成偏差值与温度之间的关系示意图。图7是获取标定公式实施例的流程图。图8是图像融合实施例的流程图。图9图像融合装置实施例的拓扑图。具体实施方式摄像机(camera)可以拍照以及录制视频，构成摄像机的组件包括镜头(lens)、图像传感器(也称为传感器)和处理器。所述镜头用于通过光线；所述传感器(sensor)用于把来自镜头的光信号转换成电信号，以原始图像的方式记录下来；所述处理器(processor)可以对原始图像进行编码处理，例如把RAW图像编码成易于被人眼识别的JPEG图像、HEIF图像、H.264视频、H.265视频等。镜头的作用是把被观察目标的光像呈现在摄像机的传感器上。本文档来自技高网...

【技术保护点】
1.一种图像融合方法，其特征在于，包括：/n获取摄像机所采集的多幅图像；/n获取采集所述多幅图像时所述摄像机的镜头的目标温度；/n根据标定值对齐所述多幅图像，把对齐后的所述多幅图像进行融合，其中所述标定值与所述目标温度相关。/n

【技术特征摘要】
20191217 CN 20191130199161.一种图像融合方法，其特征在于，包括：
获取摄像机所采集的多幅图像；
获取采集所述多幅图像时所述摄像机的镜头的目标温度；
根据标定值对齐所述多幅图像，把对齐后的所述多幅图像进行融合，其中所述标定值与所述目标温度相关。


2.根据权利要求1所述的图像融合方法，其特征在于：
所述摄像机包括多个传感器，所述多幅图像分别由所述多个传感器在同一时刻生成，不同所述传感器生成不同所述图像。


3.根据权利要求2所述的图像融合方法，其特征在于：
所述摄像机包括单镜头和分光器，所述方法还包括：所述单镜头接收光线，所述单镜头把接收的光线传送给所述分光器，所述分光器把来自所述单镜头的光线分成多个子光线，所述分光器把所述多个子光线传送给所述多个传感器，不同的子光线对应不同的传感器；或者
所述摄像机包括：多个镜头，所述方法还包括：所述多个镜头中的每个镜头接收一个子光线，所述多个镜头把接收的多个所述子光线传送给所述多个传感器，其中，不同的子光线对应不同的所述传感器。


4.根据权利要求1所述的图像融合方法，其中：
所述摄像机包括彩色传感器和黑白传感器，所述多幅图像包括：由所述彩色传感器生成的彩色图像以及由所述黑白传感器生成的灰度图像。


5.根据权利要求1-4所述的任意一项图像融合方法，所述方法还包括：
当所述摄像机位于高照度场景中，在所述镜头位于不同温度下时分别获取：所述摄像机不同传感器所采集的图像之间的标定值，从而得到镜头温度与标定值的对应关系；
根据所述目标温度和所述对应关系，获得与所述目标温度对应的标定值。


6.根据权利要求1-4所述的任意一项图像融合方法，其特征在于，所述多幅图像的数量是2幅，其中：
所述标定值包括横向标定值x和纵向标定值y，x和所述镜头温度线性相关，y和所述镜头温度线性相关。


7.根据权利要求1-5所述的任意一项图像融合方法，所述多幅图像的格式相同，并且是下述格式中的一种：
RAW格式，YUV格式以及RGB格式。


8.一种图像融合装置，其特征在于，包括：
图像获取模块，用于获取摄像机所采集的多幅图像；
温度获取模块，用于获取采集所述多幅图像时所述摄像机的镜头的目标温度；
标定模块，用于根据标定值对齐所述多幅图像，其中所述标定值与所述目标温度相关；
融合模块，用于把对齐后的所述多幅图像进行融合。


9.根据权利要求8所述的图像融合装置，其中：
所述多幅图像分别由摄像机的多个传感器在同一时刻生成，不同所述传感器用于生成不同的所述图像。


10.根据权利要求9所述的图像融合装置，其中：
所述摄像机包括彩色传感器和黑白传感器，所述多幅图像包括：由所述彩色传感器生成的彩色图像以及由所述黑白传感器生成的灰度图像。


11.根据权利要求8所述的图像融合装置，所述标定模块还用于：
在所述摄像机位于高照度场景中，在所述镜头在不同温度时分别获取：所述摄像机不同传感...

【专利技术属性】
技术研发人员：杨昆，方光祥，刘军，汪鹏程，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44