图像融合方法、图像采集设备、可移动平台技术

一种图像融合方法、图像采集设备、可移动平台。一种图像融合方法，包括：获取图像序列中不同拍摄亮度的各帧图像的特征向量；基于所述特征向量获取所述各帧图像的图像特征；基于所述图像特征获取所述各帧图像的权重；基于所述各帧图像的权重融合所述图像序列，得到高动态范围效果的融合图像。本实施例中通过各帧图像的特征向量得到各帧图像的图像特征，无需用户人为指定图像的图像特征，可以提升所获取图像特征的客观性和准确性。基于图像特征为各帧图像分配权重以及基于权重融合图像序列中的图像，可以得到高动态范围效果的融合图像。

【技术实现步骤摘要】
【国外来华专利技术】图像融合方法、图像采集设备、可移动平台
本专利技术实施例涉及图像处理
，尤其涉及图像融合方法、图像采集设备、可移动平台。
技术介绍
动态范围指的是自然场景中最高亮度值和最低亮度值的比值，自然场景动态范围远高于一般的照相机可以获得的动态范围，所以经常会出现暗曝光活或过曝光的情况，拍摄的照片会出现细节和信息的损失。为此，相关技术中，多曝光图像融合是一种直接通过融合多张曝光程度不同的图像，来产生一张高质量的高动态范围效果的图像的方法，后续也称之为高动态范围成像。目前，高动态范围成像通常采用两种实现方式：第一种，通过图像序列计算照相机响应曲线产生高动态范围的亮度值，然后通过色调映射在传统显示设备上显示。第二种，直接在图像域融合图像序列，产生高动态范围效果的图像。以第二种实现方式为例，相关技术中在图像融合时，可以通过对比度、颜色饱和度和曝光良好程度等图像特征来计算权重，权重图的高斯金字塔和原始图像的拉普拉斯金字塔对应相乘，通过重构拉普拉斯金字塔获得融合后的结果。然而，相关技术中算子获取权重的过程中会采用二阶拉普拉斯算子，以及所使用的图像特征均是人为定义的，其表征能力有限，导致融合后图像的效果受到限制。
技术实现思路
本专利技术实施例提供一种图像融合方法、图像采集设备、可移动平台。第一方面，本专利技术实施例提供一种图像融合方法，包括：获取图像序列中不同拍摄亮度的各帧图像的特征向量；基于所述特征向量获取所述各帧图像的图像特征；基于所述图像特征获取所述各帧图像的权重；基于所述各帧图像的权重融合所述图像序列，得到高动态范围效果的融合图像。第二方面，本专利技术实施例提供一种图像采集设备，包括处理器、图像传感器和存储器；所述图像传感器用于在不同拍摄亮度下拍摄图像，并存储到所述存储器中形成一个图像序列；所述处理器用于：获取图像序列中不同拍摄亮度的各帧图像的特征向量；基于所述特征向量获取所述各帧图像的图像特征；基于所述图像特征获取所述各帧图像的权重；基于所述各帧图像的权重融合所述图像序列，得到高动态范围效果的融合图像。第三方面，本专利技术实施例提供一种可移动平台，包括第二方面所述的图像采集设备。第四方面，本专利技术实施例提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现第一方面所述方法的步骤。由上述的技术方案可见，通过获取图像序列中不同拍摄亮度的各帧图像的特征向量，然后基于各帧图像的特征向量获取各帧图像的图像特征；之后基于图像特征可以获取各帧图像的权重，最后基于所述各帧图像的权重融合所述图像序列，得到高动态范围效果的融合图像。这样，通过各帧图像的特征向量得到各帧图像的图像特征，无需用户人为指定图像的图像特征，可以提升所获取图像特征的客观性和准确性。并且，基于图像特征为各帧图像分配权重以及基于权重融合图像序列中的图像，可以得到有效的高动态范围效果的融合图像。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种图像融合方法的流程示意图；图2是本专利技术实施例提供的一种获取特征向量的流程示意图；图3是本专利技术实施例提供的一种获取图像特征的流程示意图；图4是本专利技术实施例提供的另一种获取图像特征的流程示意图；图5是本专利技术实施例提供的一种获取相似权重值的流程示意图；图6是本专利技术实施例提供的另一种获取相似权重值的流程示意图；图7是本专利技术实施例提供的一种获取图像权重的流程示意图；图8是本专利技术实施例提供的一种融合图像的流程示意图；图9是本专利技术实施例提供的另一种图像融合方法的流程示意图；图10是本专利技术实施例提供的又一种图像融合方法的流程示意图；图11是本专利技术实施例提供的一种图像采集设备的框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。为解决相关技术中人为定义图像特征以及提取权重算子时，图像特征表征能力有限而引起的融合后图像的效果受到限制的问题，本专利技术实施例提供了一种图像融合方法，其专利技术构思在于，利用深度学习网络(例如卷积神经网络模型)来获取各帧图像的特征向量，且深度学习网络获取的特征向量能够充分反应该图像的特点，较用户人为指定的特征更客观和准确。然后，基于图像的特征向量确定各帧图像的图像特征和确定各帧图像的权重，并基于权重对多帧不同拍摄亮度下的图像进行融合，从而可以有效得到高动态范围效果的融合图像。图1是本专利技术实施例提供的一种图像融合方法的流程示意图，参见图1，一种图像融合方法，可以应用于例如摄像头、相机、智能设备、平板电脑等图像采集设备，包括步骤101～步骤104，其中：在步骤101中，获取图像序列中不同拍摄亮度的各帧图像的特征向量。本实施例中，在接收到用户的控制操作或者图像融合条件被触发后，图像采集设备可以采集不同拍摄亮度的多帧图像。例如，图像采集设备可以控制图像传感器的曝光时间，从而达到在不同拍摄亮度下拍摄图像的效果。在一些实施例中，不同拍摄亮度的多帧图像的数量可以为3帧或5帧，以3帧为例，1帧欠曝光的图像，1帧正常曝光的图像和1帧过曝光的图像。然后，图像采集设备可以将采集的多帧图像存储到指定位置，指定位置可以是本地存储器、内存、缓存或者云端等位置，形成一个图像序列。之后，图像采集设备可以获取图像序列，获取方式为直接获取或者从指定位置读取，并获取图像序列中不同拍摄亮度的各帧图像的特征向量。在一实施例中，参见图2，图像采集设备可以获取预先设置的特征识别模型(对应步骤201)，其中特征识别模型可以包括卷积神经网络模型，该卷积神经网络模型可以采用相关技术的网络模型实现。当然，在能够获取各帧图像的特征向量的情况下，相应的深度学习模型也落入本申请的保护范围。并且，该特征识别模型已经采用足够多的样本训练完成，其识别准确率达到预先设置的准确率阈值。然后，图像采集设备可以将各帧图像输入到特征识别模型，由该特征识别模型获取各帧图像的特征向量(对应步骤202)。其中，特征识别模型的工作原理可以参考所选择的深度学习模型的工作原理，在此不再赘述。以特征识别模型为卷积神经网络模型CNN(·)为例，图像序列中各帧图像的特征向量表示如下：Fi(x,y)＝CNN(Ii)(x,y)(1)；公式中，CNN(·)表示预先设置的卷积神经网络模型；各本文档来自技高网...

【技术保护点】
1.一种图像融合方法，其特征在于，包括：/n获取图像序列中不同拍摄亮度的各帧图像的特征向量；/n基于所述特征向量获取所述各帧图像的图像特征；/n基于所述图像特征获取所述各帧图像的权重；/n基于所述各帧图像的权重融合所述图像序列，得到高动态范围效果的融合图像。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像融合方法，其特征在于，包括：
获取图像序列中不同拍摄亮度的各帧图像的特征向量；
基于所述特征向量获取所述各帧图像的图像特征；
基于所述图像特征获取所述各帧图像的权重；
基于所述各帧图像的权重融合所述图像序列，得到高动态范围效果的融合图像。


2.根据权利要求1所述的图像融合方法，其特征在于，获取图像序列中不同拍摄亮度的各帧图像的特征向量包括：
获取预先设置的特征识别模型；
将所述各图像输入到所述特征识别模型，由所述特征识别模型获取所述各帧图像的特征向量。


3.根据权利要求2所述的图像融合方法，其特征在于，所述特征识别模型为卷积神经网络模型。


4.根据权利要求3所述的图像融合方法，其特征在于，所述各帧图像的特征向量采用以下公式表示：
Fi(x,y)＝CNN(Ii)(x,y)；
公式中，CNN(·)表示预先设置的卷积神经网络模型；所述各帧图像Ii(i＝1,2,3,...,K)中的每一个像素(x,y)对应一个特征向量，其维度等于所述卷积神经网络模型中滤波器的个数。


5.根据权利要求3或4所述的图像融合方法，其特征在于，所述卷积神经网络模型为分类网络VGG-16的第一层。


6.根据权利要求1所述的图像融合方法，其特征在于，基于所述特征向量获取所述各帧图像的图像特征包括：
基于所述特征向量获取所述特征向量的向量强度；所述向量强度即为所述各帧图像的图像特征。


7.根据权利要求6所述的图像融合方法，其特征在于，所述向量强度包括所述特征向量的L1范数值。


8.根据权利要求7所述的图像融合方法，其特征在于，所述向量强度采用以下公式表示：
Vi(x,y)＝||Fi(x,y)||1；
公式中，Vi(x,y)表示特征向量的向量强度，||Fi(x,y)||1表示计算特征向量Fi(x,y)的L1范数值。


9.根据权利要求7所述的图像融合方法，其特征在于，基于所述图像特征获取所述各帧图像的权重的过程中，所述特征向量的向量强度越大，则所述特征向量对应的图像的权重越大。


10.根据权利要求1所述的图像融合方法，其特征在于，基于所述特征向量获取所述各帧图像的图像特征包括：
基于所述特征向量获取所述特征向量的相似权重值；所述相似权重值即为所述各帧图像的图像特征。


11.根据权利要求10所述的图像融合方法，其特征在于，基于所述特征向量获取所述特征向量的相似权重值包括：
对所述各帧图像的特征向量进行归一化，得到归一化后的特征向量；
基于所述归一化后的特征向量获取所述各帧图像与其他任意一帧图像的相似值；
基于所述相似值获取所述各帧图像的相似权重值。


12.根据权利要求11所述的图像融合方法，其特征在于，所述相似值包括所述归一化后的特征向量的L2范数值。


13.根据权利要求12所述的图像融合方法，其特征在于，所述相似值采用以下公式表示：



公式中，sij(x,y)2表示两个归一化后特征向量的相似值；表示归一化后的特征向量；表示计算图像序列中任意两帧图像归一化后特征向量和之差的L2范数值。


14.根据权利要求13所述的图像融合方法，其特征在于，基于所述相似值获取所述各帧图像的相似权重值包括：
获取预先设置的相似值计算模型；
将所述相似值输入到相似值计算模型，由所述相似值计算模型计算所述各帧图像的相似权重值。


15.根据权利要求14所述的图像融合方法，其特征在于，所述相似值计算模型包括高斯函数。


16.根据权利要求14或者15所述的图像融合方法，其特征在于，所述相似值采用以下公式表示：



公式中，表示利用高斯函数计算相似值的第i帧图像和第j帧图像的相似值；Si(x,y)表示计算第i帧图像的相似权重值。


17.根据权利要求1所述的图像融合方法，其特征在于，基于所述图像特征获取所述各帧图像的权重包括：
对所述各帧图像的图像特征的乘积进行归一化处理，得到所述各帧图像的权重。


18.根据权利要求17所述的图像融合方法，其特征在于，所述各帧图像的权重采用以下公式表示：



公式中，Wi(x,y)表示第i帧图像的权重，Vi(x,y)表示第i帧图像的向量强度，Si(x,y)表示第i帧图像的相似权重值，α为预先设置的一个小数，避免分母为零。


19.根据权利要求1所述的图像融合方法，其特征在于，基于所述图像特征获取所述各帧图像的权重之前，所述方法还包括：
对所述各帧图像进行曝光掩模，得到曝光掩模后的图像；
基于所述图像特征获取所述各帧图像的权重包括：
基于所述图像特征和所述曝光掩模后的图像获取所述各帧图像的权重。


20.根据权利要求19所述的图像融合方法，其特征在于，所述曝光掩模采用以下公式表示：



公式中，Mi(x,y)表示曝光掩模后的图像中各像素的值，β表示过滤阈值，所述过滤阈值用于表征去除不良像素的程度。


21.根据权利要求20所述的图像融合方法，其特征在于，所述过滤阈值取值范围为0.1～0.5。


22.根据权利要求19所述的图像融合方法，其特征在于，基于所述图像特征和所述曝光掩模后的图像获取所述各帧图像的权重，包括：
对所述各帧图像的图像特征和所述曝光掩模后的图像的乘积进行归一化处理，得到所述各帧图像的权重。


23.根据权利要求22所述的图像融合方法，其特征在于，所述各帧图像的权重采用以下公式表示：



公式中，Wi(x,y)表示第i帧图像的权重，Vi(x,y)表示第i帧图像的向量强度，Si(x,y)表示第i帧图像的相似权重值，α为预先设置的一个小数，避免分母为零。


24.根据权利要求1所述的图像融合方法，其特征在于，基于所述各帧图像的权重融合所述图像序列，得到高动态范围效果的融合图像包括：
获取所述各帧图像中各像素的像素值和权重；所述各帧图像的权重包括各像素的权重；
基于所述各像素的像素值和权重获取所述各像素的一个融合像素值，得到融合图像。


25.根据权利要求24所述的图像融合方法，其特征在于，所述融合图像采用以下公式表示：



公式中，If(x,y)表示融合图像，Ii(x,y)表示第i帧图像，Wi(x,y)表示第i帧图像的权重。


26.一种图像采集设备，其特征在于，包括处理器、图像传感器和存储器；所述图像传感器用于在不同拍摄亮度下拍摄图像，并存储到所述存储器中形成一个图像序列；所述处理器用于：
获取图像序列中不同拍摄亮度的各帧图像的特征...

【专利技术属性】
技术研发人员：李辉，曹子晟，胡攀，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44