图像处理方法、装置、成像设备、可移动载体及存储介质制造方法及图纸

一种图像处理方法、装置、成像设备、可移动载体及存储介质。所述方法包括：获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到，根据所述第一组图像中各图像的特征点确定所述第二组图像各图像的特征点；基于所述第二组图像各图像的特征点对所述第二组图像进行拼接，得到第二全景图像。通过细节更加丰富、更易提取特征点的图像来指导细节缺失严重的图像来提取特征点，可以使细节缺失严重的图像提取出更多特征点，从而实现细节缺失严重的图像的拼接，提高拼接后的图像的质量。提高拼接后的图像的质量。提高拼接后的图像的质量。

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、装置、成像设备、可移动载体及存储介质


[0001]本申请涉及图像处理
，具体而言，涉及一种图像处理方法、装置、成像设备、可移动载体及存储介质。

技术介绍

[0002]通常可以将传感器在不同角度采集的多张图像进行拼接，得到一张大视角或者360度全视角的全景图像。在对多张图像进行拼接时，需要从各图像中提取特征点，然后进行特征点的配准，基于配准结果对图像进行融合，得到拼接后的大视角图像。准确地提取特征点是保证拼接后的大视角图像的质量的前提。
[0003]但是，对于有些传感器，其采集的图像细节信息较少，分辨率较低或者噪声比较严重，比如，红外、紫外等灰度图像，因而可以提取到的特征点很少，如果仍按照传统的方式进行图像拼接，拼接后的图像效果较差。因此，有必要对图像拼接的方法加以改进，以用于细节信息缺失严重的图像的拼接。

技术实现思路

[0004]有鉴于此，本申请提供一种图像处理方法、装置、成像设备、可移动载体及存储介质。
[0005]根据本申请的第一方面，提供一种图像处理方法，所述方法包括：
[0006]获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
[0007]根据所述第一组图像的特征点确定所述第二组图像的特征点；
[0008]基于所述第二组图像的特征点对所述第二组图像中各图像进行拼接，得到第二全景图像。
[0009]根据本申请的第二方面，提供一种图像处理方法，所述方法包括：
[0010]获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
[0011]分别将所述第一组图像融合于所述第二组图像，得到第三组图像；
[0012]根据所述第一组图像的特征点确定所述第三组图像的特征点；
[0013]基于所述第三组图像的特征点对所述第三组图像中的各图像进行拼接，得到第四全景图像。
[0014]根据本申请的第三方面，提供一种图像处理装置，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
[0015]获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
[0016]根据所述第一组图像的特征点确定所述第二组图像的特征点；
[0017]基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
[0018]根据本申请的第四方面，提供一种图像处理装置，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
[0019]获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
[0020]分别将所述第一组图像融合于所述第二组图像，得到第三组图像；
[0021]根据所述第一组图像的特征点确定所述第三组图像的特征点；
[0022]基于所述第三组图像的特征点对所述第三组图像中的各图像进行拼接，得到第三全景图像。
[0023]根据本申请的第五方面，提供一种成像设备，所述成像设备包括第一图像传感器、第二图像传感器以及图像处理装置，所述第一图像传感器和第二图像传感器连接至所述图像处理装置，所述第一图像传感器和第二图像相对位置固定，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
[0024]获取第一组图像和第二组图像，其中，所述第一组图像通过第一传感器采集得到和所述第二组图像通过第二传感器采集得到；
[0025]根据所述第一组图像的特征点确定所述第二组图像的特征点；
[0026]基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
[0027]根据本申请的第六方面，提供一种可移动载体，所述可移动载体包括机身和成像设备，所述成像设备安装于所述机身，所述成像设备包括第一图像传感器、第二图像传感器以及图像处理装置，所述第一图像传感器和第二图像传感器连接至所述图像处理装置，所述第一图像传感器和第二图像相对位置固定，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
[0028]获取第一组图像和第二组图像，其中，所述第一组图像通过第一传感器采集得到，所述第二组图像通过第二传感器采集得到；
[0029]根据所述第一组图像的特征点确定所述第二组图像的特征点；
[0030]基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
[0031]根据本申请的第七方面，提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现本申请任一项所述的图像处理方法。
[0032]本申请通过相对位置固定的两个传感器分别采集得到两组图像，并且通过第一组图像的特征点来确定第二组图像的特征点，以便第二组图像可以根据特征点实现图像的拼接，通过细节更加丰富、更易提取特征点的图像来指导细节缺失严重的图像来提取特征点，可以使细节缺失严重的图像提取出更多特征点，从而实现细节缺失严重的图像的拼接，提
高拼接后的图像的质量。
附图说明
[0033]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本申请一个实施例提供的一种图像拼接的示意图。
[0035]图2是本申请一个实施例提供的一种图像处理方法流程图。
[0036]图3是本申请一个实施例提供的一种图像处理方法流程图。
[0037]图4是本申请一个实施例提供的一种图像拼接并融合的示意图。
[0038]图5是本申请另一个实施例提供的一种图像拼接并融合的示意图。
[0039]图6是本申请一个实施例提供的一种图像处理装置的逻辑结构框图。
[0040]图7是本申请一个实施例提供的一种成像设备的逻辑结构框图。
[0041]图8是本申请一个实施例提供的一种可移动载体的示意图。
[0042]图9是本申请一个实施例提供的一种可移动载体的逻辑结构框图。
具体实施方式
[0043]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，其特征在于，所述方法包括：获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；根据所述第一组图像的特征点确定所述第二组图像的特征点；基于所述第二组图像的特征点对所述第二组图像的各图像进行拼接，得到第二全景图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述第一组图像的分辨率高于所述第二组图像。3.根据权利要求1所述的图像处理方法，其特征在于，基于所述第二组图像的特征点对所述第二组图像的各图像进行拼接，得到全景图像，包括：基于所述第二组图像的特征点对所述第二组图像中的各图像进行配准；基于配准结果对所述第二组图像中各图像进行合成，得到所述全景图像。4.根据权利要求1所述的图像处理方法，其特征在于，基于所述第二组图像的特征点对所述第二组图像进行拼接之前，还包括：根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系，其中，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数。5.根据权利要求4所述的图像处理方法，其特征在于，所述指定坐标系包括：所述第一组图像的坐标系和/或所述第二组图像的坐标系。6.根据权利要求4所述的图像处理方法，其特征在于，根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系之后，还包括：对所述第一组图像或所述第二组图像进行裁剪，以使所述第一组图像的视场角与所述第二组图像的视场角一致。7.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：基于所述第一组图像的特征点对所述第一组图像中的各图像进行拼接，得到第一全景图像。8.根据权利要求7所述的图像处理方法，其特征在于，所述方法还包括：融合所述第一全景图像和所述第二全景图像，得到第三全景图像。9.根据权利要求8所述的图像处理方法，其特征在于，所述融合所述第一全景图像和所述第二全景图像，包括：提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像。10.根据权利要求9所述的图像处理方法，其特征在于，所述提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像，包括：将所述第一全景图像的第一分量按第一权重融合于所述第二全景图像的第一分量，得到所述第三全景图像的第一分量。11.根据权利要求9所述的图像处理方法，其特征在于，所述第一全景图像的第一分量的提取阈值可调。12.根据权利要求10所述的图像处理方法，其特征在于，所述第三全景图像的第二分量
由第二全景图像的第二分量按增益系数获得。13.根据权利要求12所述的图像处理方法，其特征在于，所述增益系数由第三全景图像的第一分量与所述第二全景图像的第一分量得到。14.根据权利要求10所述的图像处理方法，所述融合所述第一全景图像和所述第二全景图像，包括：将所述第一全景图像按第二权重融合于所述第二全景图像。15.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一组图像的特征点确定所述第二组图像的特征点，包括：在所述第一组图像中确定与所述第二组图像中的第二图像同时采集的第一图像；根据所述第一组图像与所述第二组图像之间的映射关系确定所述第一图像的特征点在所述第二图像中的映射点，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数；将所述映射点作为所述第二图像的特征点。16.根据权利要求15所述的图像处理方法，其特征在于，所述映射关系通过单应性矩阵和/或仿射矩阵表征。17.根据权利要求15所述的图像处理方法，其特征在于，所述单应性矩阵通过所述两个传感器的内参矩阵以及所述两个传感器中的一个传感器的坐标系相对于另一个传感器的坐标系的变换矩阵确定。18.根据权利要求1
‑
17任一项所述的图像处理方法，其特征在于，所述第一组图像为可见光图像，所述第二组图像为红外图像。19.一种图像处理方法，其特征在于，所述方法包括：获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像通过相对位置固定的两个传感器采集得到；分别将所述第一组图像融合于所述第二组图像，得到第三组图像；根据所述第一组图像特征点确定所述第三组图像的特征点；基于所述第三组图像的特征点对所述第三组图像中的各图像进行拼接，得到第四全景图像。20.根据权利要求19所述的图像处理方法，其特征在于，所述第一组图像的分辨率大于所述第二组图像。21.一种图像处理装置，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；根据所述第一组图像的特征点确定所述第二组图像的特征点；基于所述第二组图像的特征点对所述第二组图像中各图像进行拼接，得到第二全景图像。22.根据权利要求21所述的图像处理装置，其特征在于，所述第一组图像的分辨率高于所述第二组图像。23.根据权利要求21所述的图像处理装置，其特征在于，所述处理器用于基于所述第二
组图像的特征点对所述第二组图像中的各图像进行拼接，得到全景图像时，包括：基于所述第二组图像的特征点对所述第二组图像中的各图像进行配准；基于配准结果对所述第二组图像中各图像进行合成，得到所述全景图像。24.根据权利要求21所述的图像处理装置，其特征在于，所述处理器用于基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接之前，还用于：根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数。25.根据权利要求24所述的图像处理装置，其特征在于，所述指定坐标系包括：所述第一组图像的坐标系和/或所述第二组图像的坐标系。26.根据权利要求24所述的图像处理装置，其特征在于，所述处理器用于根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系之后，还用于：对所述第一组图像或所述第二组图像进行裁剪，以使所述第一组图像的视场角与所述第二组图像的视场角一致。27.根据权利要求24所述的图像处理装置，其特征在于，所述处理器还用于：基于所述第一组图像的特征点对所述第一组图像中各图像进行拼接，得到第一全景图像。28.根据权利要求27所述的图像处理装置，其特征在于，所述处理器还用于：融合所述第一全景图像和所述第二全景图像，得到第三全景图像。29.根据权利要求28所述的图像处理装置，其特征在于，所述处理器用于融合所述第一全景图像和所述第二全景图像时，包括：提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像。30.根据权利要求29所述的图像处理装置，其特征在于，所述处理器用于提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像时，包括：将所述第一全景图像的第一分量按第一权重融合于所述第二全景图像的第一分量，得到所述第三全景图像的第一分量。31.根据权利要求29所述的图像处理装置，其特征在于，所述第一全景图像的第一分量的提取阈值可调。32.根据权利要求30所述的图像处理装置，其特征在于，所述第三全景图像的第二分量由第二全景图像的第...

【专利技术属性】
技术研发人员：李广，朱传杰，李静，郭浩铭，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：