一种多帧图像融合方法及装置制造方法及图纸

本发明专利技术涉及图像处理技术领域，提供一种多帧图像融合方法及装置。多帧图像融合方法，其中，包括：连续图像获取步骤，获取多张连续拍摄图像；参考帧选取步骤，从多张连续拍摄图像中选取一张参考帧图像，其余作为辅助图像；长曝光图像获取步骤，通过长曝光拍摄，获取一张长曝光图像；配准步骤，将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割步骤，将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合步骤，将配准后的辅助图像和参考帧图像根据纹理区域和平坦区域进行融合，得到结果图像。通过使用该方法，分割可能存在拖影和不存在拖影现象的图像区域进行融合，有助于合理去除噪声和拖影现象，获得清晰度高的图像。

A Multi-frame Image Fusion Method and Device

【技术实现步骤摘要】
一种多帧图像融合方法及装置
本专利技术一般地涉及图像处理
，特别是涉及一种多帧图像融合方法及装置。
技术介绍
多帧图像融合算法由于其去噪效果相对单帧更佳，细节纹理保持更好等原因，目前已在业内广泛使用。基于内存和算法运行时间的考虑，目前常用的方案是：摄像头连续拍摄5-10张图像，选择其中一张作为参考帧，其他图像进行图像配准，对配准后图像进行多帧图像融合，进而得到去噪图像。但在实际多帧拍摄场景中，进行多张融合时，都会存在或轻或重的运动模糊，如若连续拍摄玩耍的孩子，奔跑的宠物等运动速度较快的目标时，在多帧图像融合的过程中会出现较为严重的拖影现象，严重影响对图像去噪成像的质量；在大噪声的场景下，很多噪声也会被误检测为运动状态，影响图像去噪。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供一种多帧图像融合方法及装置。第一方面，本专利技术实施例提供一种多帧图像融合方法，其中，包括：连续图像获取步骤，通过连续拍摄，获取多张连续拍摄图像；参考帧选取步骤，从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取步骤，获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的曝光时间；配准步骤，将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割步骤，将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合步骤，根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。在一实施例中，图像融合步骤包括：图像融合步骤包括：根据配准后的长曝光图像的纹理区域和平坦区域，获得配准后的参考帧图像的纹理区域和平坦区域；根据配准后的参考帧图像的纹理区域和平坦区域，获得辅助图像的纹理区域和平坦区域；将配准后的参考帧图像的纹理区域与辅助图像的纹理区域进行融合；将配准后的参考帧图像的平坦区域与辅助图像的平坦区域进行融合。在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：直接将配准后的参考帧图像的纹理区域作为纹理区域的融合结果。在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：获得配准后的辅助图像的纹理区域内的各个像素点与参考帧图像在纹理区域中对应的各个的像素点的像素差，像素差小于预设阈值时，将对应的像素点进行融合；像素差大于或等于预设阈值时，对应的辅助图像的像素点不参与融合。在一实施例中，参考帧选取步骤包括，对多张连续拍摄图像进行边缘检测，通过边缘检测得到每个连续拍摄图像的清晰度，选取清晰度最高的连续拍摄图像作为参考帧图像。在一实施例中，配准步骤包括，通过MTB算法对长曝光图像和参考帧图像进行配准。在一实施例中，长曝光图像与连续拍摄图像分别通过不同摄像头针对同一景象进行同时拍摄。在一实施例中，图像融合步骤包括：通过直接平均或双边权重的方式进行融合。第二方面，本专利技术实施例提供一种多帧图像融合装置，其中，包括：连续图像获取模块，用于通过连续拍摄，获取多张连续拍摄图像；参考帧选取模块，用于从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取模块，用于获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的曝光时间；配准模块，用于将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割模块，用于将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合模块，根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。第三方面，本专利技术实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行多帧图像融合方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行多帧图像融合方法。本专利技术提供的一种多帧图像融合方法及装置，适用于多摄设备，多摄同时采图，不会额外增加采图时间消耗；通过长曝光图像与参考帧图像配准后进行平坦区域和纹理区域分割，有助于区分连续拍摄图像中可能存在拖影现象和不存在拖影现象的区域，在分割区域的过程中不受噪声干扰；由于对长曝光图像的分辨率不需要太高，因此拍摄长曝光的设备也可以是低端设备。配准后的连续图像根据平坦区域和纹理区域进行分区域融合，有助于合理去噪和消除拖影影响；通过使用本专利技术的多帧图像融合方法及装置，能够得到去噪效果正常且去除拖影现象良好的图像。附图说明通过参考附图阅读下文的详细描述，本专利技术实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，其中：图1示出了本专利技术实施例提供的一种多帧图像融合方法示意图；图2示出了本专利技术实施例提供的一种多帧图像融合装置示意图；图3示出了本专利技术实施例提供的一种电子设备示意图；在附图中，相同或对应的标号表示相同或对应的部分。具体实施方式下面将参考若干示例性实施方式来描述本专利技术的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本专利技术，而并非以任何方式限制本专利技术的范围。需要注意，虽然本文中使用“第一”、“第二”等表述来描述本专利技术的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。图1为多帧图像融合方法10的一个实施例的流程示意图。如图1所示，该是实例方法包括：连续图像获取步骤110、参考帧选取步骤120、长曝光图像获取步骤130、配准步骤140、区域分割步骤150、图像融合步骤160。下面对图1中的各个步骤进行详细说明。连续图像获取步骤110，通过连续拍摄，获取多张连续拍摄图像。在本实施例中，通过相机或者手机等拍照设备的一镜头进行拍摄，获取多张连续拍摄图像，例如获取连续拍摄的5到10张的连续拍摄图像，用于多帧融合去除噪声。参考帧选取步骤120，从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像。在本实施例中，将获取的多张连续拍摄图像分为参考帧图像和辅助图像，选取多张连续拍摄图像中的一张图像作为参考帧图像，用于在后续配准和图像融合的过程中作为参考图像；其余连续拍摄图像为辅助图像。便于图像在融合的过程中合理去噪，避免噪声和拖影的影响。长曝光图像获取步骤130，获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的曝光时间。在本实施例中，在连续拍摄图像的同时，通过另一镜头进行长曝光拍摄与连续图像景物相同图像，从而得到长曝光图像。曝光时间越长，越能够清晰的捕捉物体的运动变化。在保证看清景象轮廓的前提下，最优选择拍摄一张长曝光图像所用时长为拍摄一帧连续图像曝光所用时长的10倍，即拍摄一张长曝光图像的同时，可拍摄10张连续拍摄图像，此时物体运动效果明显、图像清晰。在一例中，长曝光图像与连续拍摄图像同时获取；在另一例中，长曝光图像与连续拍摄图像分批获取。长曝光图像有助于区分物体移动变化本文档来自技高网...

【技术保护点】
1.一种多帧图像融合方法，其中，包括：连续图像获取步骤，通过连续拍摄，获取多张连续拍摄图像；参考帧选取步骤，从多张所述连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取步骤，获取一张长曝光图像，所述长曝光图像在连续拍摄的同时通过长曝光拍摄，所述长曝光图像的曝光时间长于拍摄单张所述连续拍摄图像的曝光时间；配准步骤，将所述长曝光图像和所述辅助图像分别与所述参考帧图像进行配准；区域分割步骤，将配准后的所述长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合步骤，根据所述纹理区域和所述平坦区域，将配准后的所述辅助图像和所述参考帧图像分区域进行融合，得到结果图像。

【技术特征摘要】
1.一种多帧图像融合方法，其中，包括：连续图像获取步骤，通过连续拍摄，获取多张连续拍摄图像；参考帧选取步骤，从多张所述连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取步骤，获取一张长曝光图像，所述长曝光图像在连续拍摄的同时通过长曝光拍摄，所述长曝光图像的曝光时间长于拍摄单张所述连续拍摄图像的曝光时间；配准步骤，将所述长曝光图像和所述辅助图像分别与所述参考帧图像进行配准；区域分割步骤，将配准后的所述长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合步骤，根据所述纹理区域和所述平坦区域，将配准后的所述辅助图像和所述参考帧图像分区域进行融合，得到结果图像。2.根据权利要求1所述的方法，其中，所述图像融合步骤包括：根据配准后的所述长曝光图像的所述纹理区域和所述平坦区域，获得配准后的所述参考帧图像的所述纹理区域和所述平坦区域；根据配准后的参考帧图像的所述纹理区域和所述平坦区域，获得配准后的所述辅助图像的所述纹理区域和所述平坦区域；将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合，以及将配准后的所述参考帧图像的所述平坦区域与配准后的所述辅助图像的所述平坦区域进行融合。3.根据权利要求2所述的方法，其中，将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合，包括：直接将配准后的参考帧图像作为融合结果。4.根据权利要求2所述的方法，其中，将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合，包括：获得配准后的所述辅助图像的所述纹理区域内的各个像素点与配准后的所述参考帧图像在所述纹理区域中对应的各个的像素点的像素差，所述像素差小于预设阈值时，将对应的像素点进行融合；所述像素差大于或等于所述预...

【专利技术属性】
技术研发人员：王涛，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京,11