合并图像的方法和装置制造方法及图纸

本发明专利技术实施例公开了一种合并图像的方法和装置，该方法包括：获取待合并的两张图像，该两张图像具有重叠区域，且该重叠区域被划分出至少两个候选融合区域；基于该两张图像之间的光流矢量，确定该至少两个候选融合区域中的每个候选融合区域对应的光流矢量映射误差；根据该至少两个候选融合区域各自对应的光流矢量映射误差，从该至少两个候选融合区域中选取该两个图像的目标融合区域；将该两张图像在该目标融合区域进行融合，从而得到该两张图像的合并图像。本发明专利技术实施例的合并图像的方法和装置能够减少由视差产生的模糊或重影。

Method and apparatus for merging images

The embodiment of the invention discloses a method and a device with the image, the method includes: two image acquisition to be merged, the two images with overlapping regions, and the overlapping area is divided into at least two candidate fusion region; optical flow vector between the two image based on the determined optical flow vector mapping the error of at least two candidate fusion of each candidate region corresponding to the fusion region; according to the optical flow vector mapping error of the at least two candidate fusion region respectively, from the at least two candidate fusion area of the two images of the target selection area; the two images in the fusion region of the target fusion thus, get the combined image of the two images. The method and apparatus of the combined image of the embodiment of the invention can reduce blurring or ghosting caused by parallax.

【技术实现步骤摘要】

本专利技术涉及图像处理领域，尤其涉及一种合并图像的方法和装置。
技术介绍
随着电子信息产业与社会需求的发展，各种图像采集设备和大尺寸显示器迅速进入到人们的日常生活。随之而来的问题是如何获取宽视角、高分辨率的图像或视频数据。例如，日常生活中的生活图像的全景拍摄、卫星图像及航拍图像的合并等，都需要把从不同视点拍摄的图像无缝拼接起来，合并成一幅宽视野、高分辨率的全景拼接图像。现有技术中一般使用普通相机阵列采集一组具有重叠区域的低分辨率或小视角图像，然后将来自多个视点的图像进行合并，经过拼接和融合组合成一幅高分辨率、宽视角的新图像，经过合并的图像包括拼接前图像的全部信息，并且看起来像在一个视点拍摄而成。现有技术中经常采用加权平均值法对图像进行合并。这种方式虽然简单，却没有考虑不同视点采集到的图像的视差问题，其直接结果就是在合并前两张图像重叠区域内的物体会在合并图像中出现模糊或重影。
技术实现思路
本专利技术实施例提供了一种合并图像的方法和装置，以减少合并图像由于视差产生的模糊或重影。第一方面，本专利技术实施例提供了一种合并图像的方法，该方法包括：获取待合并的两张图像，该两张图像是分别从两个视点采集到的图像，该两张图像具有重叠区域；将该重叠区域划分出至少两个候选融合区域，该至少两个候选融合区域中的每个候选融合区域中存在将该两张图像的每张图像划分为不连通的两部分的线；基于该两张图像之间的光流矢量，确定该每个候选融合区域对应的光流矢量映射误差，其中，该每个候选融合区域对应的光流矢量映射误差用于指示在该每个候选融合区域中的，该两张图像各自的子图像，分别基于该光流矢量，对应在同一视点的图像之间的误差；根据该至少两个候选融合区域各自对应的光流矢量映射误差，从该至少两个候选融合区域中选取出该两个图像的目标融合区域；将该两张图像在该目标融合区域进行融合，从而得到该两张图像的合并图像。待合并的图像的重叠区域被划分成多个融合区域，通过确定该多个候选融合区域各自对应的光流矢量映射误差，能够对待合并图像在重叠区域内的子图像的光流矢量映射(或称光流场映射)误差进行估计，从而能够根据误差估计结果从候选融合区域中选择目标融合区域，将两张图像在目标融合区域进行融合，从而得到两张图像的合并图像，这样不但能够减少合并图像由于视差引起的模糊或重影，且能够节省图像合并的计算量。结合第一方面，在第一方面的第一种可能的实现方式中，该方法还包括：该将该两张图像在该目标融合区域进行融合，从而得到该两张图像的合并图像，包括：基于该光流矢量，获取两张重叠子图像分别对应在该两个视点的中间视点的映射图像，该中间视点的坐标值为该两个视点的坐标值的均值，该两张重叠子图像为在该重叠区域中的该两张图像各自的重叠子图像；将两张映射图像在该目标融合区域进行融合，从而得到融合子图像；将该两张图像中的除该两张重叠子图像之外的子图像和该融合子图像进行拼接，从而得到该合并图像。通过获取两张重叠子图像基于光流矢量对应在中间视点的映射图像，并将得到的映射图像在目标融合区域进行融合，从而得到基于光流矢量变换融合的融合子图像，最终获得合并图像，可以有效的减少合并图像由于视差引起的模糊或重影。结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，该方法还包括：该两张图像包括第一图像和第二图像，该第一图像对应第一视点，该第二图像对应第二视点，该基于该两张图像之间的光流矢量，确定该至少两个候选融合区域中的每个候选融合区域对应的光流矢量映射误差，包括：基于该光流矢量，获取该第一图像中的在该重叠区域的重叠子图像对应在该第二视点的图像；确定该对应在该第二视点的图像与该第二图像中的在该重叠区域的重叠子图像之间的第一遮挡图像；基于该光流矢量，获取该第一遮挡图像对应在该两个视点的中间视点的第二遮挡图像；根据在该第二遮挡图像中的该每个候选融合区域中的用于指示遮挡的区域的信息，确定该每个候选融合区域对应的光流矢量映射误差。首先获取第一图像在重叠区域的重叠子图像基于光流矢量变换对应在第二视点的图像，并获取该对应在第二视点的图像与第二图像在重叠区域的重叠子图像之间的第一遮挡图像，然后根据该第一遮挡图像获取对应在中间视点的第二遮挡图像，根据第二遮挡图像的用于指示遮挡区域的信息，确定每个候选融合区域对应的光流矢量映射误差，从而可以根据光流矢量映射误差选取目标融合区域。结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，该方法还包括：该用于指示遮挡的区域包括用于指示遮挡的像素点，该根据该每个候选融合区域对应在该第二遮挡图像中的区域中的用于指示遮挡的区域的分布，确定该每个候选融合区域对应的光流矢量映射误差，包括：确定该每个候选融合区域对应在该第二遮挡图像中的区域中的用于指示遮挡的像素点的像素值之和；将该像素值之和作为该每个候选融合区域对应的光流矢量映射误差。结合第一方面、第一方面的第一种至第三种可能的实现方式中的任一种可能的实现方式，在第一方面的第四种可能的实现方式中，该方法还包括：该根据该至少两个候选融合区域对应的光流矢量映射误差，从该至少两个候选融合区域中选取该两个图像的融合区域，包括：将该至少两个候选融合区域中对应的光流矢量映射误差最小的候选融合区域确定为该两个图像的目标融合区域。通过选取光流矢量映射误差最小的候选融合区域为该两个图像的目标融合区域，并最终在目标融合区域对两张待合并图像进行融合，提高了合并图像的融合质量，减少了由于视差引起的模糊和重影。结合第一方面、第一方面的第一种至第三种可能的实现方式中的任一种可能的实现方式，在第一方面的第五种可能的实现方式中，该方法还包括：该根据该至少两个候选融合区域对应的该光流矢量映射误差，从该至少两个候选融合区域中选取该两个图像的融合区域，包括：将该至少两个候选融合区域中对应的光流矢量映射误差小于预设阈值的候选融合区域确定为该两个图像的目标融合区域。通过选取光流矢量映射误差小于预设阈值的候选融合区域为该两个图像的目标融合区域，并最终在目标融合区域对两张待合并图像进行融合，提高了合并图像的融合质量，减少了由于视差引起的模糊和重影。结合第一方面、第一方面的第一种至第五种可能的实现方式中的任一种可能的实现方式，在第一方面的第六种可能的实现方式中，该方法还包括：该至少两个候选融合区域的面积之和小于该重叠区域的面积。由于该至少两个候选融合区域的面积之和小于重叠区域的面积，所以可以减少计算光流矢量映射误差和融合图像时的计算量，提高合成图像的效率和处理速度。在第二方面，本专利技术实施例提供了一种合并图像的装置，该装置包括：获取模块，用于获取待合并的两张图像，该两张图像是分别从两个视点采集到的图像，该两张图像具有重叠区域；确定模块，用于将该重叠区域划分出至少两个候选融合区域，该至少两个候选融合区域中的每个候选融合区域中存在将该两张图像的每张图像划分为不连通的两部分的线；基于该两张图像之间的光流矢量，确定该每个候选融合区域对应的光流矢量映射误差，其中，该每个候选融合区域对应的光流矢量映射误差用于指示在该每个候选融合区域中的，该两张图像各自的子图像，分别基于该光流矢量，对应在同一视点的图像之间的误差；选择模本文档来自技高网...

【技术保护点】
一种合并图像的方法，其特征在于，包括：获取待合并的两张图像，所述两张图像是分别从两个视点采集到的图像，所述两张图像具有重叠区域；将所述重叠区域划分出至少两个候选融合区域，所述至少两个候选融合区域中的每个候选融合区域中存在将所述两张图像的每张图像划分为不连通的两部分的线；基于所述两张图像之间的光流矢量，确定所述每个候选融合区域对应的光流矢量映射误差，其中，所述每个候选融合区域对应的光流矢量映射误差用于指示在所述每个候选融合区域中的，所述两张图像各自的子图像，分别基于所述光流矢量，对应在同一视点的图像之间的误差；根据所述至少两个候选融合区域各自对应的光流矢量映射误差，从所述至少两个候选融合区域中选取出所述两个图像的目标融合区域；将所述两张图像在所述目标融合区域进行融合，从而得到所述两张图像的合并图像。

【技术特征摘要】
1.一种合并图像的方法，其特征在于，包括：获取待合并的两张图像，所述两张图像是分别从两个视点采集到的图像，所述两张图像具有重叠区域；将所述重叠区域划分出至少两个候选融合区域，所述至少两个候选融合区域中的每个候选融合区域中存在将所述两张图像的每张图像划分为不连通的两部分的线；基于所述两张图像之间的光流矢量，确定所述每个候选融合区域对应的光流矢量映射误差，其中，所述每个候选融合区域对应的光流矢量映射误差用于指示在所述每个候选融合区域中的，所述两张图像各自的子图像，分别基于所述光流矢量，对应在同一视点的图像之间的误差；根据所述至少两个候选融合区域各自对应的光流矢量映射误差，从所述至少两个候选融合区域中选取出所述两个图像的目标融合区域；将所述两张图像在所述目标融合区域进行融合，从而得到所述两张图像的合并图像。2.如权利要求1所述的方法，其特征在于，所述将所述两张图像在所述目标融合区域进行融合，从而得到所述两张图像的合并图像，包括：基于所述光流矢量，获取两张重叠子图像分别对应在所述两个视点的中间视点的映射图像，所述中间视点的坐标值为所述两个视点的坐标值的均值，所述两张重叠子图像为在所述重叠区域中的所述两张图像各自的重叠子图像；将两张映射图像在所述目标融合区域进行融合，从而得到融合子图像；将所述两张图像中的除所述两张重叠子图像之外的子图像和所述融合子图像进行拼接，从而得到所述合并图像。3.如权利要求1或2所述的方法，其特征在于，所述两张图像包括第一图像和第二图像，所述第一图像对应第一视点，所述第二图像对应第二视点，所述基于所述两张图像之间的光流矢量，确定所述至少两个候选融合区域中的每个候选融合区域对应的光流矢量映射误差，包括：基于所述光流矢量，获取所述第一图像中的在所述重叠区域的重叠子图像对应在所述第二视点的图像；确定所述对应在所述第二视点的图像与所述第二图像中的在所述重叠区域的重叠子图像之间的第一遮挡图像；基于所述光流矢量，获取所述第一遮挡图像对应在所述两个视点的中间视点的第二遮挡图像；根据在所述第二遮挡图像中的所述每个候选融合区域中的用于指示遮挡的区域的信息，确定所述每个候选融合区域对应的光流矢量映射误差。4.如权利要求3所述的方法，其特征在于，所述用于指示遮挡的区域的信息包括用于指示遮挡的像素点的像素值，所述根据所述每个候选融合区域对应在所述第二遮挡图像中的区域中的用于指示遮挡的区域的分布，确定所述每个候选融合区域对应的光流矢量映射误差，包括：确定所述每个候选融合区域对应在所述第二遮挡图像中的区域中的用于指示遮挡的像素点的像素值之和；将所述像素值之和作为所述每个候选融合区域对应的光流矢量映射误差。5.如权利要求1-4中任一项所述的方法，其特征在于，所述根据所述至少两个候选融合区域对应的光流矢量映射误差，从所述至少两个候选融合区域中选取所述两个图像的融合区域，包括：将所述至少两个候选融合区域中对应的光流矢量映射误差最小的候选融合区域确定为所述两个图像的目标融合区域。6.如权利要求1-4中任一项所述的方法，其特征在于，所述根据所述至少两个候选融合区域对应的所述光流矢量映射误差，从所述至少两个候选融合区域中选取所述两个图像的融合区域，包括：将所述至少两个候选融合区域中对...

【专利技术属性】
技术研发人员：罗骜，程洪，田勇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44