本公开提供一种图像拼接方法，包括：获取参考图像及待拼接图像的待匹配特征点对，将待匹配特征点对随机分为M组；依据每组包含的待匹配特征点对，计算该组对应的第一特征变换矩阵，得到M个第一特征变换矩阵；计算每个第一特征变换矩阵对应的适应度值；随机交换适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素，得到N个第二特征变换矩阵；计算每个第二特征变换矩阵对应的适应度值；随机交换适应度值大于预设阈值的第二特征变换矩阵之间的部分矩阵元素，得到K个第三特征变换矩阵，依次迭代，直至得到最优的特征变换矩阵；基于最优的特征变换矩阵，对参考图像与待拼接图像进行拼接。本公开还提供一种图像拼接装置、电子设备及介质。设备及介质。设备及介质。
【技术实现步骤摘要】
图像拼接方法、装置、电子设备及存储介质
[0001]本公开涉及图像处理领域，具体涉及一种图像拼接方法、装置、电子设备及存储介质。
技术介绍
[0002]图像拼接包括图像特征识别、图像特征点匹配、匹配特征点对的优化、图像变换和图像融合，其中，图像特征识别和匹配特征点对的优化对图像拼接的准确度尤为重要。图像特征点匹配过程中通常会产生错误的匹配特征点对，而错误匹配率会直接影响变换矩阵的计算，进而严重影响图像拼接的质量。
[0003]传统的匹配特征点对优化是采用随机抽样一致性(Random Sample Consensus，RANSAC)方法对匹配点对进行筛选。RANSAC方法是通过迭代K次，以求变换矩阵的最优值，但每次迭代只能考虑四个匹配特征点对，每次的迭代之间都是独立，之前的迭代都无法对下一次的迭代产生反馈。并且，通过四个匹配特征点对求解变换矩阵，会导致图像局部区域匹配，而对于一些区域会出现粗糙不规则的情况，特别是对于具有一定视差的图像，该种方式无疑会影响图像拼接的准确度。此外，RANSAC方法中，变换矩阵仅有内点数量决定，当外点过多时，不能有效剔除误匹配点。
[0004]公开内容
[0005]有鉴于此，本公开提供一方面提供一种图像拼接方法，包括：获取参考图像及待拼接图像对应的待匹配特征点对，将所述待匹配特征点对随机分为M组；依据每组包含的待匹配特征点对，计算该组对应的第一特征变换矩阵，得到M个第一特征变换矩阵；计算每一个第一特征变换矩阵对应的适应度值；随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素，得到N个第二特征变换矩阵；计算每一个第二特征变换矩阵对应的适应度值；随机交换所述适应度值大于预设阈值的第二特征变换矩阵之间的部分矩阵元素，得到K个第三特征变换矩阵，依次迭代，直至得到最优的特征变换矩阵；基于所述最优的特征变换矩阵，对所述参考图像与所述待拼接图像进行拼接。
[0006]根据本公开的实施例，所述图像拼接方法还包括：针对于至少一个适应度值大于预设阈值的特征变换矩阵，随机改变特征变换矩阵中的部分矩阵元素。
[0007]根据本公开的实施例，所述计算每一个第一特征变换矩阵对应的适应度值包括：根据内点数量、内点偏差距离及内点分散程度，计算所述适应度值，其中，当一待匹配特征点经过特征变换矩阵变换得到的特征点与该待匹配特征点之间的投影误差小于预设值时，该待匹配特征点为内点。
[0008]根据本公开的实施例，所述根据内点数量、内点偏差距离及内点分散程度，计算所述适应度值包括：根据：
[0009][0010]计算所述适应度，其中，V为所述适应度，α、β、γ为系数，P为内点数量，i、j为内点
的编号，S
i
为第i个内点的投影误差，A
i
表示第i个内点的特征，A
j
表示第j个内点的特征。
[0011]根据本公开的实施例，所述随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素包括：按照所述适应度值对所述第一特征变换矩阵进行排序，选择适应度最高的第一特征变换矩阵与其他第一特征变换矩阵进行矩阵元素交换。
[0012]根据本公开的实施例，所述随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素包括：通过单点交叉交换和/或两点交叉交换的对适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素进行随机交换。
[0013]根据本公开的实施例，所述单点交叉交换包括：选择第一特征变换矩阵中的一个元素，将该第一特征变换矩阵分成两部分，选择其中一部分与其他第一特征变换中的元素进行交换；所述两点交叉交换包括：选择第一特征变换矩阵中的两个元素，将该第一特征变换矩阵分成三部分，选择中间部分与其他第一特征变换中的元素进行交换。
[0014]根据本公开的实施例，所述针对于至少一个适应度值大于预设阈值的特征变换矩阵，随机改变特征变换矩阵中的部分矩阵元素包括：采用标准正态分布的随机数特征变换矩阵中的矩阵元素相乘，以改变所述矩阵元素。
[0015]根据本公开的实施例，基于待匹配特征点对的特征，采用最小二乘法计算所述第一特征变换矩阵。
[0016]根据本公开的实施例，所述获取参考图像及待拼接图像对应的待匹配特征点对包括：分别对所述参考图像及所述待拼接图像进行预处理；对预处理后的参考图像进行特征提取，得到第一特征点；对预处理后的待拼接图像进行特征提取，得到第二特征点；将所述第一特征点与所述第二特征点进行匹配，筛选相同或相似的特征，以作为所述待匹配特征点对。
[0017]根据本公开的实施例，所述基于上述最优的特征变换矩阵，对所述参考图像与所述待拼接图像进行拼接包括：基于所述最优的特征变换矩阵，对所述待拼接图像进行图像变换；将经过图像变换后的待拼接图像与所述参考图像进行图像融合。
[0018]本公开另一方面提供一种图像拼接装置，包括：获取模块，用于获取参考图像及待拼接图像对应的待匹配特征点对，将所述待匹配特征点对随机分为M组对；第一计算模块，用于依据每组包含的待匹配特征点对，计算该组对应的第一特征变换矩阵，得到M个第一特征变换矩阵；第二计算模块，用于计算每一个第一特征变换矩阵对应的适应度值；第一交换模块，用于随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素，得到N个第二特征变换矩阵；第二计算模块，用于计算每一个第二特征变换矩阵对应的适应度值；第二交换模块，用于随机交换所述适应度值大于预设阈值的第二特征变换矩阵之间的部分矩阵元素，得到K个第三特征变换矩阵，依次迭代，直至得到最优的特征变换矩阵；拼接模块，用于基于上述最优的特征变换矩阵，对所述参考图像与所述待拼接图像进行拼接。
[0019]根据本公开的实施例，所述图像拼接装置还包括：变异模块，用于针对于每一适应度值大于预设阈值的特征变换矩阵，随机改变特征变换矩阵中的部分矩阵元素。
[0020]根据本公开的实施例，所述第二计算模块计算每一个第一特征变换矩阵对应的适应度值包括：根据内点数量、内点偏差距离及内点分散程度，计算所述适应度值，其中，当一待匹配特征点经过特征变换矩阵变换得到的特征点与该待匹配特征点之间的投影误差小
于预设值时，该待匹配特征点为内点。
[0021]根据本公开的实施例，所述根据内点数量、内点偏差距离及内点分散程度，计算所述适应度值包括：根据：
[0022][0023]计算所述适应度，其中，V为所述适应度，α、β、γ为系数，P为内点数量，i、j为内点的编号，S
i
为第i个内点的投影误差，4表示第i个内点的特征，A
j
表示第j个内点的特征。
[0024]本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
[0025]本公开的另一方面提供了一种计算机可读存储介质，存本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像拼接方法，包括：获取参考图像及待拼接图像对应的待匹配特征点对，将所述待匹配特征点对随机分为M组；依据每组包含的待匹配特征点对，计算该组对应的第一特征变换矩阵，得到M个第一特征变换矩阵；计算每一个第一特征变换矩阵对应的适应度值；随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素，得到N个第二特征变换矩阵；计算每一个第二特征变换矩阵对应的适应度值；随机交换所述适应度值大于预设阈值的第二特征变换矩阵之间的部分矩阵元素，得到K个第三特征变换矩阵，依次迭代，直至得到最优的特征变换矩阵；基于所述最优的特征变换矩阵，对所述参考图像与所述待拼接图像进行拼接。2.根据权利要求1所述的图像拼接方法，所述图像拼接方法还包括：针对于至少一个适应度值大于预设阈值的特征变换矩阵，随机改变特征变换矩阵中的部分矩阵元素。3.根据权利要求1或2所述的图像拼接方法，其中，所述计算每一个第一特征变换矩阵对应的适应度值包括：根据内点数量、内点偏差距离及内点分散程度，计算所述适应度值，其中，当一待匹配特征点经过特征变换矩阵变换得到的特征点与该待匹配特征点之间的投影误差小于预设值时，该待匹配特征点为内点。4.根据权利要求3所述的图像拼接方法，其中，所述根据内点数量、内点偏差距离及内点分散程度，计算所述适应度值包括：根据：计算所述适应度，其中，V为所述适应度，α、β、γ为系数，P为内点数量，i、j为内点的编号，S
i
为第i个内点的投影误差，A
i
表示第i个内点的特征，A
j
表示第j个内点的特征。5.根据权利要求1或2所述的图像拼接方法，其中，所述随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素包括：按照所述适应度值对所述第一特征变换矩阵进行排序，选择适应度最高的第一特征变换矩阵与其他第一特征变换矩阵进行矩阵元素交换。6.根据权利要求1或2所述的图像拼接方法，其中，所述随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素包括：通过单点交叉交换和/或两点交叉交换的对适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素进行随机交换。7.根据权利要求6所述的图像拼接方法，其中，所述单点交叉交换包括：选择第一特征变换矩阵中的一个元素，将该第一特征变换矩阵分成两部分，选择其中一部分与其他第一特征变换中的元素进行交换；所述两点交叉交换包括：
选择第一特征变换矩阵中的两个元素，将该第一特征变换矩阵分成三部分，选择中间部分与其他第一特征变换中的元素进行交换。8.根据权利要求2所述的图像拼接方法，其中，所述针对于至少一个适应度值大于预设阈值的特征变换矩阵，随机改变特征变换矩阵中的部分矩阵元素包括：采用标准正态分布的随机数与特征变换矩阵中的矩阵元素相乘，以改变所述矩阵元素。9.根据权利要求1所述的图像拼接方法，其中，基于待匹配特征点对的特征，采用最小...
【专利技术属性】
技术研发人员：吕朝辉，罗涛，施佳子，于海燕，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。