图像及视频拼接方法、计算机可读存储介质及计算机设备技术

本发明专利技术公开了一种图像拼接方法，包括：对第一图像和第二图像进行特征点提取以分别获得第一特征点集和第二特征点集，并对集合中的特征点进行评估；将满足评估条件的第一待匹配特征点集和第二待匹配特征点集中的特征点进行匹配，以获得特征点对匹配集；从而对第一图像和第二图像进行拼接。本发明专利技术还公开了一种视频拼接方法。本发明专利技术也公开了一种计算机设备。本发明专利技术也公开了一种计算机可读存储介质。本发明专利技术通过对待拼接的图像提取的特征点进行评估，以获得每个特征点的质量情况，根据匹配的需要筛选满足条件的特征点进行特征匹配，根据特征点匹配集对待拼接的第一图像和第二图像进行拼接，使得图像匹配进一步精确化。

Image and Video Mosaic Method, Computer Readable Storage Media and Computer Equipment

The invention discloses an image mosaic method, which includes: extracting feature points from the first image and the second image to obtain the first feature point set and the second feature point set respectively, and evaluating the feature points in the set; matching the feature points of the first matching feature point set and the second matching feature point set satisfying the evaluation conditions to obtain the feature point pair matching set; Thus, the first image and the second image are mosaic. The invention also discloses a video mosaic method. The invention also discloses a computer device. The invention also discloses a computer readable storage medium. The method evaluates the feature points extracted from the mosaic images to obtain the quality of each feature point, filters the feature points satisfying the conditions according to the need of matching, and mosaics the first and second mosaic images according to the feature point matching set, so as to further refine the image matching.

【技术实现步骤摘要】
图像及视频拼接方法、计算机可读存储介质及计算机设备
本专利技术涉及图像处理
，具体地，涉及一种图像及视频拼接方法、计算机可读存储介质及计算机设备。
技术介绍
图像处理和计算机视觉中非常基础和重要的一个步骤就是如何进行特征匹配。特征匹配在图像匹配、图像拼接、3D建模、运行跟踪等各个领域都是奠定后续处理的基石。特征匹配对的匹配准确率和匹配对的数目关系到后续处理的准确率。基于传统图像算法的特征匹配的方法的特征提取方式主要有SIFT算法(Scale-invariantfeaturetransform，尺度不变特征变换算法)、SURF算法(SpeededUpRobustFeatures，加速稳健特征算法)、ORB(OrientedFASTandRotatedBRIEF)算法、BRISK(BinaryROBUSTInvariantScalableKeypoints，二值鲁棒尺度不变关键点)算法、BRIEF(BinaryRobustIndependentElementaryFeatures，)算法、FAST(FeaturesfromAcceleratedSegmentTest)算法等。其中，SIFT算法和SURF算法的描述符具有尺度不变性和旋转不变性，可以获得较高的匹配准确度，但是计算量较大，效率较低。特征匹配的筛选方式主要是KNN匹配和暴力匹配，然后通过RANSAC筛选出内点集。在获取特征匹配点时是进行全图搜索，也就是说比例和阈值距离门槛等都是根据全图特征点设置的，没有考虑到局部特征，导致当设置门槛阈值较高时，特征匹配对的匹配正确率会上升，但是匹配对的数量会急剧下降。当阈值降低时，匹配对的匹配正确率会急剧下降。当我们提升选取特征匹配对的门槛时，特征匹配对的匹配正确率会得到上升，但此时匹配对的数目就会大幅度减少，匹配正确率和匹配对的数目无法同时满足。然而在后续的处理中，往往既需要数量较多的匹配对并且同时要求匹配对具有较高的匹配正确率。
技术实现思路
为解决上述现有技术存在的问题，本专利技术提供了一种通过给提取的特征点进行评估，获得符合匹配数量和质量的特征匹配对的图像、视频拼接方法、计算机可读存储介质及计算机设备。为了达到上述专利技术目的，本专利技术采用了如下的技术方案：根据本专利技术的一方面，提供了一种图像拼接方法，所述图像拼接方法包括：对第一图像和第二图像进行特征点提取以分别获得第一特征点集和第二特征点集，并对第一特征点集和第二特征点集中的特征点进行评估；将满足评估条件的第一特征点集中的特征点集合为第一待匹配特征点集，且将满足评估条件的第二特征点集中的特征点集合为第二待匹配特征点集；对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配，以获得特征点对匹配集；根据获得的特征点对匹配集对第一图像和第二图像进行拼接。进一步地，对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配的方法包括：获取第一待匹配特征点集中的特征点映射到第二待匹配特征点集的映射特征点；将第二待匹配特征点集中的对应映射特征点的特征点集合为待精细匹配特征点集；获取第一待匹配特征点集中的特征点的描述子以及待精细匹配特征点集中的特征点的描述子；根据所述描述子确定待精细匹配特征点集中的与第一待匹配特征点集中的特征点匹配的特征点。进一步地，利用投影变换矩阵将第一待匹配特征点集中的特征点映射到第二待匹配特征点集中，以获得映射特征点。进一步地，第二待匹配特征点集中的对应映射特征点的特征点与映射特征点的欧氏距离小于或等于预设欧氏距离。进一步地，根据所述描述子确定待精细匹配特征点集中的与第一待匹配特征点集中的特征点匹配的特征点的方法包括：计算出第一待匹配特征点集中的特征点的描述子与待精细匹配特征点集中的特征点的描述子的欧氏距离；将与小于或等于k倍的次小欧氏距离的最小欧氏距离对应的待精细匹配特征点集中的特征点确定为与第一待匹配特征点集中的特征点匹配的特征点，其中，0＜k＜1。进一步地，对图像进行特征点提取以获得特征点集，并对特征点集中的特征点进行评估的方法包括：将图像转换为灰度图像并提取灰度图像的特征点，以获得待比较特征点集；将灰度图像的灰度级按预设比例进行多次压缩，以获得灰度级各不相同的多个压缩灰度图像；提取各个压缩灰度图像的特征点，以获得多个参考特征点集；确定各个参考特征点集中是否存在待比较特征点集中的特征点，其中，待比较特征点集中的特征点存在于参考特征点集中的集数越多，待比较特征点集中的特征点的评分越高。进一步地，所述第一待匹配特征点集中的特征点包括：第一特征点集中的评分分数大于或者等于预定分数的特征点；所述第二待匹配特征点集中的特征点包括：第二特征点集中的评分分数大于或者等于预定分数的特征点。根据本专利技术的另一方面，还提供了一种视频拼接方法，所述视频拼接方法包括：对第一视频中的第mt+1帧的第一图像和第二视频中的第mt+1帧的第二图像以权利要求1至7任一项所述的图像拼接方法进行拼接；其中，m≥1且m为正整数，t≥0，且t为整数。进一步地，所述视频拼接方法还包括：当m≥2时，获取第mt+1帧的第一图像与第二图像的特征点对匹配集中的特征点的横坐标的最大值Xmax和最小值Xmin以及纵坐标的最大值Ymax和最小值Ymin；以坐标点M1(Xmax，Ymax)、坐标点M2(Xmax，Ymin)、坐标点M3(Xmin，Ymax)以及坐标点M4(Xmax，Ymax)为顶点构造重叠区域M；对第一视频中的第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分以权利要求1至7任一项所述的图像拼接方法进行拼接，其中，i顺序取大于等于1且小于等于m-1的正整数。进一步地，第一视频中的第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分进行图像拼接时采用的投影变换矩阵的获取方法包括：获取第mt+i帧的第一图像到第mt+1+i帧的第一图像的第一运动轨迹，并获取第mt+i帧的第二图像到第mt+1+i帧的第二图像的第二运动轨迹；根据第一运行轨迹和第二运行轨迹对第mt+i帧的第一图像的第一待匹配特征点集中的特征点映射到第mt+i帧的第二图像的第二待匹配特征点集中时采用的投影变换矩阵进行变换，以获得第mt+1+i帧的第一图像的位于重叠区域M的部分的第一待匹配特征点集中的特征点映射到第mt+1+i帧的第二图像的第二待匹配特征点集中时采用的投影变换矩阵。根据本专利技术的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像拼接程序和/或视频拼接程序，所述图像拼接程序被处理器执行时实现如上述的图像拼接方法和/或所述视频拼接程序被处理器执行时实现如上述的视频拼接方法。根据本专利技术的另一方面，还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的图像拼接程序和/或视频拼接程序，所述图像拼接程序被处理器执行时实现如上述的图像拼接方法；和/或所述视频拼接程序被处理器执行时实现如上述的视频拼接方法。本专利技术的有益效果：本专利技术通过对待拼接的图像提取的特征点进行评估，以获得每个特征点的质量情况，根据匹配的需要筛选满足条件的特征本文档来自技高网...

【技术保护点】
1.一种图像拼接方法，其特征在于，所述图像拼接方法包括：对第一图像和第二图像进行特征点提取以分别获得第一特征点集和第二特征点集，并对第一特征点集和第二特征点集中的特征点进行评估；将满足评估条件的第一特征点集中的特征点集合为第一待匹配特征点集，且将满足评估条件的第二特征点集中的特征点集合为第二待匹配特征点集；对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配，以获得特征点对匹配集；根据获得的特征点对匹配集对第一图像和第二图像进行拼接。

【技术特征摘要】
1.一种图像拼接方法，其特征在于，所述图像拼接方法包括：对第一图像和第二图像进行特征点提取以分别获得第一特征点集和第二特征点集，并对第一特征点集和第二特征点集中的特征点进行评估；将满足评估条件的第一特征点集中的特征点集合为第一待匹配特征点集，且将满足评估条件的第二特征点集中的特征点集合为第二待匹配特征点集；对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配，以获得特征点对匹配集；根据获得的特征点对匹配集对第一图像和第二图像进行拼接。2.根据权利要求1所述的图像拼接方法，其特征在于，对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配的方法包括：获取第一待匹配特征点集中的特征点映射到第二待匹配特征点集的映射特征点；将第二待匹配特征点集中的对应映射特征点的特征点集合为待精细匹配特征点集；获取第一待匹配特征点集中的特征点的描述子以及待精细匹配特征点集中的特征点的描述子；根据所述描述子确定待精细匹配特征点集中的与第一待匹配特征点集中的特征点匹配的特征点。3.根据权利要求2所述的图像拼接方法，其特征在于，利用投影变换矩阵将第一待匹配特征点集中的特征点映射到第二待匹配特征点集中，以获得映射特征点。4.根据权利要求2所述的图像拼接方法，其特征在于，第二待匹配特征点集中的对应映射特征点的特征点与映射特征点的欧氏距离小于或等于预设欧氏距离。5.根据权利要求2所述的图像拼接方法，其特征在于，根据所述描述子确定待精细匹配特征点集中的与第一待匹配特征点集中的特征点匹配的特征点的方法包括：计算出第一待匹配特征点集中的特征点的描述子与待精细匹配特征点集中的特征点的描述子的欧氏距离；将与小于或等于k倍的次小欧氏距离的最小欧氏距离对应的待精细匹配特征点集中的特征点确定为与第一待匹配特征点集中的特征点匹配的特征点，其中，0＜k＜1。6.根据权利要求1所述的图像拼接方法，其特征在于，对图像进行特征点提取以获得特征点集，并对特征点集中的特征点进行评估的方法包括：将图像转换为灰度图像并提取灰度图像的特征点，以获得待比较特征点集；将灰度图像的灰度级按预设比例进行多次压缩，以获得灰度级各不相同的多个压缩灰度图像；提取各个压缩灰度图像的特征点，以获得多个参考特征点集；确定各个参考特征点集中是否存在待比较特征点集中的特征点，其中，待比较特征点集中的特征点存在于参考特征点集中的集数越多，待比较特征点集中的特征点的评分越高。7.根据权利要求6所述的图像拼接方法，其特征在于，所述第一待匹配特征点集中的特征点包括：第一特征点集中的评分分数大于或者等于预定分数的特征...

【专利技术属性】
技术研发人员：李南云，王旭光，
申请(专利权)人：中国科学院苏州纳米技术与纳米仿生研究所，
类型：发明
国别省市：江苏,32