一种特征点匹配方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种特征点匹配方法、装置、设备及存储介质，包括：获取当前帧图像的特征点；对当前帧图像的特征点进行光流追踪，以确定下一帧图像的特征点，并将当前帧图像的特征点和下一帧图像的特征点组成特征点对；根据所述特征点对，确定匹配约束条件，并将不满足匹配约束条件的特征点对作为待匹配特征点对；根据待匹配特征点对的属性特征和匹配约束条件，对待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足匹配约束条件，并将调整后的待匹配特征点对作为匹配特征点对。本发明专利技术实施例实现了增加匹配特征点对的数量，在此基础上，当将其应用到基于特征点匹配的具体应用中时，进一步提高了具体应用的实际效果。

A Feature Point Matching Method, Device, Equipment and Storage Media

【技术实现步骤摘要】
一种特征点匹配方法、装置、设备及存储介质
本专利技术实施例涉及计算机视觉技术，尤其涉及一种特征点匹配方法、装置、设备及存储介质。
技术介绍
特征点匹配是计算机视觉领域中的基础部分，其可为物体识别、目标跟踪和三维重建等计算机视觉领域中的具体应用提供数据支持。所谓特征点匹配指的是找出需要配准的两帧图像之间正确匹配的特征点，两帧图像之间匹配的特征点组成特征点对。现有技术中，可采用光流追踪法进行特征点匹配，基于光流追踪的特征点匹配通常包括光流追踪和剔除误匹配特征点对两个环节。但是，在快速运动情形下，由于相机拍摄易得到比较模糊的图像，因此，根据比较模糊的图像进行光流追踪，将使得光流追踪的准确度下降，即使得出现误匹配特征点对的几率增大。后续在执行剔除误匹配特征点对操作时，可能导致很大一部分特征点对被确定为误匹配特征点对而剔除。而这些误匹配特征点对中可能存在非真实的误匹配特征点对，所谓非真实的误匹配特征点对实际上是正确匹配特征点对。然而，现有技术中至少存在如下问题：可能出现非真实的误匹配特征点对被误剔除，而导致剩余的正确匹配特征点对的数量过少的情况，上述情况将无法满足具体应用的要求，进而对具体应用的实际效果产生不利影响。
技术实现思路
本专利技术实施例提供一种特征点匹配方法、装置、设备及存储介质，以提高基于特征点匹配具体应用的实际效果。第一方面，本专利技术实施例提供了一种特征点匹配方法，该方法包括：获取当前帧图像的特征点；对所述当前帧图像的特征点进行光流追踪，以确定下一帧图像的特征点，并将所述当前帧图像的特征点和所述下一帧图像的特征点组成特征点对；根据所述特征点对，确定匹配约束条件，并将不满足所述匹配约束条件的特征点对作为待匹配特征点对；根据所述待匹配特征点对的属性特征和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对。第二方面，本专利技术实施例还提供了一种特征点匹配装置，该装置包括：当前帧图像的特征点获取模块，用于获取当前帧图像的特征点；匹配特征点对确定模块，用于对所述当前帧图像的特征点进行光流追踪，以确定下一帧图像的特征点，并将所述当前帧图像的特征点和所述下一帧图像的特征点组成特征点对；匹配约束条件确定模块，用于根据所述特征点对，确定匹配约束条件，并将不满足所述匹配约束条件的特征点对作为待匹配特征点对；待匹配特征点对的位置调整模块，用于根据所述待匹配特征点对的属性特征和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对。第三方面，本专利技术实施例还提供了一种设备，该设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例第一方面所述的方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例第一方面所述的方法。本专利技术实施例在确定特征点对之后，进一步通过对待匹配特征点对的位置进行调整，使调整后的待匹配特征点对满足匹配约束条件而成为匹配特征点对。通过位置调整，使得匹配特征点对的数量增加，在此基础上，当将其应用到基于特征点匹配的具体应用中时，进一步也提高了基于特征点匹配的具体应用的实际效果。附图说明图1是本专利技术实施例中的一种光流示意图；图2是本专利技术实施例中的一种特征点匹配方法的流程图；图3是本专利技术实施例中的一种坐标系示意图；图4是本专利技术实施例中的一种对极几何约束约束的示意图；图5是本专利技术实施例中的一种匹配点位于对极线上的示意图；图6是本专利技术实施例中的一种射影映射约束条件的示意图；图7是本专利技术实施例中的一种待匹配特征点对的确定过程的示意图；图8是本专利技术实施例中的一种待匹配特征点对的位置调整的示意图；图9是本专利技术实施例中的另一种待匹配特征点对的位置调整的示意图；图10是本专利技术实施例中的一种补充的匹配特征点对确定过程的示意图；图11是本专利技术实施例中的另一种特征点匹配方法的流程图；图12是本专利技术实施例中的再一种特征点匹配方法的流程图；图13是本专利技术实施例中的又一种特征点匹配方法的流程图；图14是本专利技术实施例中的又一种特征点匹配方法的流程图；图15是本专利技术实施例中的一种特征点匹配装置的结构示意图；图16是本专利技术实施例中的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定，此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。光流追踪是将三维空间中的目标对象投影到二维图像平面上的运动，这种在时间维度上表现为两帧图像之间特征匹配的运动称之为光流。光流本质是估计目标对象投影在二维图像上的像素点在不同时刻图像中的运动。对于整帧图像，附加一个运动参数给每一个像素点，这样在二维图像平面上就可以得到相邻两帧图像中像素点的位移。在计算光流过程中，由于可以认为二维图像平面上的像素点是三维空间中目标对象在平面的投影，并且是一一对应的，因此，可以通过分析在二维图像平面上投影的像素点的运动矢量来分析目标对象的运动，进而确定目标对象的位置，实现对目标对象的跟踪。如图1所示，给出了一种光流示意图。图1中按照时间先后顺序给出了三帧图像，从左到右依次称为第一帧图像、第二帧图像和第三帧图像，第一帧图像和第二帧图像为相邻两帧图像，同样，第二帧图像和第三帧图像也为相邻两帧图像。图1中第一帧图像的某个像素点的像素值为ψ(x，y，t)，经过时间dt后，该像素点在第二帧图像的像素值为ψ(x+dx，y+dy，t+dt)，光流指的是和通过计算光流，确定像素点在第二帧图像中的位置。在进行特征点匹配时，可以采用基于光流追踪的特征点匹配方法，基于光流追踪的特征点匹配方法的基本原理是：其通常包括光流追踪和剔除误匹配特征点对两个环节。针对光流追踪环节，存在相邻两帧图像，分别称为当前帧图像和下一帧图像，获取当前帧图像的特征点，再根据光流追踪确定当前帧图像的特征点在下一帧图像中出现的位置，将位置处对应的像素点作为下一帧图像的特征点，下一帧图像的特征点即为与当前帧图像的特征点匹配的点，上述当前帧图像的特征点与下一帧图像的特征点组成特征点对。其中，根据光流追踪确定当前帧图像的特征点在下一帧图像中出现的位置，具体是通过计算当前帧图像的特征点在当前帧图像与下一帧图像产生的光流，这里光流可以理解为位移。上述光流追踪环节实际采用的是稀疏光流追踪法，这是由于稀疏光流追踪法是一种基于特征点的追踪方法。针对剔除误匹配特征点对环节，即对特征点对进行匹配检测，将无法通过匹配检测的特征点对作为误匹配特征点对并剔除。在快速运动情形下，由于相机拍摄易得到比较模糊的图像，因此，根据比较模糊的图像进行光流追踪，将使得光流追踪的准确度下降，即使得出现误匹配特征点对的几率增大。后续在执行剔除误匹配特征点对操作时，可能导致很大一部分特征点对被确定为误匹配特征点对而剔除。而这些误匹配特征点对本文档来自技高网...

【技术保护点】
1.一种特征点匹配方法，其特征在于，包括：获取当前帧图像的特征点；对所述当前帧图像的特征点进行光流追踪，以确定下一帧图像的特征点，并将所述当前帧图像的特征点和所述下一帧图像的特征点组成特征点对；根据所述特征点对，确定匹配约束条件，并将不满足所述匹配约束条件的特征点对作为待匹配特征点对；根据所述待匹配特征点对的属性特征和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对。

【技术特征摘要】
1.一种特征点匹配方法，其特征在于，包括：获取当前帧图像的特征点；对所述当前帧图像的特征点进行光流追踪，以确定下一帧图像的特征点，并将所述当前帧图像的特征点和所述下一帧图像的特征点组成特征点对；根据所述特征点对，确定匹配约束条件，并将不满足所述匹配约束条件的特征点对作为待匹配特征点对；根据所述待匹配特征点对的属性特征和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对。2.根据权利要求1所述的方法，其特征在于，所述匹配约束条件包括对极几何约束条件。3.根据权利要求2所述的方法，其特征在于，所述根据所述待匹配特征点对的属性特征和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对，包括：根据所述待匹配特征点对的位置和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对。4.根据权利要求3所述的方法，其特征在于，所述根据所述待匹配特征点对的位置和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对，包括：将所述待匹配特征点对的调整前位置输入目标函数，计算在所述待匹配特征点对的调整后位置满足所述对极几何约束条件下，使得所述目标函数的输出值最小所对应的调整后位置；根据所述待匹配特征点对的调整后位置得到匹配特征点对。5.根据权利要求4所述的方法，其特征在于，所述计算在所述待匹配特征点对的调整后位置满足所述对极几何约束条件下，使得所述目标函数的输出值最小所对应的调整后位置，包括：基于拉格朗日乘数法，计算在所述待匹配特征点对的调整后位置满足所述对极几何约束条件下，使得所述目标函数的输出值最小所对应的调整后位置。6.根据权利要求2所述的方法，其特征在于，所述根据所述待匹配特征点对的属性特征和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对，包括：根据所述待匹配特征点对的像素值和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对。7.根据权利要求6所述的方法，其特征在于，所述根据所述待匹配特征点对的像素值和所述匹配约束条件，对所述待匹配特征点对的位置进行调整，以使调整后的待匹配特征点对满足所述匹配约束条件，并将所述调整后的待匹配特征点对作为匹配特征点对，包括：根据所述对极几何约束条件，确定对极线，所述对极线为与所述待匹配特征点对中当前帧图像的特征点所对应的对极线，所述对极线位于所述下一帧图像中；根据所述对极线上的像素点的像素值与所述待匹配特征点对中当前帧图像的特征点的像素值，从所述对极线上确定目标像素点，并将所述目标像素点作为匹配特征点，所述匹配特征点与所述待匹配特征点对中...

【专利技术属性】
技术研发人员：陈伟，朱飞，吴腾，杜凌霄，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44