一种目标对象的图像特征点的跟踪方法及装置制造方法及图纸

本发明专利技术实施例公开一种目标对象的图像特征点的跟踪方法及装置，该方法包括：获得图像采集设备采集的当前帧及其对应的参考帧；获得图像采集设备采集得到当前帧时的位姿和采集得到参考帧时的位姿之间的位姿转换信息；获得参考帧中目标特征点对应的目标深度信息，及在参考帧的第一位置信息；基于位姿转换信息、目标深度信息以及第一位置信息，确定出目标特征点对应的空间点在当前帧中对应的第一投影区域信息，进而从参考帧中确定出第二投影区域信息；基于第一投影区域信息的灰度值以及第二投影区域信息的灰度值，确定目标特征点对应的空间点在当前帧中对应的位置信息，以实现对图像特征点更精确的跟踪，提高跟踪结果的准确性。

【技术实现步骤摘要】
一种目标对象的图像特征点的跟踪方法及装置
本专利技术涉及智能驾驶
，具体而言，涉及一种目标对象的图像特征点的跟踪方法及装置。
技术介绍
相关的特征跟踪过程，一般利用基于优化问题的光流法，实现对图像特征点的跟踪，过程具体为：获得当前帧；并获得该当前帧的上一帧中目标特征点所在的目标区域位置，如：上一帧中以该目标特征点为中心点的21*21的区域作为目标区域位置；从当前帧中，确定出与该目标区域位置的灰度值最接近的区域位置，作为该目标特征点对应的空间点在该当前帧中的区域位置，例如：从当前帧中确定出与该目标区域位置的灰度值最接近的21*21的块像素，作为该目标特征点对应的空间点在该当前帧中对应的区域位置；进而，基于该目标特征点对应的空间点在该当前帧中对应的区域位置，确定该目标特征点对应的空间点在当前帧中对应的位置信息，以得到跟踪结果。然而，灰度值易受到环境因素的影响，在上述特征点跟踪过程中，仅利用当前帧以及上一帧中像素点灰度值的相似性，进行特征点跟踪，导致确定的跟踪结果的准确性不够高。
技术实现思路
本专利技术提供了一种目标对象的图像特征点的跟踪方法及装置，以实现对图像特征点更精确的跟踪，提高跟踪结果的准确性。具体的技术方案如下：第一方面，本专利技术实施例提供了一种目标对象的图像特征点的跟踪方法，包括：获得图像采集设备采集的当前帧及其对应的参考帧，其中，所述参考帧为：所述当前帧之前的满足预设参考帧筛选条件的图像帧；获得所述图像采集设备采集得到所述当前帧时的位姿和采集得到所述参考帧时的位姿之间的位姿转换信息；获得所述参考帧中目标特征点对应的目标深度信息，并获得所述目标特征点在所述参考帧中的第一位置信息；基于所述位姿转换信息、所述目标深度信息以及所述第一位置信息，确定出所述目标特征点对应的空间点在所述当前帧中对应的第一投影区域信息；基于所述位姿转换信息、所述目标深度信息、所述第一位置信息以及所述第一投影区域信息，从所述参考帧中确定出所述第一投影区域信息对应的第二投影区域信息；基于所述第一投影区域信息对应的灰度值以及所述第二投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息。可选的，所述获得所述图像采集设备采集得到所述当前帧时的位姿和采集得到所述参考帧时的位姿之间的位姿转换信息的步骤，包括：获得所述图像采集设备采集得到所述当前帧时的当前位姿信息；获得所述图像采集设备采集得到所述参考帧时的参照位姿信息；根据所述当前位姿信息和所述参照位姿信息，确定出所述图像采集设备采集得到所述当前帧时的位姿和采集得到所述参考帧时的位姿之间的位姿转换信息。可选的，在所述基于所述第一投影区域信息对应的灰度值以及所述第二投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息的步骤之前，所述方法还包括：针对所述当前帧进行图像金字塔构建，得到所述当前帧对应的预定数量的第一子帧；针对所述参考帧进行图像金字塔构建，得到所述参考帧对应的所述预定数量的第二子帧；基于所述第一投影区域信息，从每一所述第一子帧中确定出所述第一投影区域信息对应的第三投影区域信息；基于所述第一投影区域信息，从每一所述第二子帧中确定出所述第一投影区域信息对应的第四投影区域信息；并基于所述第一位置信息，从每一第二子帧中确定出所述目标特征点对应的第二位置信息；所述基于所述第一投影区域信息对应的灰度值以及所述第二投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息的步骤，包括：基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值以及各所述第四投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息。可选的，在所述基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值以及各所述第四投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息的步骤之前，所述方法还包括：获得所述当前帧的前M帧，其中，M为正整数；针对所述前M帧的每一帧进行图像金字塔构建，得到所述前M帧中的每一帧对应的所述预定数量个第三子帧；基于所述第一投影区域信息，从所述前M帧的每一帧中，确定出所述第一投影区域信息对应的第五投影区域信息；基于所述第一投影区域信息，从每一所述第三子帧中，确定出所述第一投影区域信息对应的第六投影区域信息；获得所述目标特征点对应的空间点在所述前M帧的每一帧中对应的第三位置信息；基于所述第三位置信息，从每一所述第三子帧中，确定出所述目标特征点对应的空间点对应的第四位置信息；所述基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值以及各所述第四投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息的步骤，包括：基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值、各所述第四投影区域信息对应的灰度值、所述第五投影区域信息对应的灰度值以及各所述第六投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息。可选的，所述基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值、各所述第四投影区域信息对应的灰度值、所述第五投影区域信息对应的灰度值以及各所述第六投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息的步骤，包括：针对所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值、各所述第四投影区域信息对应的灰度值、所述第五投影区域信息对应的灰度值以及各所述第六投影区域信息对应的灰度值，构建最小二乘法方程；求解所述最小二乘法方程，并将所述最小二乘法方程的结果满足预设约束条件时的解，作为所述目标特征点对应的空间点在所述当前帧中对应的位置信息。可选的，所述获得所述参考帧中目标特征点对应的目标深度信息的步骤，包括：通过深度滤波器，获得所述参考帧中目标特征点对应的目标深度信息。可选的，所述通过深度滤波器，获得所述参考帧中目标特征点对应的目标深度信息的步骤，包括：获得所述图像采集设备采集得到所述参考帧时的位姿与采集得到所述当前帧的前一帧的位姿之间的当前位姿变化信息；利用三角化算法、所述第一位置信息、所述目标特征点对应的空间点在所述当前帧的前一帧中的成像点的位置信息以及所述当前位姿变化信息，得到所述目标特征点对应的当前观测深度信息；利用所述当前观测深度信息以及预设像素误差，确定出所述目标特征点对应的当前深度不确定性；利用所述当前观测深度本文档来自技高网...

【技术保护点】
1.一种目标对象的图像特征点的跟踪方法，其特征在于，包括：/n获得图像采集设备采集的当前帧及其对应的参考帧，其中，所述参考帧为：所述当前帧之前的满足预设参考帧筛选条件的图像帧；/n获得所述图像采集设备采集得到所述当前帧时的位姿和采集得到所述参考帧时的位姿之间的位姿转换信息；/n获得所述参考帧中目标特征点对应的目标深度信息，并获得所述目标特征点在所述参考帧中的第一位置信息；/n基于所述位姿转换信息、所述目标深度信息以及所述第一位置信息，确定出所述目标特征点对应的空间点在所述当前帧中对应的第一投影区域信息；/n基于所述位姿转换信息、所述目标深度信息、所述第一位置信息以及所述第一投影区域信息，从所述参考帧中确定出所述第一投影区域信息对应的第二投影区域信息；/n基于所述第一投影区域信息对应的灰度值以及所述第二投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息。/n

【技术特征摘要】
1.一种目标对象的图像特征点的跟踪方法，其特征在于，包括：
获得图像采集设备采集的当前帧及其对应的参考帧，其中，所述参考帧为：所述当前帧之前的满足预设参考帧筛选条件的图像帧；
获得所述图像采集设备采集得到所述当前帧时的位姿和采集得到所述参考帧时的位姿之间的位姿转换信息；
获得所述参考帧中目标特征点对应的目标深度信息，并获得所述目标特征点在所述参考帧中的第一位置信息；
基于所述位姿转换信息、所述目标深度信息以及所述第一位置信息，确定出所述目标特征点对应的空间点在所述当前帧中对应的第一投影区域信息；
基于所述位姿转换信息、所述目标深度信息、所述第一位置信息以及所述第一投影区域信息，从所述参考帧中确定出所述第一投影区域信息对应的第二投影区域信息；
基于所述第一投影区域信息对应的灰度值以及所述第二投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息。


2.如权利要求1所述的方法，其特征在于，所述获得所述图像采集设备采集得到所述当前帧时的位姿和采集得到所述参考帧时的位姿之间的位姿转换信息的步骤，包括：
获得所述图像采集设备采集得到所述当前帧时的当前位姿信息；
获得所述图像采集设备采集得到所述参考帧时的参照位姿信息；
根据所述当前位姿信息和所述参照位姿信息，确定出所述图像采集设备采集得到所述当前帧时的位姿和采集得到所述参考帧时的位姿之间的位姿转换信息。


3.如权利要求1所述的方法，其特征在于，在所述基于所述第一投影区域信息对应的灰度值以及所述第二投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息的步骤之前，所述方法还包括：
针对所述当前帧进行图像金字塔构建，得到所述当前帧对应的预定数量的第一子帧；
针对所述参考帧进行图像金字塔构建，得到所述参考帧对应的所述预定数量的第二子帧；
基于所述第一投影区域信息，从每一所述第一子帧中确定出所述第一投影区域信息对应的第三投影区域信息；
基于所述第一投影区域信息，从每一所述第二子帧中确定出所述第一投影区域信息对应的第四投影区域信息；
并基于所述第一位置信息，从每一第二子帧中确定出所述目标特征点对应的第二位置信息；
所述基于所述第一投影区域信息对应的灰度值以及所述第二投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息的步骤，包括：
基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值以及各所述第四投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息。


4.如权利要求3所述的方法，其特征在于，在所述基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值以及各所述第四投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息的步骤之前，所述方法还包括：
获得所述当前帧的前M帧，其中，M为正整数；
针对所述前M帧的每一帧进行图像金字塔构建，得到所述前M帧中的每一帧对应的所述预定数量个第三子帧；
基于所述第一投影区域信息，从所述前M帧的每一帧中，确定出所述第一投影区域信息对应的第五投影区域信息；
基于所述第一投影区域信息，从每一所述第三子帧中，确定出所述第一投影区域信息对应的第六投影区域信息；
获得所述目标特征点对应的空间点在所述前M帧的每一帧中对应的第三位置信息；
基于所述第三位置信息，从每一所述第三子帧中，确定出所述目标特征点对应的空间点对应的第四位置信息；
所述基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值以及各所述第四投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息的步骤，包括：
基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值、各所述第四投影区域信息对应的灰度值、所述第五投影区域信息对应的灰度值以及各所述第六投影区域信息对应的灰度值，确定所述目标特征点对应的空间点在所述当前帧中对应的位置信息。


5.如权利要求4所述的方法，其特征在于，所述基于所述第一投影区域信息对应的灰度值、第二投影区域信息对应的灰度值、各所述第三投影区域信息对应的灰度值、各所述第四投影区域信息对应的灰度值、所述第五投...

【专利技术属性】
技术研发人员：黄源，柴政，权美香，穆北鹏，
申请(专利权)人：北京初速度科技有限公司，
类型：发明
国别省市：北京;11