本发明专利技术实施例公开了一种图像特征点的3D重建方法和装置，从第一聚类中选取第一特征点m，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点，根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点ms，并根据Rwc将ms转换为所述第一特征点m在车体坐标系下的归一化坐标点m′s，Rwc为车体坐标系到相机坐标系的旋转矩阵，使用所述单目相机的安装高度以及m′s计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。由此可以实现对单目相机采集的视频图像中的运动特征点的3D重建，从而提高了低成本的视频识别在汽车驾驶等方面的应用。
【技术实现步骤摘要】
本专利技术涉及数据处理领域，特别是涉及一种图像特征点的3D重建方法和装置。
技术介绍
随着视频采集和图像数据处理的技术愈发成熟，在汽车驾驶等方面已经有了较多 的应用。例如可以通过安装在车辆上的摄像装置采集车辆周围场景的视频，通过对视频进 行逐帧分析，识别出场景中特征点的具体类型，特征点可以理解为图像帧中的具有一定特 征的图像点例如图像中物体上的点等，特征点的类型可以包括相对于地面静止的特征点和 运动的特征点。从场景中识别出的特征点的坐标可以是处于相机坐标系中的坐标，所述相 机坐标系具有相互垂直的三个坐标轴，其中一个坐标轴与摄像装置的光轴重合，另外两个 坐标轴均与图像帧所在平面平行，相机坐标系的坐标原点可以是摄像装置光心的位置。 对获取的特征点进行3D重建，计算得出特征点具体在车体坐标系中的坐标值，所 述3D重建可以为通过计算得出特征点在车体坐标系下的坐标值，从而实现场景3D位置重 建。车体坐标系具有相互垂直的三个坐标轴，其中一个坐标轴垂直指向地面，另外两个坐标 轴处于水平方向，这两个坐标轴中的一个坐标轴指向车辆的正前方，车体坐标系的坐标原 点可以是摄像装置光心的位置。 通过3D重建获得特征点在车体坐标系下的坐标值，可以有效的为实现汽车辅助 驾驶、汽车自动驾驶等功能提供数据依据，例如应用在车辆轨迹规划、规避碰撞等。目前能够实现上述对特征点进行3D重建功能的摄像装置需为双目相机，通过双 目相机特殊的双目定位功能，可以有效的完成对特征点尤其是运动特征点的3D重建。然而 双目相机的成本很高，基本只能应用在高档汽车上，限制了在汽车驾驶等方面应用的普及。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种图像特征点的3D重建方法和装置，使 得可以通过成本低廉的单目相机有效的实现对运动特征点的3D重建。 本专利技术实施例公开了如下技术方案： -种图像特征点的3D重建方法，应用于安装了单目相机的车辆，分析所述单目相 机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的 聚类与在所述场景中相对运动的物体具有对应关系；所述方法包括： 从第一聚类中选取第一特征点m，所述第一聚类为所述对第t帧图像中识别出的 运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在 图像坐标系下距所述场景中地面位置最近的特征点； 根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点ms，并 根据Rw。将m 3转换为所述第一特征点m在车体坐标系下的归一化坐标点V s，Rw。为车体坐 标系到相机坐标系的旋转矩阵； 使用所述单目相机的安装高度以及m' s计算所述第一特征点m对应在车体坐标 系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。 可选的，所述图像坐标系中相互垂直的u轴和V轴处于图像帧所在平面，其中V轴 沿图像帧平面竖直向下，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直 于图像帧所在平面，X轴与u轴平行，Y轴与V轴平行，所述车体坐标系的坐标原点为所述单 目相机的光心位置，轴垂直指向地面，Z'轴和X'轴处于水平方向，Z'轴指向车辆的正 前方。 可选的，还包括： 假设所述第一聚类中特征点在车体坐标系下的〇_X^ Z'平面的投影点距离车体 坐标系的坐标原点〇的距离相同，根据所述第一特征点m对应在车体坐标系下的坐标点的 坐标值计算所述投影点到坐标原点的距离； 根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一 化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下 的坐标点的坐标值，完成对所述第二特征点的3D重建。 可选的，所述对第t帧图像中识别出的运动特征点进行聚类，具体包括： 为所述第t帧图像中的运动特征点设置类编号和标记号，所述类编号的初始值为 空，所述标记号的初始值为未标记； 进行第一判断，所述第一判断用于判断是否存在类编号为空、标记号为未标记的 运动特征点，若存在，从中选取第三特征点；为所述第三特征点的类编号分配一个未使用的 编号；开始从所述第t帧图像中的运动特征点中搜索所述第三特征点的邻居特征点，将所 述第三特征点的邻居特征点的类编号分配为所述第三特征点的类编号，并将所述第三特征 点的标记号设为已标记； 进行第二判断，所述第二判断用于判断是否存在具有类编号但标记号为未标记的 运动特征点，若存在，从中选取第四特征点，从所述第t帧图像中的运动特征点中搜索所述 第四特征点的邻居特征点，将所述第四特征点的邻居特征点的类编号分配为所述第四特征 点的类编号，并将所述第四特征点的标记号设为已标记，重复所述第二判断，直到不存在具 有类编号但标记号为未标记的运动特征点为止； 再次进行所述第一判断，直到不存在类编号为空、标记号为未标记的运动特征点 为止； 具有同一类编号的运动特征点属于一个聚类。 可选的，/^和W/分别为所述第t帧图像中的运动特征点中的两个运动特征点， 为目标特征点，坐标值为的坐标值为从所述第t帧图像 中的运动特征点中搜索所述目标特征点的邻居特征点，包括： 第一条件，所述第一条件为之间的距离满足第一阈值，若符合所述第一 条件，确定W/为的邻居特征点； 从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，还包 括： 第二条件，所述第二条件为和之间的光流向量的长度与W/和之 间的光流向量的长度满足第二阈值； 第三条件，所述第三条件为和趣之间的光流向量与W/和之间的光 流向量之间的夹角满足第三阈值； 若在符合所述第一条件的基础上，还符合所述第二条件和/或第三条件，确定m/ 为/<的邻居特征点； 其中，/1·^和分别为特征点m1在第t帧图像和第t-Ι帧图像中的对应的位 置，和w/q分别为特征点在第t帧图像和第t-Ι帧图像中的对应的位置。 可选的，在对第t帧图像中识别出的运动特征点进行聚类之前，还包括识别特征 点为运动特征点或静止特征点，所述识别包括： 分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t_l 帧图像的特征点对mjP m t i，mt为特征点m在第t帧图像中对应的位置，m t i为所述特征点 m在第t-Ι帧图像中对应的位置； 假设所述特征点m在第t帧图像和第t-Ι帧图像中相对于所述场景静止，若叫在 相机坐标系下的位置为P t，mt i在相机坐标系下的位置为P t i，根据Pt、R。。和T确定出与P t i 之间的第一对等关系，其中R。。为相机坐标系从第t-1帧到第t帧的旋转矩阵，T为相机坐 标系从第t_l帧到第t帧的平移向量； 根据？,确定出与ms,t的第二对等关系，其中，在相机坐标系下的归一化坐 标点； 根据第一对等关系、第二对等关系以及相机成像模型，确定出？1在图像坐标系中 的投影点Iii i ; 根据mt、mt i和Iili之间的位置关系，识别所述特征点m为运动特征点或静止特征 点。 可选的，所述根据mt、mt i和之间的位置关系，识别所述特征点m为运动特征点 或静止特征点，包括： 根据mt、mt i和Illi计算mt JP m t构成的光流向量与m t i和Itli构成的光流向量之 间的光流方向残差角Θ ; 根据叫和Ai计算叫和m,的位置残差dis;本文档来自技高网...
【技术保护点】
一种图像特征点的3D重建方法，其特征在于，应用于安装了单目相机的车辆，分析所述单目相机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的聚类与在所述场景中相对运动的物体具有对应关系；所述方法包括：从第一聚类中选取第一特征点m，所述第一聚类为所述对第t帧图像中识别出的运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点；根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点ms，并根据Rwc将ms转换为所述第一特征点m在车体坐标系下的归一化坐标点m′s，Rwc为车体坐标系到相机坐标系的旋转矩阵；使用所述单目相机的安装高度以及m′s计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。
【技术特征摘要】
【专利技术属性】
技术研发人员：刘威，于红绯，袁淮，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。