用于估计移动对象的位置的方法和电子装置制造方法及图纸

技术编号:36865491 阅读:18 留言:0更新日期:2023-03-15 19:03
公开了用于估计移动对象的位置的方法和电子装置。为了估计移动对象的位置,所述电子装置:从周围图像生成基于地标的概率图的二维(2D)特征点信息;从HD地图数据获得基于地标的三维(3D)特征点信息;将周围图像的2D特征点信息转换到3D或将HD地图数据的3D特征点信息转换到2D;确定转换后的特征点信息与周围图像的特征点信息和HD地图数据的特征点信息中的未被转换的特征点信息之间的相似度;以及基于相似度来估计移动对象的位置。似度来估计移动对象的位置。似度来估计移动对象的位置。

【技术实现步骤摘要】
用于估计移动对象的位置的方法和电子装置
[0001]本申请要求于2021年9月10日在韩国知识产权局提交的第10

2021

0121201号韩国专利申请和于2021年11月9日在韩国知识产权局提交的第10

2021

0152830号韩国专利申请的权益,所述韩国专利申请的全部公开出于所有目的通过引用包含于此。


[0002]以下描述涉及用于估计移动对象的位置的方法和设备。

技术介绍

[0003]自主驾驶是指在没有驾驶员的干预的情况下通过识别周围环境、确定驾驶情况和控制车辆来驾驶到目的地。随着最近将车辆和小型移动装置(诸如,移动机器人)用于智能递送和安全,对支持高级驾驶员辅助系统(ADAS)的自主车辆或移动对象的需求正在增加。
[0004]估计正被驾驶的车辆的位置对于自主驾驶的成功是重要的,并且各种技术可被用来估计位置。例如,可使用装置(诸如,LiDAR或相机)预先生成地图,并且可使用在驾驶期间测量的传感器数据来估计地图上的位置。在另一方法中,使用精确的全球定位系统(GPS)装置接收卫星信号,并且估计绝对位置。

技术实现思路

[0005]提供本
技术实现思路
以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求保护的主题的关键特征或必要特征,也不意在用于帮助确定要求保护的主题的范围。
[0006]在一个总体方面,提供了一种处理器实现的操作电子装置的方法,所述方法包括:从由安装在移动对象上的拍摄装置获取的周围图像,生成基于地标的概率图中的二维(2D)特征点信息;从移动对象的附近的高分辨率(HD)地图数据,获得基于地标的三维(3D)特征点信息;将周围图像的2D特征点信息之一转换到3D或将HD地图数据的3D特征点信息转换到2D;确定转换后的特征点信息与周围图像的特征点信息和HD地图数据的特征点信息中的未被转换的特征点信息之间的相似度;以及基于相似度来估计移动对象的位置。
[0007]根据基于深度神经网络(DNN)的语义分割,周围图像的2D特征点信息可根据地标被获得。
[0008]从移动对象的附近的HD地图数据获得3D特征点信息的步骤可包括:基于移动对象的位置信息,从HD地图数据库接收针对移动对象的附近的地标的在世界域上的3D特征点信息;以及将世界域上的3D特征点信息转换到拍摄装置的本地域。
[0009]对周围图像的2D特征点信息进行转换的步骤可包括:基于逆透视映射,将周围图像的2D特征点信息转换为3D概率图的形式。
[0010]对HD地图数据的3D特征点信息的维度进行转换的步骤可包括:基于透视映射,将HD地图数据的3D特征点信息投影到从周围图像获得的2D概率图上。
[0011]确定周围图像的特征点信息与HD地图数据的特征点信息之间的相似度的步骤可
包括:在从周围图像获得的概率图中,对与每个地标对应的HD地图数据的特征点信息的概率进行求和;以及通过将与每个地标对应的求和后的概率相乘来计算相似度。
[0012]基于相似度来估计移动对象的位置的步骤可包括:基于相似度,对根据粒子滤波器或最大似然(ML)优化方案来估计移动对象的位置的结果进行更新。
[0013]移动对象可以是自主车辆或支持高级驾驶员辅助系统(ADAS)的车辆。
[0014]地标可包括白色车道线、黄色车道线、人行横道、减速带、交通灯和交通标志中的任何一个或任何组合。
[0015]在另一总体方面,提供了一种基于粒子滤波器来估计移动对象的位置的方法,所述方法包括:从由安装在移动对象上的拍摄装置获取的周围图像,生成基于地标的概率图中的二维(2D)特征点信息;从移动对象的附近的高分辨率(HD)地图数据,获得基于地标的三维(3D)特征点信息;预测与移动对象的候选位置对应的粒子的位置;针对粒子的位置中的每个,将3D特征点信息投影到从周围图像获得的概率图上;针对粒子的位置中的每个,确定被投影到概率图上的3D特征点信息与概率图的2D特征点信息之间的相似度;以及通过基于相似度对粒子进行重新布置来估计移动对象的位置。
[0016]根据基于深度神经网络(DNN)的语义分割,2D特征点信息可根据地标被获得。
[0017]从移动对象的附近的HD地图数据获得3D特征点信息的步骤可包括:基于移动对象的位置信息,从HD地图数据库接收移动对象的附近中的地标在世界域上的3D特征点信息;以及将世界域上的3D特征点信息转换到拍摄装置的本地域。
[0018]预测粒子的位置的步骤可包括:基于在先前时间点重新布置的粒子的位置信息和移动对象从先前时间点的位移来预测粒子的位置。
[0019]基于透视映射,3D特征点信息可被投影到从周围图像获得的2D概率图上。
[0020]确定被投影到概率图上的3D特征点信息与概率图的2D特征点信息之间的相似度的步骤可包括:在概率图中,对与每个地标对应的投影后的3D特征点信息的概率进行求和;以及将与各个地标对应的求和后的概率相乘。
[0021]通过基于相似度对粒子进行重新布置来估计移动对象的位置的步骤可包括:根据相似度针对粒子的各个位置设置权重;根据权重对粒子进行重新布置;以及通过计算重新布置的粒子的平均值来估计移动对象的位置。
[0022]移动对象可以是自主车辆或支持高级驾驶员辅助系统(ADAS)的车辆。
[0023]在另一总体方面,提供了一种电子装置,所述电子装置包括:通信模块,被配置为:接收移动对象的附近的高分辨率(HD)地图数据和由安装在移动对象上的拍摄装置获取的周围图像;存储器,被配置为:存储计算机可执行指令、HD地图数据和周围图像;以及处理器,被配置为执行计算机可执行指令以将处理器配置为:从周围图像生成基于地标的概率图的二维(2D)特征点信息,从HD地图数据获得基于地标的三维(3D)特征点信息,将周围图像的2D特征点信息之一转换到3D或将HD地图数据的3D特征点信息转换到2D,确定转换后的特征点信息与周围图像的特征点信息和HD地图数据的特征点信息中的未被转换的特征点信息之间的相似度,以及基于相似度来估计移动对象的位置。
[0024]处理可被配置为:在从周围图像获得的概率图中,对与每个地标对应的HD地图数据的特征点信息的概率进行求和;以及通过将与各个地标对应的求和后的概率相乘来计算相似度。
[0025]从下面的具体实施方式、附图和权利要求,其他特征和方面将是清楚的。
附图说明
[0026]图1A至图1C示出获得移动对象的附近的特征点信息的示例。
[0027]图2示出电子装置的示例。
[0028]图3A和图3B示出计算高分辨率(HD)地图中的特征点与周围图像中的特征点之间的相似度的示例。
[0029]图4A和图4B示出根据移动对象的候选位置不同地确定相似度的示例。
[0030]图5示出电子装置的操作方法的示例。
[0031]图6示出计算相似度的示例。
[本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种操作电子装置的方法,所述方法包括:从由安装在移动对象上的拍摄装置获取的周围图像,生成基于地标的概率图中的二维特征点信息;从移动对象的附近的高分辨率地图数据,获得基于地标的三维特征点信息;将周围图像的二维特征点信息转换到三维或将高分辨率地图数据的三维特征点信息转换到二维;确定转换后的特征点信息与周围图像的特征点信息和高分辨率地图数据的特征点信息中的未被转换的特征点信息之间的相似度;以及基于相似度来估计移动对象的位置。2.根据权利要求1所述的方法,其中,根据基于深度神经网络的语义分割,周围图像的二维特征点信息根据地标被获得。3.根据权利要求1所述的方法,其中,从移动对象的附近的高分辨率地图数据获得三维特征点信息的步骤包括:基于移动对象的位置信息,从高分辨率地图数据库接收针对移动对象的附近中的地标的在世界域上的三维特征点信息;以及将在世界域上的三维特征点信息转换到拍摄装置的本地域。4.根据权利要求1所述的方法,其中,对周围图像的二维特征点信息进行转换的步骤包括:基于逆透视映射,将周围图像的二维特征点信息转换为三维概率图的形式。5.根据权利要求1所述的方法,其中,对高分辨率地图数据的三维特征点信息进行转换的步骤包括:基于透视映射,将高分辨率地图数据的三维特征点信息投影到从周围图像获得的二维概率图上。6.根据权利要求1所述的方法,其中,确定转换后的特征点信息与周围图像的特征点信息和高分辨率地图数据的特征点信息中的未被转换的特征点信息之间的相似度的步骤包括:在从周围图像获得的概率图中,对与每个地标对应的高分辨率地图数据的三维特征点信息的概率进行求和;以及通过将与各个地标对应的求和后的概率相乘来计算相似度。7.根据权利要求1所述的方法,其中,基于相似度来估计移动对象的位置的步骤包括:基于相似度,对根据粒子滤波器或最大似然优化方案来估计移动对象的位置的结果进行更新。8.根据权利要求1至7中的任一项所述的方法,其中,移动对象是自主车辆或支持高级驾驶员辅助系统的车辆。9.根据权利要求1至7中的任一项所述的方法,其中,地标包括白色车道线、黄色车道线、人行横道、减速带、交通灯和交通标志中的任何一个或任何组合。10.一种基于粒子滤波器来估计移动对象的位置的方法,所述方法包括:从由安装在移动对象上的拍摄装置获取的周围图像,生成基于地标的概率图中的二维特征点信息;从移动对象的附近的高分辨率地图数据,获得基于地标的三维特征点信息;预测与移动对象的多个候选位置对应的多个粒子的多个位置;
针对所述多个粒子的所述多个位置中的每个,将三维特征点信息投影到从周围图像获得的概率图上;针对所述多个粒子的所述多个位置中的每个,确定被投影到概率图上的三维特征点信息与概率图的二维特征...

【专利技术属性】
技术研发人员:朴容坤钟朴希原张铁薰
申请(专利权)人:三星电子株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1