一种目标定位方法技术

本申请提供了一种目标定位方法

【技术实现步骤摘要】
一种目标定位方法、系统和电子设备


[0001]本申请实施例涉及电子
，尤其涉及一种目标定位方法
、
系统和电子设备
。

技术介绍

[0002]随着增强现实
(Augmented Reality)
技术的发展，出现了越来越多的
AR
产品，例如华为
AR
地图等
。
在
AR
场景中，对真实世界物体的识别和空间定位是沟通现实世界和虚拟世界的重要桥梁，也是数字孪生
(digital twins)
的关键技术
。
[0003]目前，三维识别和跟踪算法只能对预先定义的物体进行识别与追踪，无法通过在线更新的方式，即时添加感兴趣的目标物体，导致能够三维识别跟踪的目标物体有限，无法满足数字孪生系统对数据可持续性拓展的能力要求以及用户多样化
、
个性化的识别需求
。

技术实现思路

[0004]本申请提供了一种目标定位方法
、
系统和电子设备，该方法中，服务器中的位姿估计模型库中包括多个位姿估计模型，目标与位姿估计模型相对应
。
通过该方法，服务器增加可定位目标时仅需在位姿估计模型库中增加该目标对应的位姿估计模型，可以满足用户在线拓展目标数量的需求，大幅增加可定位的目标的数量
。
[0005]第一方面，本申请实施例提供了一种目标定位方法，应用于服务器，该方法包括：
[0006]服务器接收第一电子设备发送的定位请求，定位请求包括待处理图像；
[0007]服务器识别待处理图像中的目标；
[0008]服务器从位姿估计模型库中查找目标对应的目标位姿估计模型，位姿估计模型库包括多个对象分别对应的位姿估计模型；
[0009]服务器基于待处理图像和目标位姿估计模型，得到目标的位姿；
[0010]服务器将目标的位姿发送至第一电子设备
。
[0011]实施本申请实施例，服务器可以在接收到电子设备发送的待处理图像后，识别待处理图像中的目标，从位姿估计模型库中查找目标对应的目标位姿估计模型，进而，基于待处理图像和目标位姿估计模型，得到目标的位姿
。
其中，服务器中的位姿估计模型库包括多个对象分别对应的位姿估计模型
。
通过该方法，服务器增加可定位目标时仅需在位姿估计模型库中增加该目标对应的位姿估计模型，可以满足用户在线拓展目标数量的需求，大幅增加可定位的目标的数量
。
[0012]结合第一方面，在一种可能的实现方式中，在服务器从位姿估计模型库中查找目标对应的目标位姿估计模型之前，方法还包括：
[0013]服务器接收第二电子设备发送的目标对应的三维模型；
[0014]服务器对目标对应的三维模型进行渲染，生成多张训练图像；
[0015]服务器基于多张训练图像对初始位姿估计模型进行训练，得到目标位姿估计模型
。
[0016]在本申请实施例中，服务器可以接收来自电子设备的目标对应的三维模型，如目
标的计算机辅助设计模型或点云模型；进而，基于该三维模型，生成该目标对应的位姿估计模型，即目标位姿估计模型
。
该方法中，用户可以通过电子设备向服务器发送自己感兴趣的目标的三维模型，从而使服务器实现对目标进行定位的功能，该方法可以实现用户在线拓展目标数量的需求，大幅增加服务器可定位的目标的数量
。
[0017]在一种可能的实现方式中，电子设备安装有定位应用，用户可以通过定位应用向服务器发送目标对应的三维模型；服务器可以接收来自不同电子设备发送的目标对应的三维模型，生成多个目标对应的位姿估计模型，以使在有电子设备需要对目标进行定位时实现对目标的定位
。
[0018]结合第一方面，在一种可能的实现方式中，服务器识别待处理图像中的目标包括：
[0019]服务器从待处理图像中提取特征向量；
[0020]服务器从特征向量库中查询与提取的特征向量相似度最高的特征向量；特征向量库包括多个对象的标识分别对应的特征向量；
[0021]服务器基于查询到的特征向量对应的标识，确定目标
。
[0022]在一种可能的实现方式中，服务器可以先从待处理图像中确定包括目标的图像块，进而，从该图像块中提取特征向量，该方法可以避免待处理图像中除目标外的其它对象对识别造成干扰，从而提高识别目标的准确度
。
[0023]结合第一方面，在一种可能的实现方式中，目标位姿估计模型包括关键点识别模型和
N
点透视算法，服务器基于待处理图像和目标位姿估计模型，得到目标的位姿，包括：
[0024]服务器将待处理图像输入关键点识别模型，得到目标对应的至少四个关键点的二维坐标；
[0025]服务器基于目标对应的三维模型，确定至少四个关键点的三维坐标；
[0026]服务器基于至少四个关键点的二维坐标和三维坐标，通过
N
点透视算法，得到目标的位姿
。
[0027]结合第一方面，在一种可能的实现方式中，服务器将目标的位姿发送至第一电子设备之前，方法还包括：
[0028]服务器基于目标的位姿，将目标对应的三维模型重投影至待处理图像上，得到渲染图像；
[0029]服务器执行
M
次优化过程，
M
为正整数，优化过程包括：基于渲染图像和待处理图像，计算优化位姿；服务器基于待处理图像和优化位姿，计算位姿误差；
[0030]服务器在位姿误差小于预设误差值时，将优化位姿更新为目标的位姿；在位姿误差不小于预设误差值时，基于优化位姿更新渲染图像，执行优化过程
。
[0031]在本申请实施例中，服务器通过上述重投影过程可以对位姿进行优化，提高定位的准确性
。
[0032]结合第一方面，在一种可能的实现方式中，在服务器接收第一电子设备发送的定位请求之前，方法还包括：
[0033]将目标对应的三维模型发送至第一电子设备，三维模型用于第一电子设备结合目标的位姿对目标进行跟踪
。
[0034]在本申请实施例中，服务器可以在得到目标对应的三维模型后，将三维模型发送至第一电子设备；第一电子设备可以存储该三维模型，进而，在接收到目标的位姿后，第一
电子设备无需再从服务器获取该三维模型，而是直接从存储中获取该三维模型对目标进行跟踪
。
该方法通过预先将三维模型发送至电子设备，可以提高电子设备进行目标跟踪的效率
。
[0035]在一种可能的实现方式中，也可以由服务器对目标进行跟踪
。
例如，电子设备可以将获取的每一帧图像都发送至服务器；服务器可以对关键帧图像进行目标定位，进而，基于两帧关键帧图像中的前一帧图像中目标的定位结果对两帧关键帧图像之间的图像进行目标跟踪，其中，服务器对目标进行定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目标定位方法，其特征在于，应用于服务器，所述方法包括：所述服务器接收第一电子设备发送的定位请求，所述定位请求包括待处理图像；所述服务器识别所述待处理图像中的目标；所述服务器从位姿估计模型库中查找所述目标对应的目标位姿估计模型，所述位姿估计模型库包括多个对象分别对应的位姿估计模型；所述服务器基于所述待处理图像和所述目标位姿估计模型，得到所述目标的位姿；所述服务器将所述目标的位姿发送至所述第一电子设备
。2.
根据权利要求1所述的方法，其特征在于，在所述服务器从位姿估计模型库中查找所述目标对应的目标位姿估计模型之前，所述方法还包括：所述服务器接收第二电子设备发送的所述目标对应的三维模型；所述服务器对所述目标对应的三维模型进行渲染，生成多张训练图像；所述服务器基于所述多张训练图像对初始位姿估计模型进行训练，得到所述目标位姿估计模型
。3.
根据权利要求1或2所述的方法，其特征在于，所述服务器识别所述待处理图像中的目标包括：所述服务器从所述待处理图像中提取特征向量；所述服务器从特征向量库中查询与所述提取的特征向量相似度最高的特征向量；所述特征向量库包括多个对象的标识分别对应的特征向量；所述服务器基于查询到的特征向量对应的标识，确定所述目标
。4.
根据权利要求1‑3任一项所述的方法，其特征在于，所述目标位姿估计模型包括关键点识别模型和
N
点透视算法，所述服务器基于所述待处理图像和所述目标位姿估计模型，得到所述目标的位姿，包括：所述服务器将所述待处理图像输入所述关键点识别模型，得到所述目标对应的至少四个关键点的二维坐标；所述服务器基于所述目标对应的三维模型，确定所述至少四个关键点的三维坐标；所述服务器基于所述至少四个关键点的二维坐标和三维坐标，通过
N
点透视算法，得到所述目标的位姿
。5.
根据权利要求1‑4任一项所述的方法，其特征在于，所述服务器将所述目标的位姿发送至所述第一电子设备之前，所述方法还包括：所述服务器基于所述目标的位姿，将所述目标对应的三维模型重投影至所述待处理图像上，得到渲染图像；所述服务器执行
M
次优化过程，所述
M
为正整数，所述优化过程包括：基于所述渲染图像和所述待处理图像，计算优化位姿；所述服务器基于所述待处理图像和所述优化位姿，计算位姿误差；所述服务器在所述位姿误差小于预设误差值时，将所述优化位姿更新为所述目标的位姿；在所述位姿误差不小于所述预设误差值时，基于所述优化位姿更新所述渲染图像，执行所述优化过程
。6.
根据权利要求1‑5任一项所述的方法，其特征在于，在所述服务器接收第一电子设备发送的定位请求之前，所述方法还包括：
将所述目标对应的三维模型发送至所述第一电子设备，所述三维模型用于所述第一电子设备结合所述目标的位姿对所述目标进行跟踪
。7.
一种目标定位方法，其特征在于，应用于电子设备，所述方法包括：所述电子设备获取待处理图像；所述电子设备向服务器发送定位请求，所述定位请求包括所述待处理图像；所述定位请求用于请求识别所述待处理图像中的目标和获得所述目标在所述待处理图像中的第一位姿；所述第一位姿是所述服务器基于从位姿估计模型库中查询的所述目标对应的目标位姿估计模型得到的，所述位姿估计模型库包括多个对象分别对应的位姿估计模型；所述电子设备接收所述服务器发送的所述第一位姿；所述电子设备基于所述第一位姿在所述待处理图像上渲染虚拟信息；所述电子设备显示渲染后的图像
。8.
根据权利要求7所述的方法，其特征在于，所述电子设备接收所述服务器发送的所述第一位姿之后，所述方法还包括：所述电子设备获取当前图像帧，所述当前帧图像为获取所述待处理图像后获取的图像；所述电子设备基于所述当前图像帧
、
所述目标对应的三维模型和所述第一位姿，确定所述目...

【专利技术属性】
技术研发人员：于海星，张磊，秦瑞，李江伟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：