一种视觉定位方法及电子设备技术

一种视觉定位方法及电子设备，涉及视觉定位技术领域，可以应用于具有摄像头的电子设备方法。该方法具体包括：检测到用于触发视觉定位流程的第一事件，判断摄像头采集的第一图像中轮廓线的种类数是否大于或等于第一阈值；若是，则向服务器发送第一视觉定位请求，第一视觉定位请求包括第一图像和第一地理位置，第一地理位置为在采集第一图像时电子设备测量的自身所在的地理位置；最后接收来自服务器响应于第一视觉定位请求发送的第一视觉定位结果，第一视觉定位结果包括第二地理位置。这种技术方案与基于电磁波信号定位相比，有助于提高定位精度。位精度。位精度。

【技术实现步骤摘要】
一种视觉定位方法及电子设备
[0001]本申请中要求在2020年5月14日提交中国专利局、申请号为202010405196.8、申请名称为“一种大场景下基于图片语义信息的视觉定位方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及计算机视觉领域，特别涉及一种视觉定位方法及电子设备。

技术介绍

[0003]目前，手机、平板电脑等电子设备可以为用户提供地图、导航、虚实结合等服务，而这些服务是依赖于定位技术实现的。现有技术中，电子设备通常是基于电磁波信号(例如卫星信号或基站信号)进行定位的。以基站信号为例。电子设备基于基站信号进行定位的原理是：电子设备根据电磁波信号从基站传输到自身的时间，确定自身与基站之间的距离，然后根据自身与基站之间的距离和基站所在的位置，计算自身所在的位置(即电子设备所在的位置)。但是，电磁波信号的传输容易受建筑物、大气电离层等干扰，从而导致根据电磁波信号从基站传输到电子设备的时间确定的距离和基站与电子设备之间的实际距离偏差较大，严重影响电子设备的定位精度。

技术实现思路

[0004]本申请提供了一种视觉定位方法及电子设备，有助于提高电子设备的定位精度。
[0005]第一方面，为本申请实施例提供的一种视觉定位方法，应用于电子设备，所述电子设备包括摄像头，所述方法具体包括：检测到第一事件，所述第一事件用于触发视觉定位流程；然后，判断所述摄像头采集的第一图像中轮廓线的种类数是否大于或等于第一阈值；若所述第一图像中轮廓线的种类数大于或等于所述第一阈值，向服务器发送第一视觉定位请求，所述第一视觉定位请求包括所述第一图像和第一地理位置，所述第一地理位置为所述电子设备在所述摄像头采集所述第一图像时测量的自身所在的地理位置；最后，接收来自所述服务器响应于所述第一视觉定位请求发送的第一视觉定位结果，所述第一视觉定位结果包括第二地理位置，所述第二地理位置为所述摄像头采集所述第一图像时所述电子设备所在的地理位置，且所述第二地理位置的精度高于所述第一地理位置的精度。
[0006]本申请实施例中，由于电子设备能够向服务器发送第一视觉定位请求，且第一视觉定位请求中包括第一图像和第一地理位置，从而有助于使得服务器根据第一图像对电子设备进行视觉定位，与基于电磁波信号定位相比，有助于提高定位精度。而且，由于电子设备是在第一图像中的轮廓线的种类数大于或等于第一阈值时向服务器发送第一视觉定位请求的，有助于提高服务器基于第一图像定位成功的可能性。
[0007]在一种可能的设计中，所述第一视觉定位请求还包括第一相机参数和/或第一设备姿态，所述第一相机参数为所述摄像头采集所述第一图像时使用的相机参数，所述第一设备姿态用于指示所述电子设备在所述摄像头采集所述第一图像时测量的自身的高度角、
俯仰角和横滚角中的至少一个。从而有助于提高服务器基于第一图像定位时的精度。
[0008]在一种可能的设计中，电子设备在判定所述电子设备的俯仰角在第一角度范围内，且所述电子设备的横滚角在第二角度范围内的情况下，再判断所述摄像头采集的第一图像中轮廓线的种类数是否大于或等于第一阈值。从而有助于提高摄像头采集的第一图像中轮廓线的种类数大于或等于第一阈值的可能性。
[0009]在一种可能的设计中，所述第一视觉定位结果还包括：第二设备姿态，所述第二设备姿态用于指示所述摄像头采集所述第一图像时所述电子设备的高度角、俯仰角和横滚角中的至少一个，且所述第二设备姿态的精度高于所述第一设备姿态的精度。从而有助于电子设备获取到精度较高的设备姿态。
[0010]在一种可能的设计中，电子设备在接收到来自所述服务器响应于所述第一视觉定位请求发送的第二视觉定位结果，所述第二视觉定位结果用于指示基于所述第一图像定位失败的情况下，当所述摄像头采集的第二图像中与所述第一图像的重复内容所占的比例小于或等于第二阈值、以及所述第二图像中轮廓线的种类数大于或等于所述第一阈值时，向所述服务器发送第二视觉定位请求，所述第二视觉定位请求包括所述第二图像和第三地理位置，所述第三地理位置为所述电子设备在所述摄像头采集所述第二图像时测量的自身所在的地理位置。从而有助于提高服务器基于第二图像定位成功的可能性。
[0011]在一种可能的设计中，若所述第一图像中轮廓线的种类数小于所述第一阈值，向用户提示调整所述摄像头的拍摄角度。从而有助于用户与电子设备之间的交互，使得用户能够获知当前摄像头采集的第一图像不满足视觉定位要求。
[0012]第二方面，为本申请实施例提供的一种视觉定位方法，具体包括：服务器接收来自电子设备的第一视觉定位请求，所述第一视觉定位请求包括第一图像和第一地理位置；然后，所述服务器提取第一图像的图像特征；以及根据所述第一地理位置，从全景地图中采集360全景图像的M个候选地理位置中选择Q个候选地理位置，所述Q个候选地理位置中每个候选地理位置与所述第一地理位置之间的距离小于或等于第一阈值，所述Q小于或等于M，且M、Q为正整数；所述服务器从所述Q个候选地理位置中确定第二地理位置，所述第二地理位置在所述Q个候选地理位置中360全景图像与所述第一图像的图像特征的相似度最高，并向所述电子设备返回第一视觉定位结果，所述第一视觉定位结果包括所述第二地理位置。
[0013]本申请实施例中，由于服务器能够根据来自电子设备的第一图像和第一地理位置进行定位，与基于电磁波信号相比，有助于提高定位精度。
[0014]在一种可能的设计中，所述第一图像的图像特征包括所述第一图像中N个特征点的轮廓线指示、以及所述N个特征点在第一坐标系中的朝向角和高度角，所述N为正整数，所述第一坐标系为在所述全景地图中的候选地理位置上采集的360全景图像的参考坐标系，所述轮廓线指示用于指示特征点所在的轮廓线的种类。从而有助于简化实现方式，提高定位精度。
[0015]在一种可能的设计中，所述第一视觉定位请求还包括第一设备姿态；
[0016]所述服务器可以基于下列方式提取第一图像的图像特征：
[0017]所述服务器对所述第一图像进行语义分割，得到所述第一图像的语义图，并根据所述第一图像的语义图，获取所述第一图像中N个特征点的轮廓线指示、以及所述N个特征点在第二坐标系中的朝向角和高度角；所述第二坐标系为所述第一图像的参考坐标系；然
后，所述服务器根据所述第一设备姿态和所述N个特征点在所述第二坐标系中朝向角和高度角，获取所述N个特征点在所述第一坐标系中的朝向角和高度角。
[0018]通过将第一图像和在全景地图中候选地理位置上采集的360全景图像统一到同一参考坐标系中，有助于提高定位的可靠性。
[0019]在一种可能的设计中，所述第一视觉定位请求还包括第一相机参数，所述第一相机参数为采集所述第一图像所使用的相机参数；
[0020]所述服务器可以基于下列方式对所述第一图像进行语义分割，得到所述第一图像的语义图：
[0021]所述服务器对所述第一图像进行图像处理得到中间图像，并对所述中间图像进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉定位方法，其特征在于，应用于电子设备，所述电子设备包括摄像头，所述方法包括：检测到第一事件，所述第一事件用于触发视觉定位流程；判断所述摄像头采集的第一图像中轮廓线的种类数是否大于或等于第一阈值；若所述第一图像中轮廓线的种类数大于或等于所述第一阈值，向服务器发送第一视觉定位请求，所述第一视觉定位请求包括所述第一图像和第一地理位置，所述第一地理位置为所述电子设备在所述摄像头采集所述第一图像时测量的自身所在的地理位置；接收来自所述服务器响应于所述第一视觉定位请求发送的第一视觉定位结果，所述第一视觉定位结果包括第二地理位置，所述第二地理位置为所述摄像头采集所述第一图像时所述电子设备所在的地理位置，且所述第二地理位置的精度高于所述第一地理位置的精度。2.如权利要求1所述的方法，其特征在于，所述第一视觉定位请求还包括第一相机参数和/或第一设备姿态，所述第一相机参数为所述摄像头采集所述第一图像时使用的相机参数，所述第一设备姿态用于指示所述电子设备在所述摄像头采集所述第一图像时测量的自身的高度角、俯仰角和横滚角中的至少一个。3.如权利要求1或2所述的方法，其特征在于，所述判断所述摄像头采集的第一图像中轮廓线的种类数是否大于或等于第一阈值之前，还包括：判定所述电子设备的俯仰角在第一角度范围内，且所述电子设备的横滚角在第二角度范围内。4.如权利要求1至3任一所述的方法，其特征在于，所述第一视觉定位结果还包括：第二设备姿态，所述第二设备姿态用于指示所述摄像头采集所述第一图像时所述电子设备的高度角、俯仰角和横滚角中的至少一个，且所述第二设备姿态的精度高于所述第一设备姿态的精度。5.如权利要求1至4任一所述的方法，其特征在于，所述方法还包括：接收到来自所述服务器响应于所述第一视觉定位请求发送的第二视觉定位结果，所述第二视觉定位结果用于指示基于所述第一图像定位失败；当所述摄像头采集的第二图像中与所述第一图像的重复内容所占的比例小于或等于第二阈值、以及所述第二图像中轮廓线的种类数大于或等于所述第一阈值时，向所述服务器发送第二视觉定位请求，所述第二视觉定位请求包括所述第二图像和第三地理位置，所述第三地理位置为所述电子设备在所述摄像头采集所述第二图像时测量的自身所在的地理位置。6.如权利要求1至5任一所述的方法，其特征在于，所述方法还包括：若所述第一图像中轮廓线的种类数小于所述第一阈值，向用户提示调整所述摄像头的拍摄角度。7.一种视觉定位方法，其特征在于，所述方法包括：服务器接收来自电子设备的第一视觉定位请求，所述第一视觉定位请求包括第一图像和第一地理位置；所述服务器提取第一图像的图像特征；所述服务器根据所述第一地理位置，从全景地图中采集360全景图像的M个候选地理位
置中选择Q个候选地理位置，所述Q个候选地理位置中每个候选地理位置与所述第一地理位置之间的距离小于或等于第一阈值，所述Q小于或等于M，且M、Q为正整数；所述服务器从所述Q个候选地理位置中确定第二地理位置，所述第二地理位置在所述Q个候选地理位置中360全景图像与所述第一图像的图像特征的相似度最高；所述服务器向所述电子设备返回第一视觉定位结果，所述第一视觉定位结果包括所述第二地理位置。8.如权利要求7所述的方法，其特征在于，所述第一图像的图像特征包括所述第一图像中N个特征点的轮廓线指示、以及所述N个特征点在第一坐标系中的朝向角和高度角，所述N为正整数，所述第一坐标系为在所述全景地图中的候选地理位置上采集的360全景图像的参考坐标系，所述轮廓线指示用于指示特征点所在的轮廓线的种类。9.如权利要求8所述的方法，其特征在于，所述第一视觉定位请求还包括第一设备姿态；所述服务器提取第一图像的图像特征，包括：所述服务器对所述第一图像进行语义分割，得到所述第一图像的语义图，并根据所述第一图像的语义图，获取所述第一图像中N个特征点的轮廓线指示、以及所述N个特征点在第二坐标系中的朝向角和高度角；所述第二坐标系为所述第一图像的参考坐标系；所述服务器根据所...

【专利技术属性】
技术研发人员：史昭阳，唐忠伟，康一飞，周妍，丁然，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：