室内定位方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种室内定位方法、装置、电子设备及存储介质，涉及定位技术领域和深度学习技术领域。具体实现方案为：提取终端在室内采集的指定图像中的各结构线的描述符；基于指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从室内图像数据库中获取与指定图像的各结构线的描述符最接近的目标结构线描述符；基于预先建立的室内三维结构线地图和指定图像的各结构线的描述符对应的各目标结构线描述符，获取终端的位姿信息。本申请可以基于终端在室内采集到的指定图像中的结构线，实现对终端进行定位，而不受图像中的广告牌等纹理信息以及光照、外观变化带来的影响，具有更高的鲁棒性，能够有效地提高室内定位的稳定性和准确性。

【技术实现步骤摘要】
室内定位方法、装置、电子设备及存储介质
本申请涉及计算机技术和深度学习
，尤其涉及定位
，具体涉及一种室内定位方法、装置、电子设备及存储介质。
技术介绍
在室内导航定位中，目前通用的技术方案是首先使用图像检索(imageretrieval)技术进行图像检索，获取与相机拍摄的图像相匹配的子地图。然后在检索到的子地图中进行特征点的匹配，最后使用最优化的方法获得最终相机的位置信息。例如，在进行特征点的匹配时，可以先通过运动构建(structurefrommotion；sfm)或者定位与地图构建(SimultaneousLocalizationandMapping；slam)技术建立离线点云地图，每个3d点都携带了坐标信息以及红绿蓝(red-green-blue；rgb)特征信息。在进行定位的时候通过图像检索技术得到粗略的局部地图，然后在子地图上进行2d到3d的特征点匹配，最后使用Perspective-n-Point(简称PnP)计算相机的位姿信息，完成定位。但是，由于室内复杂的环境例如光照、动态物体等，导致上述技术方案不能很好的工作。尤其是在商场这样的场景下，基于上述特征的方式在商场中定位在很大程度上依赖于广告牌等纹理丰富的图像，但是广告牌等图像不是一成不变的，更新频率很高，导致现有技术的室内定位的稳定性非常差。
技术实现思路
为了解决上述技术问题，本申请提供了一种室内定位方法、装置、电子设备及存储介质。根据本申请的一方面，提供了一种室内定位方法，其中，所述方法包括：>提取终端在室内采集的指定图像中的各结构线的描述符；基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符；基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息。根据本申请的另一方面，提供了一种室内定位装置，其中，所述装置包括：提取模块，用于提取终端在室内采集的指定图像中的各结构线的描述符；获取模块，用于基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符；定位模块，用于基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息。根据本申请的再一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方法。根据本申请的技术，可以基于终端在室内采集到的指定图像中的结构线，实现对终端进行定位，而不受图像中的广告牌等纹理信息以及光照、外观变化带来的影响，具有更高的鲁棒性，能够有效地提高室内定位的稳定性和准确性。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请第一实施例的示意图；图2是根据本申请第二实施例的示意图；图3A和图3B为本申请提供的两张图像示意图；图4为本申请提取的一张图像中所有相交的结构线构成的关系图；图5为图4所示的关系图中的一条随机游走路线；图6是根据本申请第三实施例的示意图；图7是根据本申请第四实施例的示意图；图8是用来实现本申请实施例的室内定位方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本申请第一实施例的示意图；如图1所示，本实施例提供一种室内定位方法，具体可以包括如下步骤：S101、提取终端在室内采集的指定图像中的各结构线的描述符；S102、基于指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从室内图像数据库中获取与指定图像的各结构线的描述符最接近的目标结构线描述符；S103、基于预先建立的室内三维结构线地图和指定图像的各结构线的描述符对应的各目标结构线描述符，获取终端的位姿信息。本实施例的室内定位方法的执行主体为室内定位装置，该室内定位装置可以为一实体的电子设备，或者也可以为采用软件集成的应用，使用时，将应用运行在手机或者电脑等计算机设备上，能够基于终端在室内采集的指定图像，实现对终端的定位。本实施例的终端可以为手机、相机等具有拍摄功能的电子设备。例如，用户进入某个大型室内场景中时，由于室内环境复杂，用户想要确定当前所在的位置，可以采用终端采集一张图像，作为指定图像。然后可以将采集到的该指定图像发送给本实施例的室内定位装置，由室内定位装置基于该指定图像实现对该终端进行室内定位。本实施例的室内定位装置，首先提取终端在室内采集的指定图像中的各结构线的描述符；本实施例的结构线为室内的建筑结构中的线条，例如可以为指定图像中采集到的室内建筑中的门、窗、楼梯、墙壁的边、以及室内建筑中的其他建筑硬件的线条等等，这些线条通常为室内建筑的硬件结构的线条如wireframe，所以称为结构线。在室内建筑的硬件结构不做变化的时候，室内建筑的结构线便不会发生变化。与室内建筑中的软包的广告牌、装饰物相比，室内建筑中的结构线相对固定，在不对建筑结构做改造的情况下，并不会随着装饰颜色，材质等的变化而变化。本实施例中的结构线的描述符，作为该结构线的唯一特征，用于唯一标识对应的结构线。例如，可以采用该结构线与室内建筑中周围结构线的关系，作为该结构线的描述符，来描述该结构线。或者还可以参考其他参照物，来描述该结构线，在此不再举例赘述。本实施例中，由于终端拍摄的角度不做限制，终端在室内采集到的指定图像可能包括一条结构线、也可能包括两条或者多条结构线。本实施例的室内定位装置需要提取该指定图像中的每一条结构线的描述符。然后室内定位装置可以基于指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从室内图像数据库中获取与指定图像的每条结构线的描述符最接近的目标结构线描述符。由于每条目标结构线描述符对应的目标结构线是已知的本文档来自技高网...

【技术保护点】
1.一种室内定位方法，其中，所述方法包括：/n提取终端在室内采集的指定图像中的各结构线的描述符；/n基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符；/n基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息。/n

【技术特征摘要】
1.一种室内定位方法，其中，所述方法包括：
提取终端在室内采集的指定图像中的各结构线的描述符；
基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符；
基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息。


2.根据权利要求1所述的方法，其中，所述提取终端在室内采集的指定图像中的各结构线的描述符，包括：
提取所述指定图像中的各结构线；
基于各所述结构线与相邻结构线之间的关系，生成各所述结构线的描述符。


3.根据权利要求2所述的方法，其中，所述基于各所述结构线与相邻结构线之间的关系，生成各所述结构线的描述符，包括：
对于各所述结构线，以当前的所述结构线作为随机游走的起点，向相邻的其他结构线进行随机游走，共进行m次随机游走，各次随机游走的步长为n步，获取各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角；
基于各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角，生成的对应的所述结构线的描述符，所述结构线的描述符为m*n的表达。


4.根据权利要求1所述的方法，其中，基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符，包括：
根据所述指定图像中的各结构线的描述符和所述室内图像数据库包括的各图像的结构线的描述符，通过计算交并比的方式计算所述指定图像与所述室内图像数据库中各图像的相似度；
基于所述指定图像与所述室内图像数据库中各图像的相似度，获取所述室内图像数据库中与所述指定图像的相似度最大的N个候选图像的结构线描述符；
从所述N个候选图像的结构线描述符中，获取与所述指定图像的各结构线的描述符最接近的所述目标结构线描述符。


5.根据权利要求1所述的方法，其中，所述基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息，包括：
根据所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，从所述室内三维结构线地图中获取各所述目标结构线的位姿信息；
根据所述室内三维结构线地图中各所述目标结构线的位姿信息，计算所述终端的位姿信息。


6.根据权利要求1-5任一所述的方法，其中，基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息之后，所述方法还包括：
根据所述终端的位姿信息和室内地图，获取所述终端在室内的位置信息。


7.根据权利要求1-5任一所述的方法，其中，基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符之前，所述方法还包括：
采集室内地图中各个位置的图像；
提取各所述图像中的各结构线的描述符；
存储各所述图像、各所述图像中的各结构线的描述符及其对应关系，以建立所述室内图像数据库。


8.根据权利要求7所述的方法，其中，提取各所述图像中的各结构线的描述符之后，基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息之前，所述方法还包括：
将各所述图像中的各对相邻的两个所述结构线，使用三角化构造各所述结构线在三维空间的位姿信息；
基于各所述图像中的各...

【专利技术属性】
技术研发人员：李照虎，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11