在地图上定位设备的方法、服务端及移动机器人技术

本申请提供一种在地图上定位设备的方法、多设备之间协同操作的方法、服务端、移动机器人、第一电子设备、第二电子设备、第三电子设备以及计算机可读存储介质，本申请通过带有摄像头的第二电子设备在室内或室外等物理空间移动并构建所述物理空间的地图和视觉定位数据集，并且通过服务端将所述地图与所述带有摄像头的第一电子设备和第三电子设备进行共享，所述第一电子设备能够通过自身摄取的图像与所述地图和视觉定位数据集进行匹配或比对等，实现自身在所述地图上的定位。同时，由于所述第一电子设备、第二电子设备和第三电子设备共享同一份地图和视觉定位数据集，能够实现多设备的交互。的交互。的交互。

【技术实现步骤摘要】
在地图上定位设备的方法、服务端及移动机器人
[0001]本申请为依据专利法实施细则第42条而提出的分案申请，其母案的申请号为201980000670.4；申请日：2019年05月09日；PCT国际申请进入国家阶段日：2019年05月21日；PCT国际申请的申请数据PCT/CN2019/086282；2019.05.09；专利技术名称为：在地图上定位设备的方法、服务端及移动机器人。


[0002]本申请涉及地图定位
，特别是涉及一种在地图上定位设备的方法，多设备之间协同操作的方法，服务端、移动机器人、第一电子设备及第二电子设备。

技术介绍

[0003]随着科技的发展和生活水平的提高，智能家用电器得到了广泛的应用。例如移动机器人，移动机器人为自动执行特定工作的机器装置，它既可以接受人们指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外，可用于工业或家庭，可用于取代保安巡视、取代人们清洁地面，还可用于家庭陪伴、辅助办公等。
[0004]移动机器人能够通过VSLAM(Visual Simultaneous Localization and Mapping，基于视觉信息的即时定位与地图构建)技术，根据摄像头摄取的图像对商场、办公场所、住所等环境构建室内地图。但移动机器人构建的地图无法与其他智能家用电器共享，而其他智能家用电器也无法与移动机器人进行交互。

技术实现思路

[0005]鉴于以上所述现有技术的缺点，本申请的目的在于提供一种在地图上定位设备的方法、多设备之间协同操作的方法、服务端、移动机器人、第一电子设备、第二电子设备、第三电子设备以及计算机可读存储介质，用于解决现有技术中多设备之间不能定位到其中一个设备所构建的地图上的问题。
[0006]为实现上述目的及其他相关目的，本申请的第一方面提供一种在地图上定位设备的方法，用于定位至少一个第一电子设备，所述方法包括以下步骤：获取设置在一物理空间内至少一个所述第一电子设备的摄像装置所摄取的图像；基于预先构建的对应所述物理空间的地图及视觉定位数据集，确定所述图像中与所述视觉定位数据集中相匹配的定位特征信息；其中，所述视觉定位数据集及地图由至少一个第二电子设备在所述物理空间内移动而构建的；基于相匹配的所述视觉定位数据集中的定位特征信息及其标记在地图中的坐标信息之间的关联关系，确定相应第一电子设备在所述地图上的位置。
[0007]在本申请的第一方面的某些实施方式中，所述基于预先构建的对应所述物理空间的地图及视觉定位数据集，确定所述图像中与所述视觉定位数据集中相匹配的定位特征信息的步骤包括：提取所述图像中的候选定位特征信息；通过图像匹配从各所述候选定位特征信息中选取所述图像的定位特征信息。
[0008]本申请的第二方面还提供一种多设备之间协同操作的方法，其中所述多设备包含第一设备和第二电子设备，所述协同操作方法包括以下步骤：获取来自于所述第一电子设备的摄像装置所摄取的包含图像的多媒体数据，并从所述多媒体数据中识别出用于与所述第二电子设备交互的交互指令；基于预设的地图和所述交互指令，确定所述第一电子设备和/或第二电子设备的位置信息；其中，所述地图中标记有所述第一电子设备的和/或第二电子设备的摄像装置基于各自摄取的图像而确定的坐标信息；向所述第二电子设备发出交互指令，以供所述第二电子设备执行基于所确定的至少一个坐标信息而产生的输入操作。
[0009]本申请的第三方面还提供一种多设备之间协同操作的方法，其中所述多设备包含第一电子设备和第三电子设备，所述协同操作方法包括以下步骤：获取来自于所述第三电子设备的一交互指令；其中，所述交互指令包含执行相应交互操作的第一电子设备在一地图上的坐标信息；其中，所述坐标信息是基于所述第一电子设备的摄像装置所摄取的图像而确定并标记在所述地图中的；向所述坐标信息所对应的第一电子设备发送所述交互指令，以便所述第一电子设备执行所述交互操作。
[0010]本申请的第四方面还提供一种服务端，包括：接口装置，用于与至少一个第一电子设备和至少一个第二电子设备进行数据通信；存储装置，存储通过所述接口装置所获取的所述第一电子设备所摄取的图像，各所述第一电子设备所在物理空间的地图和视觉定位数据集，以及至少一个程序；处理装置，与所述存储装置和接口装置相连，用于执行所述至少一个程序，以协调所述存储装置和接口装置执行如本申请的第一方面中任一所述的方法。
[0011]本申请的第五方面还提供一种移动机器人，包括：接口装置，用于与至少一个第一电子设备进行数据通信；存储装置，存储来自所述第一电子设备所摄取的图像，各所述第一电子设备所在物理空间的地图和视觉定位数据集，以及至少一个程序；移动装置，用于在所述第一电子设备所在物理空间内移动；处理装置，与所述存储装置和接口装置相连，用于执行所述至少一个程序，以协调所述存储装置和接口装置执行如下方法：获取设置在所述物理空间内至少一个所述第一电子设备的摄像装置所摄取的图像；基于所述地图及视觉定位数据集，确定所述图像中与所述视觉定位数据集中相匹配的定位特征信息；其中，所述地图和视觉定位数据集由所述移动机器人在所述物理空间内至少一次移动而构建的；基于相匹配的所述视觉定位数据集中的定位特征信息及其标记在地图中的坐标信息之间的关联关系，确定相应第一电子设备在所述地图上的位置。
[0012]本申请的第六方面还提供一种服务端，包括：接口装置，用于与第一电子设备和第二电子设备进行通信；存储装置，用于存储来自所述第一电子设备的包含图像的多媒体数据，对应各所述第一电子设备和第二电子设备所在物理空间的地图，以及至少一个程序；其中，所述地图中标记有所述第一电子设备的和/或第二电子设备的摄像装置基于各自摄取的图像而确定的坐标信息；处理装置，与所述存储装置和接口装置相连，用于执行所述至少一个程序，以协调所述存储装置和接口装置执行如本申请的第二方面中任一所述的方法。
[0013]本申请的第七方面还提供一种第二电子设备，配置有摄像装置，包括：接口装置，用于与至少一个第一电子设备进行通信；存储装置，用于存储来自所述第一电子设备的包含图像的多媒体数据，各所述第一电子设备所在物理空间的地图，以及至少一个程序；其中，所述地图中标记有所述第一电子设备的和/或自身的摄像装置基于各自摄取的图像而确定的坐标信息；处理装置，与所述存储装置和接口装置相连，用于执行所述至少一个程
序，以协调所述存储装置和接口装置执行如下方法：从所述多媒体数据中识别出所述第一电子设备所发出的交互指令；基于预设的地图和所述交互指令，确定所述第一电子设备和/或自身在所述地图中的位置信息，并执行基于所确定的至少一个位置信息而产生的输入操作。
[0014]本申请的第八方面还提供一种第一电子设备，配置有摄像装置，包括：接口装置，用于与至少一个第二电子设备进行通信；存储装置，用于存储所述摄像装置所摄取的包含图像的多媒体数据，对应各所述第二电子设备所在物理空间的地图，以及至少一个程序；其中，所述地图中标记有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在地图上定位设备的方法，用于定位至少一个第一电子设备，其特征在于，所述方法包括以下步骤：获取设置在一物理空间内至少一个所述第一电子设备的摄像装置所摄取的图像；基于预先构建的对应所述物理空间的地图及视觉定位数据集，确定所述图像中与所述视觉定位数据集中相匹配的定位特征信息；其中，所述视觉定位数据集及地图由至少一个第二电子设备在所述物理空间内移动而构建的；基于相匹配的所述视觉定位数据集中的定位特征信息及其标记在地图中的坐标信息之间的关联关系，确定相应第一电子设备在所述地图上的位置。2.根据权利要求1所述的在地图上定位设备的方法，其特征在于，所述基于预先构建的对应所述物理空间的地图及视觉定位数据集，确定所述图像中与所述视觉定位数据集中相匹配的定位特征信息的步骤包括：提取所述图像中的候选定位特征信息；通过图像匹配从各所述候选定位特征信息中选取所述图像的定位特征信息。3.根据权利要求1所述的在地图上定位设备的方法，其特征在于，所述基于相匹配的所述视觉定位数据集中的定位特征信息及其标记在地图中的坐标信息之间的关联关系，确定相应第一电子设备在所述地图上的位置的步骤包括：基于相匹配的两定位特征信息之间的像素位置偏差和关联关系，确定第一电子设备所在位置与所述视觉定位数据集中所匹配的定位特征信息所对应的坐标信息之间的位置偏差信息；基于所述位置偏差信息确定所述第一电子设备在所述地图中的位置信息，并标记在所述地图上。4.根据权利要求1所述的在地图上定位设备的方法，其特征在于，还包括更新所述地图及视觉定位数据集的步骤。5.根据权利要求4所述的在地图上定位设备的方法，其特征在于，所述更新地图及视觉定位数据集的步骤包括：基于来自于所述第一电子设备在物理空间内移动期间而收集的视觉定位信息和障碍物信息，更新所述地图及视觉定位数据集；和/或基于来自于所述第一电子设备在物理空间内的固定位置处所收集的视觉定位信息，更新所述地图及视觉定位数据集。6.根据权利要求1所述的在地图上定位设备的方法，其特征在于，所述第一电子设备包括：装配在所述物理空间内固定位置的设备，以及可在所述物理空间内移动的设备中的至少一种。7.根据权利要求1所述的在地图上定位设备的方法，其特征在于，还包括将标记有各所述第一电子设备的地图发送至第三电子设备以便所述第三电子设备予以显示的步骤。8.根据权利要求1所述的在地图上定位设备的方法，其特征在于，还包括在所述地图上的各第一电子设备位置处标记相应的设备种类标签的步骤；其中，所述设备种类标签至少用于确定相应第一电子设备在地图中的位置信息。9.根据权利要求1所述的在地图上定位设备的方法，其特征在于，获取设置在一物理空间内至少一个所述第一电子设备的摄像装置所摄取的图像的步骤包括：获取经所述第一电
子设备的摄像装置以预设时间间隔摄取的不同时刻下的静态图像或视频图像；或者获取所述第一电子设备的摄像装置在多个固定时刻摄取的静态图像或视频图像。10.根据权利要求1所述的在地图上定位设备的方法，其特征在于，所述第二电子设备为清洁机器人、家庭陪伴式移动机器人、巡逻式移动机器人、巡航模式下的车辆、或者无人机。11.一种服务端，其特征在于，包括：接口装置，用于与至少一个第一电子设备和至少一个第二电子设备进行数据通信；存储装置，存储通过所述接口装置所获取的所述第一电子设备所摄取的图像，各所述第一电子设备所在物理空间的地图和视觉定位数据集，以及至少一个程序；处理装置，与所述存储装置和接口装置相连，用于执行所述至少一个程序，以协调所述存储装置和接口装置执行如权利要求1
‑
10中任一所述的方法。12.一种移动机器人，其特征...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海阿科伯特机器人有限公司，
类型：发明
国别省市：