提供平面布置图的方法、系统技术方案

本发明专利技术公开了一种用于根据机器人(例如，清洁机器人)拍摄的图像提供平面布置图的方法、系统。通过从机器人相机视图转换并将由位置标记的图像拼接在一起来产生鸟瞰(平面)地图。然后可以在用户界面上将平面地图呈现为显示物体(例如地毯)位置的平面布置图。相机安装在清洁机器人中，在清洁机器人壳体中足够高以提供朝向地面的视角。相机的视野被捕捉为图像，并且该图像的一部分或片段被裁剪。将裁剪的片段从相机透视图转换为平面视图(在裁剪之前或在裁剪之后)并与其他图像组合用于形成平面布置图的地图。

The Method and System of Providing Plane Layout

【技术实现步骤摘要】
提供平面布置图的方法、系统
本公开一般涉及机器人清洁器，具体地涉及生成地面地图。
技术介绍
清洁机器人通常包括用于各种目的的相机。相机可以对要清洁的区域摄像，以显示该区域中的物体。可以利用SLAM(同时定位和映射)算法将收集的图像数据用于创建地图。可以利用VSLAM(使用图像传感器的可视SLAM)定位方法对图像数据进行处理。相机可以对天花板摄像并使用所拍摄的图像进行导航。可以通过将这些图像拼接到一起来创建地图。iRobot的公开号为20170052033的专利申请描述了这种视觉SLAM方法。CarnegieMellon的专利号为5,999,866的专利描述了利用图像的独特性、例如地毯图案来确定位置。iRobot的公开号为20170203446的专利申请示出了物体的平面布置图和相机拍摄图，并且提供了物体在平面布置图上的标示，以及到图片的链接。iRobot的专利号为9,014,848的专利描述了校正与机器人生成的地图相比的目标布局图中的失真。对清洁机器人地图和平面布置图进行优化以供机器人用于确定位置和采取其他行动，而不是供人类使用。期望具有供人类用户交互以控制清洁机器人的优化地图。
技术实现思路
在一个实施方案中，机器人(例如，清洁机器人)通过从机器人相机视图转换并将由位置标记的图像拼接在一起来产生鸟瞰(平面)地图。然后该平面地图可以在用户界面上呈现为显示物体(例如地毯)位置的平面布置图。相机安装在清洁机器人中，在清洁机器人壳体中足够高以提供朝向地面的视角。相机的视野被捕捉为图像，并且该图像的一部分或片段被裁剪或遮盖。将裁剪的片段的相机透视图转换为平面视图(在裁剪之前或在裁剪之后)，并与其他图像组合，形成平面布置图的地图。在一个实施方案中，在相机前使用镜头(例如，鱼眼镜头)。在从机器人透视图转换到平面视图之前(或之后)，应用失真算法来校正由于镜头引起的图像失真。从机器人透视图到平面视图的转换利用相机离开地面的已知出厂高度和相机的已知向下角度以将图像像素位置与平面地面位置相关联。相对于机器人的位置被用作机器人局部位置的偏移。机器人的任何倾斜被检测并用于校正图像像素位置或用于简单地丢弃图像。在一个实施方案中，在智能手机或其他显示设备上向用户显示平面布置图。用户提供平面布置图上的输入以修改机器人的操作特性。例如，用户可以指示机器人不应该去的区域，需要更强烈清洁的区域等。在一个实施方案中，捕捉区域片段，该区域为针对与要生成的平面布置图的最小分辨率相同大小的区域或比要生成的平面布置图的最小分辨率大的区域。例如，几毫米的区域可以对应于智能手机上显示的平面布置图上的单个像素，因此更精细的分辨率将浪费处理能力。类似地，仅具有这种所需分辨率的较便宜的相机可以用于本专利技术的目的。捕捉重叠段以通过匹配重叠部分来进行对准调整。可以在相机的视野中的不同距离处或者从同一区域的不同通道多次捕捉同一片段区域。可以对图像质量进行加权，使用较高质量的图像替换较低质量的图像。加权因子包括，例如，摄像时机器人的速度、振动、角度(倾斜)、与其他片段的重叠部分的一致性、片段与相机的接近度以及照明。在一个实施方案中，确定图像的照度并校正不同片段的照度差异。照度可能由于环境中的灯光差异或者由于相机视野中的灯光与清洁机器人上的灯的强度差异而变化。附图说明图1是根据实施方案的具有LIDAR转台的清洁机器人的图。图2是根据实施方案的清洁机器人和充电站的图。图3是根据实施方案的清洁机器人的底侧的图。图4是根据实施方案的用于清洁机器人的智能手机控制应用显示的图。图5是根据实施方案的用于清洁机器人的智能手表控制应用显示的图。图6是根据实施方案的用于清洁机器人的电子系统的图。图7是可用于实现本专利技术的某些实施方案的代表性计算系统和客户端计算系统的简化框图。图8是根据实施方案的嵌入清洁机器人壳体中的相机的示图。图9是根据实施方案的具有相机的清洁机器人的图，示出了计算出的相机图像中的点的平面位置。图10是根据实施方案的机器人的相机拍摄的图像的图，该图像由于鱼眼镜头而失真。图11是根据实施方案的机器人的相机拍摄的图像的图，该图像被转换以校正由鱼眼镜头引起的失真。图12是根据实施方案的机器人的相机所拍摄的图像的示图，示出了剪裁地面的一部分。图13是根据实施方案的机器人的相机所拍摄的图像的图，该图被转换为平面形式并且示出了图像的捕捉片段。图14是根据实施方案的用户设备显示的图，该用户设备显示示出了拼接在一起的用于形成具有物体的平面图的片段。图15是根据实施方案的用户设备显示的图，该用户设备显示示出了拼接在一起的用于形成平面图的片段，其中用户在该显示上标记有禁区部分。图16是根据实施方案的用于生成平面视角平面布置图的过程的流程图。具体实施方式整体架构图1是根据实施方案的具有LIDAR转台的清洁机器人的图。清洁机器人102具有发射旋转激光束106的LIDAR(光检测和测距)转台104。通过检测物体对激光束的反射，来计算清洁机器人到物体的距离以及清洁机器人的位置。距离计算的一个实施方案在美国专利No.8,996,172，“距离传感器系统和方法”中阐明，其公开内容通过引用并入本文中。或者，可以使用VSLAM(使用图像传感器的可视SLAM)或其他定位方法。通过利用SLAM(同时定位和映射)算法、使用所收集的数据来创建地图。SLAM算法的一个实施方案描述于专利号为8,903,589的美国专利，“用于移动机器人环境的同时定位和映射的方法和装置”，其公开内容通过引用并入本文中。图2是根据实施方案的清洁机器人和充电站的图。示出了具有转台104的清洁机器人102。还示出了盖子204，盖子204可以打开以接近集尘袋和刷子的顶侧。按钮202允许机器人清洁器的基本操作，例如开始清洁操作。显示器205向用户提供信息。清洁机器人102可以与充电站206对接，并通过充电触点208接收电力。图3是根据实施方案的清洁机器人的底面的图。轮子302移动清洁机器人，刷子304帮助将浮尘吸纳到集尘袋中。图4是根据实施方案的用于清洁机器人的智能手机控制应用显示的图。智能手机402具有下载的用于控制清洁机器人的应用。易于使用的界面具有用于启动清洁的开始按钮404。图5是根据实施方案的用于清洁机器人的智能手表控制应用显示的图。显示了示例性显示。显示502提供易于使用的开始按钮。显示504提供控制多个清洁机器人的能力。显示506向用户提供反馈，例如清洁机器人已完成的消息。图6是根据实施方案的用于清洁机器人的电子系统的系统结构图。清洁机器人602包括处理器604，处理器604操作下载到存储器606的程序。处理器使用总线634或其他电连接与其他组件通信。在清洁模式中，轮电机608独立地控制轮子以移动和控制机器人。刷子和真空电机610清洁地面，并且可以以不同的模式操作，例如较高功率密集清洁模式或正常功率模式。LIDAR模块616包括激光器620和光电探测器618。或者，可以使用图像传感器以进行VSLAM操作。转台电机622移动激光器和光电探测器以在清洁机器人周围360度检测物体。转台电机622每秒旋转多次，例如每秒旋转约5次。各种传感器向处理器604提供输入，例如指示与物体接触的撞击传感器624、指示与物体的接近度的近距离传感本文档来自技高网...

【技术保护点】
1.一种用于根据地面穿梭机器人拍摄的图像提供平面布置图的方法，其中，在所述机器人中安装有相机，所述相机在机器人壳体中的位置足够高以提供朝向地面的视角，所述方法包括：用所述相机拍摄所述地面的系列图像；针对每个所述图像，确定所述机器人的位置；用摄像时所述机器人的位置来标记所述系列图像中的每个图像；裁剪每个所述图像，以识别每个所述图像中的至少一个片段；将所述片段从机器人相机透视图转换为平面视图；用所述平面视图中在所述机器人位置处的每个所述片段来偏移填充所述平面布置图，其中所述偏移与所述机器人位置和所述片段在所述地面上的位置之间的差相对应；向用户显示所述平面布置图；以及接受用户在所述平面布置图上的输入以修改所述机器人的操作特性。

【技术特征摘要】
2017.12.15 US 15/844,4371.一种用于根据地面穿梭机器人拍摄的图像提供平面布置图的方法，其中，在所述机器人中安装有相机，所述相机在机器人壳体中的位置足够高以提供朝向地面的视角，所述方法包括：用所述相机拍摄所述地面的系列图像；针对每个所述图像，确定所述机器人的位置；用摄像时所述机器人的位置来标记所述系列图像中的每个图像；裁剪每个所述图像，以识别每个所述图像中的至少一个片段；将所述片段从机器人相机透视图转换为平面视图；用所述平面视图中在所述机器人位置处的每个所述片段来偏移填充所述平面布置图，其中所述偏移与所述机器人位置和所述片段在所述地面上的位置之间的差相对应；向用户显示所述平面布置图；以及接受用户在所述平面布置图上的输入以修改所述机器人的操作特性。2.如权利要求1所述的方法，其中，所述相机前还设置有镜头，所述方法还包括：将失真算法应用于所述系列图像，以校正由于所述镜头引起的图像失真。3.如权利要求1所述的方法，其中，用所述平面视图中在所述机器人位置处的每个所述片段来偏移填充所述平面布置图，还包括：利用所述相机离所述地面的已知出厂高度和所述相机的已知向下角度，将所述平面布置图中的图像像素位置与平面地面位置相关联。4.如权利要求3所述的方法，还包括：检测到所述机器人的倾斜超过第一阈值；以及校正所述图像像素位置或丢弃所述图像。5.如权利要求1所述的方法，还包括：捕捉区域片段，所述区域的大小与所述平面布置图的最小分辨率相比为相同或更大。6.如权利要求1所述的方法，还包括：捕捉重叠片段；以及通过将一个片段的重叠部分与相邻片段的重叠部分相匹配来进行对准调整。7.如权利要求1所述的方法，还包括：多次捕捉同一片段，以提供所述同一片段的多个版本；确定所述同一片段的每个版本的加权质量；用较高质量的版本替换较低质量的版本。8.根据权利要求7所述的方法，其中，使用所述机器人拍摄所述图像时的速度、振动、所述机器人的倾斜、与其他片段的重叠部分的一致性、所述片段与所述相机的接近度以及照明中的至少一个来确定所述加权质量。9.如权利要求1所述的方法，其中，所述机器人上设有用于所述相机视野的照明源，所述方法还包括：存储所述照明源的基线图像亮度值；检测不同的片段相对于所述基线的照度差异；以及根据所述照度差异对所述片段的亮度进行任何必要的校正。10.一种利用地面穿梭机器人拍摄的图像来提供平面布置图的方法，其中，在所述机器人中安装有相机，所述相机在机器人壳体中的位置足够高以提供朝向地面的视角，在所述相机前设有镜头，所述方法包括：用所述相机拍摄所述地面的系列图像；将失真算法应用于所述系列图像，以校正由于所述镜头引起的图像失真；针对每个所述图像，确定所述机器人的位置；用摄像时所述机器人的位置来标记所述系列图像的每个图像；检测到所述机器人的倾斜超过第一阈值时，校正图像像素位置或丢弃所述图像；裁剪每个所述图像，以识别每个所述图像中的至少一个片段；捕捉区域片段，所述区域的大小与所...

【专利技术属性】
技术研发人员：M·A·海隆，R·卢卡斯，C·A·皮策，G·布鲁克斯，K·伊，
申请(专利权)人：NEATO机器人技术公司，
类型：发明
国别省市：美国,US