移动机器人的防跌落方法、移动机器人及电子设备技术

本申请提供一种移动机器人的防跌落方法、移动机器人及电子设备。该方法通过对移动机器人在工作过程中采集的图像所对应的深度图和深度图模板中相匹配的像素点位置上的深度值做差分运算，以实现基于移动机器人在工作过程中采集的图像中每个像素点与基准平面上的每个像素点的深度值的差异来体现工作地面与基准地面的高度差，以基于该高度差预测移动机器人的工作路径上是否存在跌落风险区域，这实现了能够有效预测移动机器人的跌落风险，以提高防跌落效果。进一步地，该方法中，在发现工作路径上存在跌落风险区域时，则修改移动机器人的工作路径，以控制移动机器人避开跌落风险区域进行工作，提高移动机器人的防跌落效果。提高移动机器人的防跌落效果。提高移动机器人的防跌落效果。

【技术实现步骤摘要】
移动机器人的防跌落方法、移动机器人及电子设备


[0001]本申请涉及图像处理领域，尤其涉及一种移动机器人的防跌落方法、移动机器人及电子设备。

技术介绍

[0002]随着社会的发展以及科技的进步，移动机器人被广泛应用于各行各业，比如，家庭中使用移动机器人打扫卫生、餐厅使用移动机器人送餐等。移动机器人在工作过程中会遇到比如门槛等高度急剧变化的区域，为了防止机器人跌落造成安全隐患，移动机器人一般都有防跌落功能。
[0003]现有技术中常用的防跌落方法是在移动机器人的底部安装红外发射接收装置，通过判断红外信号数据波形变化来判断移动机器人的当前状态，达到防跌落效果。然而，该红外发射接收装置只能接收移动机器人底部的地形状态，无法预测移动机器人后续行进路线上的跌落风险，防跌落效果不甚理想。

技术实现思路

[0004]有鉴于此，本申请提供一种移动机器人的防跌落方法、移动机器人及电子设备，以能够有效预测移动机器人的跌落风险，以提高防跌落效果。
[0005]本申请实施例提供一种移动机器人的防跌落方法，该方法包括：
[0006]获得移动机器人在工作过程中采集的图像所对应的深度图；
[0007]对深度图和已获得的深度模板图中相匹配的像素点位置上的深度值进行差分运算，得到差分图；其中，深度模板图是移动机器人在基准平面上工作时采集的图像所对应的深度图；
[0008]依据差分图中各个像素点位置上的深度值，预测移动机器人的工作路径上是否存在跌落风险区域；跌落风险区域是指移动机器人存在跌落风险的区域；
[0009]若工作路径上存在跌落风险区域，则修改移动机器人的工作路径，以控制移动机器人避开跌落风险区域进行工作。
[0010]本申请实施例还提供一种移动机器人，包括：单目图像采集组件和处理器；
[0011]单目图像采集组件，用于在移动机器人工作过程中采集图像；
[0012]处理器，用于获得移动机器人在工作过程中采集的图像所对应的深度图；
[0013]对深度图和已获得的深度模板图中相匹配的像素点位置上的深度值进行差分运算，得到差分图；其中，深度模板图是移动机器人在基准平面上工作时采集的图像所对应的深度图；
[0014]依据差分图中各个像素点位置上的深度值，预测移动机器人的工作路径上是否存在跌落风险区域；跌落风险区域是指移动机器人存在跌落风险的区域；
[0015]若工作路径上存在跌落风险区域，则修改移动机器人的工作路径，以控制移动机器人避开跌落风险区域进行工作。
[0016]本申请实施例还提供一种电子设备，包括：处理器和用于存储计算机程序指令的存储器，计算机程序指令在被处理器运行时使得处理器执行如上方法的步骤。
[0017]本申请实施例还提供一种机器可读存储介质，该存储介质存储有计算机程序指令，当该计算机程序指令被执行时，能够实现如上方法的步骤。
[0018]由以上技术方案可以看出，本申请实施例中通过对移动机器人在工作过程(简称工作地面)中采集的图像所对应的深度图和深度图模板(移动机器人在基准平面上工作时采集的图像所对应的深度图)中相匹配的像素点位置上的深度值做差分运算，以实现基于移动机器人在工作过程中采集的图像中每个像素点与基准平面上每个像素点的深度值的差异来体现工作地面与基准地面的高度差，以基于该高度差预测移动机器人的工作路径上是否存在跌落风险区域，这实现了能够有效预测移动机器人的跌落风险，以提高防跌落效果；
[0019]进一步地，本实施例中，在发现工作路径上存在跌落风险区域时，则修改移动机器人的工作路径，以控制移动机器人避开跌落风险区域进行工作，提高移动机器人的防跌落效果。
附图说明
[0020]图1为本申请一示例性实施例提供的移动机器人的防跌落方法的流程示意图。
[0021]图2为本申请一示例性实施例提供的预测移动机器人的工作路径上是否存在跌落风险区域的流程示意图。
[0022]图3为本申请一示例性实施例提供的定位跌落风险区域的流程示意图。
[0023]图4为本申请一示例性实施例提供的移动机器人的结构示意图。
[0024]图5为本申请一示例性实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0025]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0026]在本申请使用的术语是仅仅出于描述指定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0027]为了使本领域技术人员更好地理解本申请一示例性实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0028]参见图1，图1为本申请一示例性实施例提供的移动机器人的防跌落方法的流程示意图。作为一个实施例，该方法可应用于移动机器人。
[0029]如图1所示，该流程可包括以下步骤：
[0030]S101，获得移动机器人在工作过程中采集的图像所对应的深度图。
[0031]本步骤中，移动机器人在工作过程中采集图像的具体方式有很多，比如，作为一个
实施例，移动机器人利用设置在其指定位置的单目图像采集组件在工作过程中采集图像。
[0032]示例性地，单目图像采集组件可以为单目摄像头，该单目摄像头可以设置于移动机器人的壳体的指定位置，单目摄像头在移动机器人工作过程中采集图像。
[0033]深度图(Depth Images)，也被称为距离影像(Range Images)，是指将图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像，它直接反映了该场景中可见表面的几何形状。
[0034]本步骤中，获取深度图的具体实现方式有很多，比如，作为一个实施例，将移动机器人在工作过程中采集的图像输入至已训练的单目深度预测神经网络，该单目深度预测神经网络预测并输出结果，将该目深度预测神经网络的输出结果确定为该图像所对应的深度图。
[0035]具体地，单目深度预测神经网络是以指定型号的单目图像采集组件所采集的视频流作为训练样本进行训练的，该指定型号的单目图像采集组件与移动机器人在工作过程中采集图像的单目图像采集组件属于同一型号。下面举例说明单目深度预测神经网络是如何训练的。
[0036]首先，选择monodepth2网络作为待训练的神经网络模型。将上述指定型号的单目图像采集组件采集的视频流作为训练样本，将该训练样本输入到该神经网络模型中，该神经网络模型会在视频流中选取第i帧图像和第i+1帧图像，i为正整数；并分别对第i帧图像和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动机器人的防跌落方法，其特征在于，包括：获得移动机器人在工作过程中采集的图像所对应的深度图；对所述深度图和已获得的深度模板图中相匹配的像素点位置上的深度值进行差分运算，得到差分图；其中，所述深度模板图是所述移动机器人在基准平面上工作时采集的图像所对应的深度图；依据所述差分图中各个像素点位置上的深度值，预测所述移动机器人的工作路径上是否存在跌落风险区域；所述跌落风险区域是指所述移动机器人存在跌落风险的区域；若所述工作路径上存在所述跌落风险区域，则修改所述移动机器人的工作路径，以控制所述移动机器人避开所述跌落风险区域进行工作。2.根据权利要求1所述的方法，其特征在于，所述移动机器人的指定位置设置有单目图像采集组件；其中，所述移动机器人在工作过程中采集的图像是通过所述单目图像采集组件采集的。3.根据权利要求1所述的方法，其特征在于，所述获得移动机器人在工作过程中采集的图像所对应的深度图包括：将所述移动机器人在工作过程中采集的图像输入至已训练的单目深度预测神经网络；所述单目深度预测神经网络用于输出输入图像所对应的深度图；所述单目深度预测神经网络是以指定型号的单目图像采集组件所采集的视频流作为训练样本进行训练的，所述指定型号的单目图像采集组件与所述移动机器人在工作过程中采集图像的单目图像采集组件属于同一型号；依据所述单目深度预测神经网络的输出结果，确定移动机器人在工作过程中采集的图像所对应的深度图。4.根据权利要求1所述的方法，其特征在于，所述对所述深度图和已获得的深度模板图中相匹配的像素点位置上的深度值进行差分运算，得到差分图包括：从所述深度模板图中提取模板ROI区域；从所述深度图中提取感兴趣ROI区域，该被提取出的ROI区域与所述模板ROI区域的尺寸相匹配；对所述ROI区域和所述模板ROI区域中相匹配的像素点位置上的深度值进行差分运算，得到所述差分图。5.根据权利要求1所述的方法，其特征在于，所述依据所述差分图中各个像素点位置上的深度值，预测所述移动机器人的工作路径上是否存在跌落风险区域包括：对所述差分图中各个像素点位置上的深度值进行二值化处理，得到二值化图像；在所述二值化图像中确定至少一个连通域，判断所述二值化图像中是否存在满足设定条件的目标连通域；所述目标连通域中各个像素点位置上的深度值大于或者等于预设深度阈值，并且所述目标连通域的面积大于预设面积阈值；所述预设深度阈值、所述预设面积阈值分别是基于引起所述移动机器人跌落的临界深度值、临界区域面积设置的；若所述二值化图像中存在所述目标连通域，则确定所述移动机器人的工作路径上存在跌落风险区域。6.根据权利要求5所述的方法，其特征在于，所述跌落风险区域通过以下步骤定位：
获取所述目标连通域中每个像素点位置对应的定位角度值和定位距离值；其中，任一像素点位置对应的定位角度值是指该像素点位置对应的所述工作路径上的物理位置和所述移动机器人的几何中心位置之间的相对角度，任一像素点位置对应的定位距离值是指该像素点位置对应的所述工作路径上的物理位置和所述移动机器人的几何中心位置之间的相对距离；依据所述目标连通域中每个像素点位置对应的定位角度值和定位距离值，确定所述跌落风险区域的方位。7.根据权利要求5所述的方法，其特征在于，所述预设深度阈值和所述预设面积阈值分别与所述移动机器人的轮子的尺寸呈正相关关系。8...

【专利技术属性】
技术研发人员：王永力，
申请(专利权)人：杭州萤石软件有限公司，
类型：发明
国别省市：