本文公开了一种用于开发用于根据LiDAR扫描估计语义图的鲁棒语义映射模型的系统和方法。特别地，出于提供可以用于训练鲁棒语义映射模型的训练数据的大得多的集合的目的，该系统和方法使得能够基于二维（2D）平面图来生成现实模拟LiDAR扫描。这些模拟LiDAR扫描以及真实LiDAR扫描是使用具有语义标签的富集的自动和手动过程来注释的。基于经注释的LiDAR扫描，可以训练一个或多个语义映射模型以估计针对新LiDAR扫描的语义图。可以在机器人真空吸尘器以及必须解释环境的LiDAR扫描以执行任务的类似设备中部署经训练的语义映射模型。类似设备中部署经训练的语义映射模型。类似设备中部署经训练的语义映射模型。
【技术实现步骤摘要】
用于根据2D LiDAR扫描估计语义图的基于学习的系统和方法
[0001]本文档中公开的系统和方法涉及处理传感器数据，并且更具体地，涉及根据2D LiDAR扫描估计语义图。
技术介绍
[0002]除非本文中以其他方式指示，该章节中描述的材料未通过包括在该章节中而被接纳为现有技术。
[0003]光检测和测距（LiDAR）传感器普遍被机器人真空吸尘器使用，以获得要由机器人真空吸尘器打扫的环境的LiDAR扫描。然而，这些LiDAR扫描往往是有噪声且不完整的。相应地，用于解释这些LiDAR扫描的过程往往非常易于出错，这对机器人真空吸尘器的操作造成不利影响。此外，用于解释这些LiDAR扫描的基于学习的模型在开发上有挑战性，原因在于收集具有将使基于学习的模型能够提供新LiDAR扫描的鲁棒且有用的解释的详细注释的训练数据的足够大集合的不可用和费用。
技术实现思路
[0004]公开了一种用于训练用于估计针对LiDAR扫描的语义标签的模型的方法。所述方法包括：利用处理器接收平面图。所述方法进一步包括：利用所述处理器通过使用基于物理的模拟模型对所述平面图进行转换来生成模拟LiDAR扫描。所述方法进一步包括：利用所述处理器利用语义标签对所述模拟LiDAR扫描进行注释。所述方法进一步包括：利用所述处理器使用所述模拟LiDAR扫描来训练所述模型。
[0005]公开了一种用于操作设备的方法。所述方法包括：利用所述设备的LiDAR传感器捕获环境的LiDAR扫描。所述方法进一步包括：利用所述设备的处理器使用经训练的模型来生成针对所述LiDAR扫描的语义标签，所述模型已经部分地使用模拟LiDAR扫描而训练。生成语义标签包括：识别所述LiDAR扫描的与所述环境中的地板相对应的部分。生成语义标签进一步包括：识别所述LiDAR扫描的与所述环境中的墙壁相对应的部分。所述方法进一步包括：依照针对所述LiDAR扫描的语义标签来操作所述设备的至少一个促动器以执行任务。
附图说明
[0006]在结合附图而采取的以下描述中解释方法和系统的以上方面和其他特征。
[0007]图1A示出了住宅家的平面图的示例性LiDAR扫描。
[0008]图1B示出了基于图1A的示例性LiDAR扫描而生成的示例性语义图。
[0009]图2示出了可以用于开发和训练语义映射模型的计算设备的示例性实施例。
[0010]图3示出了用于开发基于输入LiDAR扫描生成经丰富注释的语义图的语义映射模型的方法。
[0011]图4示出了示例性2D平面图。
[0012]图5示出了用于基于平面图生成模拟LiDAR扫描的示例性方法。
[0013]图6示出了用于将虚拟对象放置到虚拟环境中的示例性方法。
[0014]图7示出了用于利用语义标签对模拟LiDAR扫描和真实LiDAR扫描进行注释的示例性方法。
[0015]图8示出了用于训练语义映射模型的示例性域适配途径。
[0016]图9示出了以并入有经训练的语义映射模型的机器人真空吸尘器的形式存在的示例性终端用户设备。
[0017]图10示出了用于使用经训练的语义映射模型操作机器人真空吸尘器的方法。
具体实施方式
[0018]出于促进本公开的原理的理解的目的，现在将参考在附图中图示且在以下撰写的说明书中描述的实施例。应当理解，由此，不意在限于本公开的范围。应当进一步理解，本公开包括对所说明的实施例的任何更改和修改，且包括如本公开所属领域技术人员通常将想到的本公开的原理的进一步应用。
[0019]概览本文公开了一种用于开发用于根据LiDAR扫描估计语义图的鲁棒语义映射模型的系统和方法。特别地，出于提供可以用于训练鲁棒语义映射模型的训练数据的大得多的集合的目的，该系统和方法使得能够基于二维（2D）平面图来生成现实模拟LiDAR扫描。这些模拟LiDAR扫描以及真实LiDAR扫描是使用具有语义标签的富集的自动和手动过程来注释的。基于经注释的LiDAR扫描，可以训练一个或多个语义映射模型以估计针对新LiDAR扫描的语义图。可以在机器人真空吸尘器以及必须解释环境的LiDAR扫描以执行任务的类似设备中部署经训练的语义映射模型。
[0020]图1A示出了住宅家的平面图的示例性LiDAR扫描10。然而，应当领会，本文描述的系统和方法可以适用于除住宅家的平面图外的环境的扫描。以其原始形式，示例性LiDAR扫描10采取点云的形式，其中每个个体点指示平面图中的下述位置：在该位置处，从LiDAR传感器（例如，激光器）发射的光在扫描过程期间反射回到LiDAR传感器。相应地，每个个体点（以实心黑色示出）指示被LiDAR传感器扫描的平面图中物理障碍的估计位置。一般地，在扫描过程期间，沿轨迹遍及平面图移动LiDAR传感器，同时以已知的方式连续测量从LiDAR传感器发射的光的飞行时间和/或返回时间以生成点云。
[0021]该点云被解释成进一步指示平面图中的在其处不存在反射障碍的位置（以实心白色示出）和平面图中的未在扫描过程期间探索的位置（利用对角阴影线示出）。被解释成不包括反射障碍的平面图中的位置是测量光行经以到达所检测到的障碍的那些位置（例如，在所检测到的障碍与LiDAR传感器轨迹中间）。相反，被解释为未探索的平面图中的位置是测量光未在扫描过程期间行经的那些位置。
[0022]应当领会，取决于所利用的扫描过程，LiDAR扫描的点云可以指示2D位置或三维（3D）位置。在任何情况下，在一些实施例中，后续将点云转换成扫描过程后的光栅图，特别地，2D光栅图。2D光栅图包括像素的矩阵或网格，其中每个像素指示平面图中的对应2D位置是（1）包括物理障碍、（2）不包括物理障碍、还是（3）未探索的。相应地，描述中对LiDAR扫描的引用应当被理解成可互换地指代点云或等效光栅图。同样地，描述中对LiDAR扫描的点或LiDAR扫描的像素的引用应当被实质上可互换地理解。
[0023]图1B示出了使用根据本文描述的系统和方法而开发的模型、基于示例性LiDAR扫描10生成的示例性语义图50。如本文所使用，“语义图”指代与真实或虚拟环境中的特定位置相关联的语义标签的集合。因此，很像LiDAR扫描10，语义图50可以采取点云或等效光栅图的形式，其中语义标签与个体点或像素相关联。在语义图50中，已经利用语义标签对LiDAR扫描10的数据进行注释。语义标签可以包括被LiDAR传感器扫描的环境的不同方面的许多种分类、估计和预测。
[0024]在所说明的实施例中，语义标签包括：针对语义图50的每个所探索的点和/或像素的标签，其在平面图中的被扫描的地板（以实心白色示出）、平面图中的墙壁（以实心黑色示出）和在地板上检测到的其他障碍（例如杂物或家具，利用网格交叉阴影线示出）之间进行区分。在至少一些实施例中，语义标签包括以类级别（例如，“沙发”、“桌子”、“TV架”和“床”）以及以实例级别（例如，“沙发1”、“沙发2”、“桌子1”和“桌子2”）标识在地板上检测到的障碍的标签。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于训练用于估计针对LiDAR扫描的语义标签的模型的方法，所述方法包括：利用处理器接收平面图；利用所述处理器通过使用基于物理的模拟模型对所述平面图进行转换来生成模拟LiDAR扫描；利用所述处理器利用语义标签对所述模拟LiDAR扫描进行注释；以及利用所述处理器使用所述模拟LiDAR扫描来训练所述模型。2.根据权利要求1所述的方法，生成模拟LiDAR扫描进一步包括：基于所述平面图来定义虚拟环境；确定经过所述虚拟环境的模拟移动轨迹；模拟由沿所述模拟移动轨迹而移动的LiDAR传感器对所述虚拟环境的扫描；以及基于所述虚拟环境的模拟扫描来生成所述模拟LiDAR扫描。3.根据权利要求2所述的方法，模拟所述虚拟环境的扫描进一步包括：使用基于光线追踪的技术来模拟所述虚拟环境的扫描。4.根据权利要求2所述的方法，生成模拟LiDAR扫描进一步包括：将传感器噪声应用于所述模拟扫描。5.根据权利要求2所述的方法，生成模拟LiDAR扫描进一步包括：在模拟所述虚拟环境的扫描之前将虚拟对象添加到所述虚拟环境。6.根据权利要求5所述的方法，将虚拟对象添加到所述虚拟环境进一步包括：选择所述虚拟对象在所述虚拟环境内的位置，其中模拟所述虚拟环境的扫描考虑位于所述虚拟环境内的所选择的位置处的虚拟对象。7.根据权利要求6所述的方法，将虚拟对象添加到所述虚拟环境进一步包括：从多个模板中选择针对所述虚拟对象的模板，所述多个模板中的每个模板定义相应虚拟对象的类型、形状和大小；以及依照由所选择的模板定义的所述虚拟对象的类型来选择所述位置。8.根据权利要求6所述的方法，选择所述虚拟对象的位置进一步包括：检验所述虚拟对象与所述虚拟环境内的另一结构的碰撞。9.根据权利要求6所述的方法，其中：所述虚拟对象包括镜子和玻璃中的至少一个；并且模拟所述虚拟环境的扫描考虑将由所述镜子和所述玻璃中的所述至少一个导致的测量误差。10.根据权利要求2所述的方法，对所述模拟LiDAR扫描进行注释进一步包括：基于所定义的虚拟环境来自动生成所述语义标签。11.根据权利要求1所述的方法，其中所述语义标签包括：（i）标识环境中的地板的标签；（ii）标识环境中的墙壁的标签；以及（iii）标识在所述地板上检测到的障碍的至少一个标签。12.根据权利要求1所述的方法，其中所述语义标签包括下述各项中的至少一个：（i）标识环境的部分的房间...
【专利技术属性】
技术研发人员：黄新宇，S，
申请(专利权)人：罗伯特，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。