使用比例图和三维模型的基于机器学习的对象标识制造技术

系统基于环境的走查视频和带注释的平面布置图自动标识环境中的对象。带注释的平面布置图指示预期在环境中的对象的位置和类型。系统接收走查视频并生成环境的3D模型。该系统将机器学习模型应用于走查视频，以标识捕获对象的帧内的区域。在标识包括对象的走查视频的帧内的区域之后，系统修改3D模型的对应区域以包括所标识的对象。针对每个所标识的对象，系统基于经修改的3D模型和带注释的平面布置图的比较来确定所标识的对象存在于环境中的位置处的可能性。处的可能性。处的可能性。

【技术实现步骤摘要】
【国外来华专利技术】使用比例图和三维模型的基于机器学习的对象标识
[0001]相关申请的交叉引用
[0002]本申请要求于2020年5月29日提交的美国临时申请序列号63/032,452的权利，该临时申请以整体内容通过引用并入本文。


[0003]本公开涉及标识环境中的对象，尤其涉及基于环境的注释图和三维模型使用机器学习来标识环境中的对象。

技术介绍

[0004]传统上，为了确定环境中对象的类型和位置，用户捕获环境的走查(walkthrough)视频并手动地标识和标记走查视频中的对象。例如，在施工场地，在建筑项目的不同部分上同时执行各种任务，并且难以跟踪建筑项目的每个方面的进度以确定建筑项目是否按时跟踪到完成。总承包商可能希望通过捕获记录施工场地条件的施工场地的走查视频来监视施工场地的进度。然后，总承包商可以可视地检查走查视频并通过标识图像中存在的对象来标识所安装的对象(例如，灯具、橱柜、窗户、干式墙、油漆、水泥)。总承包商可以周期性地捕获新的走查视频并确定已经安装的附加对象以跟踪建筑项目随时间的进度。然而，手动检查视频以计数和测量对象是乏味且耗时的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：访问建筑物的部分的平面布置图，所述平面布置图标识所述建筑物的所述部分内的一个或多个预期对象的位置，其中所述一个或多个预期对象与一个或多个对象类型相关联；针对每个对象类型，基于被访问的所述平面布置图来确定所述建筑物的所述部分中的所述对象类型的一个或多个预期对象；从相机系统接收视频，所述视频包括当所述相机系统被移动通过所述建筑物的所述部分时被捕获的多个图像帧；标识所述多个图像帧中的一个或多个对象，所述一个或多个对象中的每个对象与对象类型以及所述建筑物的所述部分内的位置相关联，其中所述对象被布置在所述建筑物的所述部分的所述位置；从所述多个图像帧生成所述建筑物的所述部分的三维(3D)模型；针对所标识的所述一个或多个对象中的每个所标识的对象，修改所述3D模型的区域以包括所述所标识的对象，所述区域对应于所述建筑物的所述部分内的所述位置，其中所述所标识的对象被布置在所述建筑物的所述部分的所述位置；针对所标识的所述一个或多个对象中的每个所标识的对象，基于经修改的所述3D模型和被访问的所述平面布置图，确定所述所标识的对象存在于所述建筑物的所述部分内的所述位置处的概率；针对每个对象类型，确定所述一个或多个预期对象和与大于预定阈值的概率相关联的所标识的一个或多个对象之间的差异；以及针对每个对象类型，修改向用户显示的界面以呈现所确定的所述差异。2.根据权利要求1所述的方法，其中所述3D模型基于由激光雷达系统捕获的3D信息而被生成。3.根据权利要求2所述的方法，其中所述平面布置图利用与至少一个所述对象类型相关联的所述一个或多个预期对象的尺寸而被注释。4.根据权利要求1所述的方法，其中针对所标识的所述一个或多个对象中的每个所标识的对象，还基于所述所标识的对象存在于所述位置处的一个或多个先前确定的概率来确定所述所标识的对象存在于所述位置处的概率。5.根据权利要求1所述的方法，其中标识所述多个图像帧中的所述一个或多个对象还包括：针对每个图像帧：将机器学习模型应用于所述图像帧，所述机器学习模型被配置为确定与在所述图像帧中被捕获的所述对象相关联的所述位置和所述对象类型，并且基于所确定的所述位置和所述对象类型来对所述图像帧中的像素进行分类。6.根据权利要求5所述的方法，其中所述机器学习模型基于包括训练环境的训练图像帧的训练数据集而被训练，所述训练图像帧利用在所述训练图像帧中被捕获的一个或多个对象的位置以及与所述一个或多个对象相关联的对象类型而被注释。7.根据权利要求5所述的方法，其中所述机器学习模型基于对象检测和语义分割来确定与所述对象相关联的所述位置和对象类型。8.根据权利要求5所述的方法，其中针对所标识的所述一个或多个对象中的每个所标
识的对象，修改所述3D模型的区域还包括：将所述图像帧中的经分类的所述像素投影到所述3D模型中的对应点。9.根据权利要求1所述的方法，其中针对所标识的所述一个或多个对象中的每个所标识的对象确定所述所标识的对象存在于所述位置处的概率还包括：将机器学习模型应用于经修改的所述3D模型和被访问的所述平面布置图，所述机器学习模型被配置为：标识与所述所标识的对象相同的对象类型和相同的位置相关联的预期对象；确定包括所述预期对象的被访问的所述平面布置图的区域与包括所述所标识的对象的所述3D模型的区域之间的重叠；以及基于所述重叠来确定所述所标识的对象存在的概率。10.根据权利要求9所述的方法，其中所述机器学习模型基于训练数据集而被训练，所述训练数据集包括训练环境的带注释的3D模型和所述训练环境的带注释的平面布置图。11.根据权利要求9所述的方法，其中所述机器学习模型基于训练数据集而被训练，所述训练数据集包括训练环境的未带...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：开放空间实验室公司，
类型：发明
国别省市：