使用从运动恢复结构算法的体积确定方法和系统技术方案

本发明专利技术提供了一种使用从运动恢复结构算法的体积确定方法和系统。用于建筑场所的对象的体积确定方法包括：在将相机反复地取向到对象上的同时沿着围绕对象的路径移动移动相机，在该过程中，利用相机捕获对象的一系列图像，该一系列图像包括从路径上的不同点以相机的不同取向捕获的多个图像，该一系列图像由由此收集的图像数据组来表示，使用该一系列图像利用定义的算法来执行从运动评估恢复结构并且从其生成空间表示，包括对象(1)的表面，利用关于已知的关于标度的绝对参考的给定信息的帮助来缩放该空间表示，定义针对对象的地表面并且将其应用于所述空间表示，以及基于缩放后的空间表示和所定义的地表面来计算并且输出对象的绝对体积。

【技术实现步骤摘要】
使用从运动恢复结构算法的体积确定方法和系统
本专利技术涉及一种在建筑场地确定对象的体积的方法和系统。
技术介绍
在建筑场地，常常需要确定对象(例如，料堆或诸如壶穴的中空空间、间隙或矿)的体积。 传统的用于确定这样的体积的方法是利用诸如激光扫描器、全站仪、立体相机或一组固定安装的相机的测量装置扫描对象。由于从一个站点，仅能够测量料堆的一部分，而其它表面点被挡住了，因此，需要在相对于例如料堆的至少三个不同位置设置测量装置，从而能够以组合的方式测量料堆的整个表面。从每个站点捕获料堆，即，测量料堆的表面点相对于测量装置的空间位置。接下来，对从三个或更多设置位置获得的点云进行组合和网格化。然后，计算网格化表面与地表面之间的体积。这样的方法主要的缺点在于下述事实:诸如激光扫描器、全站仪、立体相机或多个相机是昂贵的硬件并且需要由技术人员来操作和定位。另外，将这样的测量装置设置在三个不同位置并且至少彼此相对地确定这些位置是耗时的。然而，在一些情况下，这样的时间和金钱上的付出由于不要求由如全站仪的大地测量装置执行的位置测量的高准确性以及所获得的体积确定的高准确性而相对粗糙的体积值将是足够的而在某种程度是浪费的。 为了确定大的对象的体积或者为了覆盖大面积中的多个对象，进一步了解的是，使用配备有GNSS位置传感器和用于确定地面对象的尺寸数据的装置的无人驾驶飞行器(UAV) ο
技术实现思路
因此，本专利技术的目的在于提供一种用于确定建筑场所的对象的体积的简化的方法和系统。 本专利技术的另一目的在于提供一种用于确定建筑场所的对象的体积的耗时较少的方法。 本专利技术的另一目的在于提供一种用于确定建筑场所的对象的体积的成本有效的系统。 通过根据权利要求1的确定建筑场所的对象的体积的方法、根据权利要求5的建筑场所的对象的体积确定系统、根据权利要求14的确定建筑场所的对象的体积的计算机程序产品和/或本专利技术的从属权利要求来实现这些目的中的至少一个。 根据本专利技术，一种确定建筑场所的对象或中空空间的体积的方法包括下述步骤: (a)在将相机反复地，特别是连续地取向到对象上的同时沿着围绕对象的路径移动移动相机， (b)在该过程中，利用相机捕获对象的一系列图像，该一系列图像包括从路径上的不同点以相机的不同取向捕获的多个图像，该一系列图像由由此收集的图像数据组来表示， (c)使用该一系列图像利用定义的算法来从运动评估恢复结构并且从其生成对象的表面的空间表示， (d)利用关于已知的关于标度的绝对参考的给定信息的帮助并且特别地还利用关于绝对竖直方向的给定信息的帮助来调整并且特别地竖直地取向该空间表示， (e)定义针对该对象的地表面并且将其应用于该空间表示，以及 (f)基于调整后的并且竖直取向的空间表示和所定义的地表面来计算并且输出对象的绝对体积。 在本专利技术中，术语“绝对”(参考、竖直方向、体积、……)意味着能够以一个且同样已知的尺度为单位，特别是以一个标准长度单位(米、英寸、……)为单位来对量的值进行量化。 移动相机能够捕获一系列图像，该系列图像能够被存储为图像数据组，例如，静态图像的组、视频序列或者其组合。移动相机是用于建筑场所的对象的体积确定的系统的一部分，该系统进一步包括控制评估单元。图像数据组能够存储在移动相机上或者存储在系统的存储单元上。系统可以包括显示器，其特别地具有触敏接口。例如，该系统能够是智能电话或者GNSS测量系统或全站仪的控制器，其存储有具有代码的程序以控制和执行体积确定功能，该体积确定功能包括上述方法。控制评估单元能够位于智能电话中、控制器中和/或移动相机中和/或系统的另外部分中，从而利用智能电话、控制器和/或在移动相机中和/或在系统的另一部分中执行步骤(C)至(f)中的一些或全部或者步骤(C)至(f)的一部分。该系统可以包括计算服务器和数据发送单元，从而能够在场外执行步骤(C)至(f)中的一些或全部或者步骤(C)至(f)的一部分，这能够对于系统的移动部分的功耗或对于处理功率以及因此对于处理时间来说是有利的。作为示例，利用智能电话捕获的图像数据组能够被传输到云服务器，其中，根据本专利技术来处理图像数据，从而最终计算并输出体积。输出的体积能够被传输回智能电话并且显示给用户。 步骤(c)至(f)不需要在建筑场所执行并且能够在步骤(a)和(b)之后的任何时间来执行。能够按照任何适合的顺序来执行该方法的步骤。特别地，步骤⑷和(e)的顺序是能够交换的，并且能够同时执行这两个步骤。如果在一个仍在执行的步骤中生成了足够的数据，从而下述步骤能够已经开始，可以同时执行这两个步骤。例如，能够根据步骤(C)生成点云的一部分，其由于该部分点云包括了足够的地表面相关点而足以定义地表面，和/或由于给定的关于已知的绝对参考的信息指向该部分点云而足以对点云进行调整。又如，由于一系列图像的图像的数目能够足以生成对象的一部分的空间表示(即，生成整个对象的第一粗略空间表示)，因此，根据步骤(C)的生成空间表示的步骤能够在步骤(a)和(b)仍然在进行的同时开始。在之前步骤中生成的另外的数据能够用于细化后续步骤的结果。 在本专利技术的实施方式中，相机是手持单元(特别地，包括全站仪和/或GNSS组件的测量系统(surveying system))的移动场控制器的内置组件。手持单元可以进一步包括传感器装置，用于根据相机的运动利用绝对参考来确定位置和/或位置的变化和/或加速度，特别地，相对于相机固定并且还形成手持单元的内置组件惯性测量单元和/或相对于相机固定并且也形成手持单元的内置组件GNSS传感器。 沿着围绕对象的路径利用相机捕获对象的一系列图像的步骤(步骤b)能够由用户通过围绕对象行走同时永久地保持相机或者将相机保持在路径的任意选择的不同点处，从而对象的面对相机的至少主要，特别地整个，可见侧处于相机的视野中。从而不需要保持相机的某一取向。相机能够在以每秒至少一个图片的速率在围绕对象移动的同时反复地捕获图像。特别地，以至少15 Hz的视频帧速率生成视频流。 根据图像数据组，在步骤(C)中，计算对象的表面的空间表示，例如，3D模型，特别地，点云。这是通过所定义的从运动恢复结构(SfM)或及时定位与地图构建(SLAM)算法来进行，这些算法是所存储的具有代码的程序的一部分。算法能够基于具有观察源的透视或仿射相机投射模型，其包括图像对、图像元组和/或视频序列以及诸如稀疏特征对应性、密集的光流场、线或曲线的表征类型，或者没有从图像提取任何表征的直接SfM技术。 作为示例，描述下述SfM算法，其包括对于图像数据组中的图像中的至少一些寻找一定数目的图像对应性的步骤。这是使用诸如SIFT、SURF、BRISK、BRIEF等等的特征检测匹配算法来进行的。替选地，在视频序列的情况下，能够对于每个视频帧使用追踪算法来寻找对应性。能够使用例如Kanade-Lucas-Tomasi(KLT)特征追踪器或另外的追踪算法来进打追踪。 使用一对适合的图像，在局部坐标帧中确定相对相机姿态(即，位置和取向)。算法使用鲁棒搜索以寻找所选择的对的图像的相机的3D平移和旋转(例如，第二图像相对于第一图像的相对位置和取向)。利用这些位置，使用前方交会来计本文档来自技高网...

【技术保护点】
一种用于建筑场所的对象(1)，特别地料堆的体积确定方法，所述体积确定方法包括：在将移动相机(8)反复地，特别是连续地取向到对象(1)上的同时沿着围绕对象(1)的路径(10)移动该相机(8)，在该过程中，利用相机(8)捕获对象(1)的一系列图像(13)，该一系列图像包括从路径(10)上的不同点(12)以相机(8)的不同取向捕获的多个图像(13)，该一系列图像由由此收集的图像数据组来表示，使用该一系列图像(13)利用定义的算法来执行从运动评估恢复结构并且从其生成空间表示(20，46)，特别地，生成点云(20)，所述点云(20)包括对象(1)的表面，利用关于已知的关于标度的绝对参考的给定信息的帮助来调整该空间表示，定义针对对象(1)的地表面(17)并且将其应用于所述空间表示(20，46)，以及基于调整后的空间表示(20，46)和所定义的地表面(17)来计算并且输出(33b)对象(1)的绝对体积。

【技术特征摘要】
2013.07.22 EP 13177503.31.一种用于建筑场所的对象(I)，特别地料堆的体积确定方法，所述体积确定方法包括: 在将移动相机(8)反复地，特别是连续地取向到对象(I)上的同时沿着围绕对象(I)的路径(10)移动该相机⑶， 在该过程中，利用相机(8)捕获对象(I)的一系列图像(13)，该一系列图像包括从路径(10)上的不同点(12)以相机⑶的不同取向捕获的多个图像(13)，该一系列图像由由此收集的图像数据组来表示， 使用该一系列图像(13)利用定义的算法来执行从运动评估恢复结构并且从其生成空间表示(20,46),特别地,生成点云(20),所述点云(20)包括对象(I)的表面， 利用关于已知的关于标度的绝对参考的给定信息的帮助来调整该空间表示， 定义针对对象(I)的地表面(17)并且将其应用于所述空间表示(20，46)，以及基于调整后的空间表示(20，46)和所定义的地表面(17)来计算并且输出(33b)对象(I)的绝对体积。2.根据权利要求1所述的体积确定方法，其特征在于 以下述方式捕获一系列图像(13)，即相机⑶以每秒至少一张图片的速率自动地反复捕获图像(13)，特别地以至少15Hz的帧率捕获视频流。3.根据权利要求1或2所述的体积确定方法，其特征在于 在移动相机(8)并捕获所述一系列图像(13)之前，布置参考体(11)，特别地细长的参考体，该参考体由于其细长形状而限定长轴，并且包括至少两个定义的可视觉地检测的标记(lib), 其中，特别地利用所述标记(Ilb)在所述参考体(11)上限定至少两个点，并且其中，已知所述至少两个点之间的绝对距离，特别地还已知所述至少两个点相对于所述参考体(11)的长轴的空间关系， 特别地，所述参考体的长轴竖直地对齐在其体积待确定的对象(I)上或其附近， 所述一系列图像(13)包括多个图像中的图像(13)的子组，在该图像(13)的子组中还捕获被放置在对象(I)上或其附近的参考体(U)， 也基于从运动评估恢复结构对于所述至少两个点确定关于空间表示(20，46)的至少两个空间位置，特别地，使用图像(13)的子组来确定关于空间表示(20，46)的至少两个空间位置，并且 基于所确定的至少两个空间位置之间的测量距离以及所述至少两个点之间的已知的绝对距离对所述空间表示(20，46)进行调整，并且 特别地，基于所确定的关于所述空间表示的至少两个空间位置和已知的所述至少两个点相对于所述长轴的空间关系以及参考体(11)被布置为其长轴竖直地对齐的假设来对所述空间表示(20，46)进行竖直取向。4.根据权利要求1至3中的任一项所述的体积确定方法，其特征在于 根据相机(8)沿着其围绕对象(I)的路径的运动以绝对参考确定位置和/或位置变化和/或加速度，特别地，该位置和/或位置变化和/或加速度的确定是使用下述装置进行的: 惯性测量单元，所述惯性测量单元被相对于相机(8)固定， GNSS传感器，所述GNSS传感器被相对于相机(8)固定，和/或测量相机(8)的位置的视距仪、全站仪、激光追踪器或追踪3d位置确定相机系统，特别地，立体相机系统或图案投射器相机系统，并且 与利用相机⑶捕获所述一系列图像(13)中的图像(13)的路径(10)上的点(12)的所获得的相对位置相关地，分别基于所确定的位置和/或位置变化和/或加速度对空间表示(20，46)进行调整并且特别地进行竖直取向，所述位置和取向是基于与空间表示(20，46)相关的从运动评估恢复结构而获得的。5.根据权利要求1至4中的任一项所述的体积确定方法，其特征在于 在移动相机(8)并捕获一系列图像(13)之前，在其体积待确定的对象(I)上或其附近布置用于限定至少两个点的至少两个定义的可视觉检测的标记(Ilb)， 对于所述至少两个点中的每个点，利用测量仪器(41)，特别地利用视距仪和/或利用GNSS以绝对参考确定绝对空间位置， 所述一系列图像(13)包括图像(13)，在该图像(13)中，还捕获被布置在对象上或其附近的标记(Ilb), 对于所述至少两个点中的每个点，还基于从运动评估恢复结构来确定空间位置，并且基于其绝对空间位置被确定的所述至少两个点中的每个点到基于从运动评估恢复结构确定的其空间位置的指派来对所述空间表示(20，46)进行调整并且特别地进行竖直取向。6.根据权利要求1至5中的任一项所述的体积确定方法，其特征在于 基于对象(I)的计算出的体积和给定的密度计算该对象(I)的绝对重量并且输出计算出的绝对重量(33b)， 特别地，其中 用户(2)输入密度值， 存储具有针对材料的若干定义的类型的若干密度值的查找表并且用户输入对象(I)的材料的类型或者通过处理一系列图像(13)中的至少一个图像(13)来自动地对材料进行分类，并且 特别地，还计算并输出对象(I)的质心(34)的位置，特别地，其中，基于空间表示和所计算出的质心(34)的位置获得动作指令，特别地基于对象(I)上用于提升该对象(I)的适合的抓持位置(37)获得动作指令。7.根据权利要求1至6中的任一项所述的体积确定方法，其特征在于 利用用户输入定义用于对象⑴的地表面(17)，特别地，向用户显示空间表示(20，46)的剖面(23)并且能够在所显示的剖面(23)中相对于所显示的剖面(23)在想要的位置处设置代表地表面(17)的线(24)，或者 利用定义的评估算法来定义用于对象(I)的地表面，特别地，其中 对空间表示(20，46)的形状进行分析，和/或 改变地表面(17)直到达到所述空间表示(20，46)内的最佳拟合。8.根据权利要求1至7中的任一项所述的体积确定方法，其特征在于， 利用定义的算法的从运动评估恢复结构的步骤包括: 基于使用在至少两个图像(13)中表示的对象的点(14)的切除确定一系列图像(13)中的图像(13)相对于彼此的取向和相机位置(12)，特别地，其中，使用特征提取和/或追踪算法来定义用于切除的对象点(14)， 基于所确定的相机位置(12)和取向，利用一系列图像(13)中的图像(13)中的前方交会计算对象(I)的点的相对于彼此的3D位置，从而形成对象(I)的空间表示(20，46)，特别地，其中，使用光束平差法和/或稠密匹配算法来细化所述空间表示(20，46)。9.一种用于建筑场所的对象(I)的体积确定的系统，所述对象(I)特别地是料堆，特别地，其中，所述系统适于在根据权利要求1至8中的任一项所述的方法内使用，所述系统包括: 移动相机(8)，所述移动相机(8)用于捕获图像(13)，以及 控制评估单元(9)，所述控制评估单元(9)存储有具有代码的程序以控制和执行体积确定功能，其中，使用利用相机(8)捕获的对象(I)的一系列图像(13)并且使用关于已知的关于标度的绝对参考的给定信息，该一系列图像(13)包括从围绕对象(I)的路径(10)上的不同点以相机(8)的不同取向捕获的多个图像(13)， 执行使用所述一系列图像(13)的利用定义的算法的从运动评估恢复结构，并且从其生成空间表示(20,46),特别地,生成点云(20),所述点云(20)包括对象(I)的表面， 利用给定的已知的绝对参考的帮助来调整该空间表示(20，46)， 定义针对对象(I)的地表面(17)并且将其应用于所述空间表示(20，46)，特别地，其中，所述地表面(17)是通过自动地执行的预定评估而获得的，或者其中，向用户发出询问以输入定义所述地表面(17)的信息，以及 基于调整后的空间表示(20，46)和所定义的地表面(17)来计算并且输出(33b)...

【专利技术属性】
技术研发人员：伯恩哈德·麦茨勒，克努特·西尔克斯，A·普菲斯特，R·帕雷斯，T·菲德勒，
申请(专利权)人：赫克斯冈技术中心，
类型：发明
国别省市：瑞士;CH