6自由度位置和取向确定制造技术

一种通过利用深度成像相机拍摄深度图像并利用数字相机拍摄视觉照片来确定场景中的三维已知形状的六自由度位置和取向的方法。所述深度成像相机包括具有传感器阵列的深度图像模块，所述传感器阵列具有第一数量的像素，其中，针对各个第一像素，确定从所述传感器到所述场景的点的深度信息，从而得到3D点群。所述数字相机包括图像传感器，该图像传感器具有第二数量的像素，从而得到2D照片。所述第一像素视场和所述第二像素视场的关系是已知的。所述方法包括以下步骤：存储的已知形状的3D数字表示在虚拟空间中几何拟合，以与2D照片和3D点群中的已知对象的再现匹配，并且根据虚拟匹配来确定所述场景中的所述已知形状的六自由度位置和取向。

【技术实现步骤摘要】
【国外来华专利技术】6自由度位置和取向确定本专利技术总体上涉及根据权利要求1的前序部分所述的一种三维的已知形状的六自由度位置和取向确定方法以及根据权利要求15的前序部分所述的六自由度空间位置和取向确定装置。在许多应用中，需要确定目标对象在3D空间中的位置和取向。其中，必须通过测量目标对象的空间坐标及其空间取向来确定目标对象在空间中的空间姿态，从而导致需要评估最多达六个自由度。目标对象可以是关注对象本身，或者是附着到关注对象的专用目标对象。例如，在W02005/039836中，提出了通过相机系统观测附着到机械臂的加工工具在3D空间中的位置和取向的机械臂定位控制。工程机械的控制是另一应用，例如，如US5，771，978中描述的，其中，跟踪站跟踪回射器，该回射器作为目标标记附着到机器的加工工具(在此示例中，是用于将土移为期望的形状的推土机的推铲)。文献EP1171752(_获得2010年欧洲专利技术奖)描述了另一应用，其中，通过跟踪装置以六个自由度确定用于坐标测量的测量探针的位置和取向，所述跟踪装置跟踪附着到探针的多个专用离散奇异参考点，以用于以六个自由度确定测量探针尖端的姿态。目标对象的上述高精度姿态确定方法需要相当复杂且昂贵的测绘设备，例如，诸如激光扫描仪、全站仪、跟踪站等的装置。另选地，诸如立体成像，需要复杂的多个相机和照明设备(setup)，具有相对低的精度并且在测量中遭受歧义问题。图案投影系统(类似布伦瑞克工业大学(TU-Braunschweig)的DAVID激光扫描仪项目)也是已知的。例如，如WWW.david-laserscanner.com上公布的,在目标上扫描激光图案(例如，线)，数字视频相机记录所得到的图像，由此创建扫描对象的3D点云模型。还可使用相机的拍摄图像来将所得到的3D模型纹理化。由于扫描，相机的整个视场的数字化花费时间，因此不适于评估或观测不稳定对象。在微软关于相机校准的技术报告中(公布于“IEEE transactions on patternanalysis and machine intelligence”,第 22 卷,第 11 期,2000 年 11 月)，描述了一种用于3D计算机视觉的数码照片相机的校准系统，其以不同取向观测单个平面图案以实现相机校准，从而使得能够从相机拍摄的2D图像更精确地提取度量(metric)信息。在US2005/0002555中，将存储的第一组工件图像(从不同方向拍摄)与工件的实际图像进行比较。然后移动相机以与存储的第一组图像非常相似，并且进行与存储的第二组图像(以较窄间距拍摄)的第二次比较，以确定工件的位置和姿态。对于通过收集3D点云的3D测量，使用深度成像模块(Range Imaging Module,RIM)也是已知技术，其可将“一次拍摄(one shot) ”中的整个场景数字化。原则上，RM相机包括像素阵列，所述像素阵列(例如)通过本领域已知的脉冲、相位、信号形状或干涉测量原理(例如)基于光福射的飞行时间测量(TOF)用作光电测距仪(例如，参见J.M.Rueger的 “Electronic Distance Measurement”，第 4 版，Springer-Verlag,柏林，海德堡，1996年)。由这种R頂相机拍摄的深度图像包括相机的各个像素的距离信息，从而得到从单个视点拍摄的场景的3D图像。由此在极坐标下根据相机像素的角视场以及以长度为单位随之确定的距离进行测量。测量的RM图像的图形视图可(例如)通过冷光或距离的颜色键控以二维表示呈现为RM图像的视图的2D画面。另选地，测量的RM图像的图形视图可以按照轴测视图或由真实3D显示来呈现。除了深度信息之外，散射后距离测量辐射的强度也可通过RIM相机确定并在图像中提供。然而，可用RM装置常常遭受相对低的分辨率和精度，例如，视场的分辨率目前远低于I百万像素(例如，176X144像素=0.025百万像素)，cm范围的距离分辨率是常见值。存在特定的已知技术来改进这些参数，类似变焦和视场的角运动，但是这些技术均经受类似再次延长测量时间(这是重要参数)的缺点，特别是在测量潜在移动的目标的情况下。例如，W02006/075017提出了一种测绘至少一个目标的方法和大地测量设备。其中，使用包括成矩阵排列的传感器(例如，32X32传感器)的深度成像模块(RIM)来提供深度图像。深度图像提供所谓的点群或点云信息，其包括由传感器的各个像素成像的目标点的深度。为了提高深度图像的精度，可拍摄随后尺寸减小的详细深度图像。然而，尽管这可以按照特定方式提高深度图像的精度，但是由于深度图像的相对低的分辨率，仍难以精确处理目标的独特目标点，这在较小和/或在被测绘时改变其取向和位置的移动目标的情况下会极其重要。另一缺点是延长了以各个高分辨率和精度测量完整场景的测量时间。在CN102252653中，使用TOF相机，并且从目标对象的坐标信息数据库选择三个可识别对象作为标记点以用于位置和姿态参数确定。如所提及的，RIM成像的普遍缺点常常是可用RIM相机的低图像分辨率，特别是与分辨率高达几十百万像素及更高的最先进数字摄影相机相比。“3DPVT’08_第四届3D数据处理、可视化和传输国际研讨会”(佐治亚理工学院，2008年6月)的会议录提出了将来自2D图像的边缘或轮廓提示与RIM相机数据一起使用，以增强对象的3D重构。其中，使用多个相机从多个视点拍摄RM图像和视频画面，由此可推导3D模型-还可推导已知通过立体成像非常难以处理的凹面。US2010/0046802的系统描述了一种方法，其使用RM相机和摄像机的组合来增强3D分辨率，从而通过所提出的距离估计设备增强摄影机或照相机的深度感。该文献包括这种方法的不同方面和实施方式，可用作本专利技术一些基础原理的参考。尤其是，其中详细说明了边缘提取技术以及匹配深度图像和对应视觉画面的其它方面。现有技术的设计或者需要复杂且昂贵的测量设备，或者具有低精度或需要长的测量时间。本专利技术的目的在于提供一种以六自由度确定观察场景中，特别是3D空间中的对象的位置和取向的改进的方法和设备。[0021 ] 本专利技术的目的在于在保持测量设备简单的同时实现目标对象的高精度六自由度测量，优选地通过单个设备从单个视点进行测量。本专利技术的另一目的在于提供测量时间短的改进的位置和取向确定。本专利技术的另一目的在于提供一种以高精度确定评估场景内已知形状的对象的六自由度的位置和取向的方法。另一目的是测量时间减少的6自由度测量，特别是使得能够测量移动对象。本专利技术的特定目的在于提供一种3D测量方法，其尤其可用于优选地通过触觉手段来精确测量测量对象的独特点，从而增强记录的点云的位置测量精度。本专利技术的另一目的还在于提供一种测量方法，其能够对测量对象被遮挡于测量装置视点外的部分进行测量。这些目的通过实现独立权利要求的特征来实现。在从属权利要求中描述以替代或有利方式拓展本专利技术的特征。本专利技术涉及一种确定场景中的三维已知形状的六自由度位置和取向的方法。根据本专利技术，所述方法包括以下步骤:利用深度成像相机拍摄深度图像。所述深度成像相机包括具有传感器阵列的深度图像模块(RIM)，所述传感器阵列具有第一数量的像素，其中，针对各个第一像素，确定从传感器到场景的点的深度信息，从而本文档来自技高网...

【技术保护点】
一种用于通过以下步骤确定场景中的三维已知形状(2)的六自由度位置和取向的方法：■利用具有深度图像模块的深度成像相机(4)拍摄深度图像(13)，所述深度图像模块具有传感器阵列，该传感器阵列具有第一数量的像素，其中，针对各个第一像素，确定从所述传感器到所述场景的点的深度信息，从而得到3D点群(202)，■利用具有图像传感器的数字相机(5)拍摄视觉照片(14)，所述图像传感器具有第二数量的像素，从而得到尤其包括强度和光谱信息的2D照片(203)，其中，第一像素视场和第二像素视场的关系是已知的，尤其其中，所述第二数量的像素高于所述第一数量的像素，■存储的所述已知形状的3D数字表示(11)在虚拟空间中几何拟合，以与所拍摄的2D照片(203)和所拍摄的3D点群(202)中的所述已知形状的再现虚拟匹配，以及■根据所述虚拟匹配来确定所述场景中的所述已知形状(2)的六自由度位置(x,y,z)和取向(A,B,C)。

【技术特征摘要】
【国外来华专利技术】2011.12.06 EP 11192220.91.一种用于通过以下步骤确定场景中的三维已知形状(2)的六自由度位置和取向的方法: □利用具有深度图像模块的深度成像相机(4)拍摄深度图像(13)，所述深度图像模块具有传感器阵列，该传感器阵列具有第一数量的像素，其中，针对各个第一像素，确定从所述传感器到所述场景的点的深度信息，从而得到3D点群(202)， □利用具有图像传感器的数字相机(5)拍摄视觉照片(14)，所述图像传感器具有第二数量的像素，从而得到尤其包括强度和光谱信息的2D照片(203)，其中，第一像素视场和第二像素视场的关系是已知的，尤其其中，所述第二数量的像素高于所述第一数量的像素，□存储的所述已知形状的3D数字表示(11)在虚拟空间中几何拟合，以与所拍摄的2D照片(203)和所拍摄的3D点群(202)中的所述已知形状的再现虚拟匹配，以及 □根据所述虚拟匹配来确定所述场景中的所述已知形状(2)的六自由度位置(x，y，z)和取向(A，B，C)。2.根据权利要求1所述的方法，该方法的特征在于， 通过将来自所述视觉照片(14)的信息和来自所述深度图像(13)的信息进行组合来提取3D几何信息，尤其其中，所述组合步骤包括以下步骤:使所述深度图像(13)和所述视觉照片(14) 二者中的所述已知形状的至少一个几何特征匹配，并且进一步使所述3D数字表示(11)中的几何特征在所组合的信息内匹配。3.根据权利要求1所述的方法，该方法的特征在于， 所述3D数字表示(11)与所 述视觉照片(14)的第一匹配，以及 所述3D数字表示(11)与所述深度图像(13)的第二匹配， 并且通过尤其根据调节演算或最大似然算法，将所述第一匹配和所述第二匹配的结果进行组合，来确定位置和取向。4.根据权利要求1至3中的任一项所述的方法，该方法的特征在于， 所述匹配包括以下步骤: □通过将以下项组合来识别面 ο所述视觉照片中的面的边缘提取，和/或 ο所述深度图像中的面检测，优选地通过拟合所述点群中的平面，以及□尤其根据最小二乘或最大似然算法，使所识别出的面和/或边与所述3D数字表示的对应面匹配， 优选地其中，多个面和/或边是三维匹配的。5.根据权利要求1至4中的任一项所述的方法，该方法的特征在于， 识别所述视觉照片(14)内，尤其是所述已知形状上的纹理结构， 优选地包括根据所述视觉照片中的所述已知形状的视觉大小和/或所述已知形状的纹理的附加位置和取向确定，优选地用于根据所述纹理信息得到位置和取向确定的唯一性。6.根据权利要求1至5中的任一项所述的方法，该方法的特征在于， 从单个测量设备(I)，尤其是利用单个视线，拍摄所述视觉照片(14)和所述深度图像(13)，优选地其中，所述深度图像和所述视觉照片的拍摄在时间上同步。7.根据权利要求1至6中的任一项所述的方法，该方法的特征在于，尤其利用反着使用的光学图像稳定单元来引入，使深度相机的光轴相对于数字相机的光轴在所述第一像素的亚分辨率内定向抖动，并且将多个定向抖动的低分辨率深度图像组合，以用于增大所述点群的分辨率使其超过所述第一像素的分辨率。8.根据权利要求1至7中的任一项所述的方法，该方法的特征在于， 评估从深度相机(4)所接收到的深度成像光的反射强度确定的强度信息，尤其作为被所述已知形状散射回的距离测量光的强度值，并且包括所述虚拟匹配中的强度信息。9.根据权利要求1至8中的任一项所述的方法，该方法的特征在于， 确定附着到所述已知形状⑵的物体(106，100, 102，105，2A)的相关位置和取向，所述已知形状(2)是已知的三维固体容积体，该三维固体容积体具有便于能够以六自由度精确且唯一地确定所述已知形状(2)的空间位置和取向的三维外部构造。10.根据权利要求9所述的方法，该方法的特征在于，所附着的物体是测量探针(106)，尤其是触觉坐标测量探针，并且所述方法是测量测量对象(101)的空间坐标。11.根据权利要求9所述的方法，该方法的特征在于，所附着的物体是根据所述已知形状的位置和取向确定空间中的姿态的机械臂(100)，并且所述方法是确定所述机械臂的位置和取向。12.根据权利要求9所述的方法，该方法的特征在于，所附着的物体是空间坐标被确定的施工现场机械(104)的加工工具(105)，所述机械尤其是土方机械，优选地是推土机、平地机或挖掘机，所述方法是确定所述加工工具(105)的位置和取向。13.根据权利要求1至12中的任一项所述的方法，该方法的特征在于， 在拟合和/或确定的步骤中使用所述第一像素和所述第二像素的已知关系。14.一种通过以下步骤将测量对象(101)的外形数字化来进行三维建模的方法: ·粗略3D建模，其包括以下步骤: ο拍摄所述测量对象(101)的深度图像(13)， ο拍摄所述测量对象(10...

【专利技术属性】
技术研发人员：波·佩特尔松，克努特·西尔克斯，E·沃伊特，J·辛德林，贝内迪克特·泽布霍塞尔，克劳斯·施奈德，
申请(专利权)人：赫克斯冈技术中心，
类型：发明
国别省市：瑞士;CH