视图二维姿态模板的构建方法及识别方法、定位抓取系统技术方案

一种视图二维姿态模板的构建方法及识别方法、定位抓取系统，其中识别方法包括：获取目标物体的二维图像，将二维图像与由构建方法所得到的视图二维姿态模板进行匹配，从视图二维姿态模板中搜索得到匹配度最高的二维姿态数据，根据匹配度最高的二维姿态数据确定目标物体的三维位姿。由于视图二维姿态模板中相邻层级内分布的二维模型通过所对应视图模型的父子视图关系进行互为关联，使得利用视图二维姿态模板对二维图像进行匹配时，便于从金字塔的高层级逐一地向低层级进行匹配，在快速地搜索得到匹配度最高的二维姿态数据的同时，也利于提高二维图像匹配的效率。

The construction method, recognition method and position grabbing system of view 2D attitude template

【技术实现步骤摘要】
视图二维姿态模板的构建方法及识别方法、定位抓取系统
本专利技术涉及图像处理
，具体涉及视图二维姿态模板的构建方法及识别方法、定位抓取系统。
技术介绍
本专利技术主要解决的是图像处理中三维目标的视觉识别以及三维位姿确定的问题。目标识别是视觉引导类问题中需要首先解决的问题，在很多场中，假设目标是平面的并且图像中的目标在一定程度上受限，例如仿射变换或者相似变换等情形。然而，因为目标在固定相机前面在三维空间中移动、摄像机绕固定目标移动或者目标和摄像机同时移动，具有6个自由度(3个旋转和3个平移)，所以在许多应用中被识别的目标不是平面的，而是具有三维外形并且在未知姿态成像。因为摄像机和目标物体之间的相对移动会带来不同的透视变换，这些透视变换不能通过二维的空间变换来表达，极大地增加了目标识别任务的复杂度。此外，不仅需要确定物体的二维变换还需要确定相对于摄像机的三维姿态，由于存在六个自由度需要确定，所以必须描述摄像机坐标系和目标物体的变换关系。目前，技术人员往往会采用三维目标识别技术来解决相关的问题，可以分为采用基于特征的技术和基于视图的技术。为完成三维姿态的计算，需要通过三维重建技术获取物体表面的三维信息，这种实施方式的硬件成本高、计算速度慢。基于特征的技术，是基于对三维目标的不同特征和它们在二维搜索图像中的投影之间的一一对应关系确定。如果已知对应特征的三维坐标和对应图像/图形特征，则目标的三维姿态可以直接根据最小二乘法求解出来。其中特征可以是人工标记或者物体本身特有属性，例如三维目标物体的角点、法向量等。根据模板特征匹配，还存在一些缺点：摄像机和物体目标的相对关系变化难以在图像中确定地找到特征，导致特征被遮挡以及特征发生透视失真，而模板匹配方法不能解决这种透视失真。因此，该方法通常要求摄像机和物体目标在有限的平面空间内变化。此外，基于人工标记的方法对于变化的目标缺乏适应性，很多场景难以或不适合增加人工标志。基于视图的技术，是基于二维搜索图像与不同视点观察的目标物体的二维投影比较。该方法基于物体的三维物体信息，从不同视点，获取三维目标的训练模板，随之产生与二维搜索图像相似的二维投影，将二维搜索图像与每个训练模板比较，将与二维搜索图像匹配分数最高的姿态返回作为目标姿态。该方法使用训练图像并将其与二维搜索图像进行相似性比较，该计算过程的计算成本比较高，并且需要很多训练图像以覆盖一定范围的视点变换范围。为了克服二维图像和三维物体匹配中存在的一些匹配困难的问题，利用物体的一组投影图来表示三维物体的研究方法受到了人们极大地关注。在研究方法中，视点空间被划分为有限个区域，在同一区域中的视点，其投影图在拓扑上是同构的；对每个区域中的视点，可以产生一个有代表性的投影图，这样三维物体的识别就简化为和一组二维投影图进行匹配。为产生一组有代表性的投影图，有两种划分视图空间的方法，第一种是和物体无关的固定划分方法，它事先确定了视图空间划分的区域数目及形状，视空间一般限定在一个单位球或者立方体的面上，该方法较为简单，缺点是很难产生合适的区域数目及划分的区域形状。另一种方法是根据投影图的某种定性结构的定性划分方法，在不同的场景可以有不同的定义。在利用视图对三维物体进行识别时，通过不同视点投影三维目标的模型，会存在这样一个问题：需要很多二维投影以覆盖目标物体的视点变化范围。为应对这一问题，姿态聚类技术已经被应用，尽管这样，必须同二维图像进行比较的二维投影的数量依然非常大，因此这些基于视图的识别无法满足实时性的要求。经常通过减少产生的视图数量，来进行加速计算，但是摄像机总是指向三维目标的中心，这就容易导致产生透视失真，从而使得不在图像中心的目标物体无法被找到，基于视图识别技术，另一个未解决的问题是二维投影适用于二维模板匹配，以便产生二维模板。
技术实现思路
本专利技术主要解决的技术问题是如何利用单幅的二维图像对三维目标进行三维位姿的识别。为解决上述技术问题，本申请提供一种视图二维姿态模板的构建方法及识别方法、定位抓取系统。根据第一方面，一种实施例中提供一种视图二维姿态模板的构建方法，包括：获取目标物体对应的三维模型的模板信息；根据所述模板信息生成所述目标物体在不同姿态下分别对应的视图；根据生成的各个视图建立视图树，形成视图金字塔，所述视图金字塔包括高低分布的多个层级，相邻层级内形成有父子视图关系的多对视图模型；利用所述视图金字塔中每一个层级内的每个所述视图模型产生对应的二维模型，构建得到视图二维姿态模板；所述二维模型包括所述目标物体在相应姿态下的二维位姿数据，所述视图二维姿态模板用于对所述目标物体进行三维位姿的识别。所述根据所述模板信息生成所述目标物体在不同姿态下分别对应的视图，包括：将所述模板信息转换到参考坐标系，在预设的三维姿态变化范围内对坐标转换后的所述模板信息进行离散化采样，得到所述目标物体的透视投影视图；所述参考坐标系与目标摄像装置所在的摄像机坐标系的方向相同，且参考坐标系的原点位于摄像机坐标系的一个坐标轴上；根据所述透视投影视图将所述模板信息投影到三通道的视图平面中，得到三通道的彩色图像，所述彩色图像中的每个像素位置填充所述目标物体上对应位置的法向量，根据所述彩色图像形成所述目标物体在不同姿态下分别对应的视图。在将所述模板信息转换到参考坐标系之前，还包括：在一球坐标系中计算所述模板信息中各个数据点的映射坐标，所述映射坐标被用于转换到所述参考坐标系，使得所述模板信息被转换到所述参考坐标系；在形成所述目标物体在不同姿态下分别对应的视图之后，还包括：获取目标摄像装置的内参，根据所述内参对所述各个视图进行畸变校正，计算畸变反变换映射图，利用所述畸变反变换映射图消除所述目标摄像装置对各个视图的畸变影响。所述根据生成的各个视图建立视图树，形成视图金字塔，包括：利用生成的各个视图形成视图树的第一级，对于第一级内的所有视图，计算相邻视图之间的相似性，将相似性超过第一级对应的特定临界值的视图作为子视图且进行位姿合并，合并后的视图设于第一级内；将第一级内合并后的视图和未被合并的视图映射形成视图树的第二级，对于第二级内的所有视图，计算相邻视图之间的相似性，将相似性超过第二级对应的特定临界值的视图进行位姿合并，合并后的视图和未被合并的视图均作为父视图且在第一级内对应的视图作为该父视图所关联的子视图，从而得到第二级和第一级之间的父子视图关系；依次类推，分别得到视图树中高低相邻两级之间的父子视图关系，直至最高一级上的视图不能再进行位姿合并为止，由此建立具有多级的视图树，所述视图树的每一级内的父视图和设于低一级内对应的子视图之间通过参考位置互为关联；根据所述视图树的每一级内分布的每个视图生成对应的视图模型，构建视图金字塔的一个层级，结合各个层级形成视图金字塔。所述利用所述视图金字塔中每一个层级内的每个所述视图模型产生对应的二维模型，构建得到视图二维姿态模板，包括：对于所述视图金字塔的每一个层级内的任意视图模型，根据预设的二维姿态变化范围对该视图模型进行二维投影以得到投影模型，根据所述投影模型映射得到对应的映射图像；选本文档来自技高网...

【技术保护点】
1.一种视图二维姿态模板的构建方法，其特征在于，包括：/n获取目标物体对应的三维模型的模板信息；/n根据所述模板信息生成所述目标物体在不同姿态下分别对应的视图；/n根据生成的各个视图建立视图树，形成视图金字塔，所述视图金字塔包括高低分布的多个层级，相邻层级内形成有父子视图关系的多对视图模型；/n利用所述视图金字塔中每一个层级内的每个所述视图模型产生对应的二维模型，构建得到视图二维姿态模板；所述二维模型包括所述目标物体在相应姿态下的二维位姿数据，所述视图二维姿态模板用于对所述目标物体进行三维位姿的识别。/n

【技术特征摘要】
1.一种视图二维姿态模板的构建方法，其特征在于，包括：
获取目标物体对应的三维模型的模板信息；
根据所述模板信息生成所述目标物体在不同姿态下分别对应的视图；
根据生成的各个视图建立视图树，形成视图金字塔，所述视图金字塔包括高低分布的多个层级，相邻层级内形成有父子视图关系的多对视图模型；
利用所述视图金字塔中每一个层级内的每个所述视图模型产生对应的二维模型，构建得到视图二维姿态模板；所述二维模型包括所述目标物体在相应姿态下的二维位姿数据，所述视图二维姿态模板用于对所述目标物体进行三维位姿的识别。


2.如权利要求1所述的构建方法，其特征在于，所述根据所述模板信息生成所述目标物体在不同姿态下分别对应的视图，包括：
将所述模板信息转换到参考坐标系，在预设的三维姿态变化范围内对坐标转换后的所述模板信息进行离散化采样，得到所述目标物体的透视投影视图；所述参考坐标系与目标摄像装置所在的摄像机坐标系的方向相同，且参考坐标系的原点位于摄像机坐标系的一个坐标轴上；
根据所述透视投影视图将所述模板信息投影到三通道的视图平面中，得到三通道的彩色图像，所述彩色图像中的每个像素位置填充所述目标物体上对应位置的法向量，根据所述彩色图像形成所述目标物体在不同姿态下分别对应的视图。


3.如权利要求2所述的构建方法，其特征在于，在将所述模板信息转换到参考坐标系之前，还包括：在一球坐标系中计算所述模板信息中各个数据点的映射坐标，所述映射坐标被用于转换到所述参考坐标系，使得所述模板信息被转换到所述参考坐标系；
在形成所述目标物体在不同姿态下分别对应的视图之后，还包括：获取目标摄像装置的内参，根据所述内参对所述各个视图进行畸变校正，计算畸变反变换映射图，利用所述畸变反变换映射图消除所述目标摄像装置对各个视图的畸变影响。


4.如权利要求1所述的构建方法，其特征在于，所述根据生成的各个视图建立视图树，形成视图金字塔，包括：
利用生成的各个视图形成视图树的第一级，对于第一级内的所有视图，计算相邻视图之间的相似性，将相似性超过第一级对应的特定临界值的视图作为子视图且进行位姿合并，合并后的视图设于第一级内；
将第一级内合并后的视图和未被合并的视图映射形成视图树的第二级，对于第二级内的所有视图，计算相邻视图之间的相似性，将相似性超过第二级对应的特定临界值的视图进行位姿合并，合并后的视图和未被合并的视图均作为父视图且在第一级内对应的视图作为该父视图所关联的子视图，从而得到第二级和第一级之间的父子视图关系；
依次类推，分别得到视图树中高低相邻两级之间的父子视图关系，直至最高一级上的视图不能再进行位姿合并为止，由此建立具有多级的视图树，所述视图树的每一级内的父视图和设于低一级内对应的子视图之间通过参考位置互为关联；
根据所述视图树的每一级内分布的每个视图生成对应的视图模型，构建视图金字塔的一个层级，结合各个层级形成视图金字塔。


5.如权利要求4所述的构建方法，其特征在于，所述利用所述视图金字塔中每一个层级内的每个所述视图模型产生对应的二维模型，构建得到视图二维姿态模板，包括：
对于所述视图金字塔的每一个层级内的任意视图模型，根据预设的二维姿态变化范围对该视图模型进行二维投影以得到投影模型，根据所述投影模型映射得到对应的映射图像；选择所述映射图像中超出预设的梯度阈值和角度阈值的边缘点，根据预设的旋转缩放范围对选择的各个边缘点进行旋转缩放处理，生成该视图模型对应的二维模型；
将所述视图金字塔的每一个层级内的各个视图模型分别对应的二维模型设于该层级内，重新构建所述视图金字塔的层级，组合各个层级形成视图二维姿态模板，所述视图二维姿态模板中相邻层级内分布的二维模型通过所对应视图模型的父子视图关系进行互为关联。


6.如权利要求5所述的构建方法，其特征在于，在根据预设的旋转缩放范围对选择的各个边缘点进行旋转缩放处理之前，还包括：
利用匹配位姿对选择的边缘点进行增强处理，用于通过非极大值抑制和边缘细化的运算得到增强处理后的边缘点，以根据预设的旋转缩放范围对增强处理后的各个边缘点进行旋转缩放处理。


7.一种目标物体三维位姿的识别方...

【专利技术属性】
技术研发人员：杨洋，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：广东;44