一种可压缩的3D识别方法技术

本发明专利技术提供了一种可压缩的3D识别方法，步骤包括：提取扫描的每一帧二维图像中3D物体的二维特征点；重构出各个特征点的深度信息得到各帧二维图像的3D特征点；根据匹配结果选出关键帧；将各个关键帧以及各个关键帧对应的3D特征点进行云存储；实时提取待识别图像的二维特征点，判断识别图像是否为3D物体的一部分；将云存储的3D特征点映射到待识别图像上，判断待识别图像相对于3D物体的姿态，从而得到识别结果。本发明专利技术提出的可压缩的3D识别方法，尽可能的压缩3D物体的特征信息，而不会降低其识别能力。

A compressible 3D recognition method

The present invention provides a compressed 3D identification method comprises the following steps: two-dimensional feature points 3D objects in each frame to scan the two-dimensional image extraction; reconstruct the depth information of each feature point of the 3D feature points of each frame image; according to the matching results of selected key frames; the 3D feature points of each key frame and the key frames corresponding to each of the cloud storage; real-time two-dimensional feature points extracted image recognition, image is part of a 3D object; the cloud storage 3D feature point is mapped to the image, determine the image relative to the 3D object pose, so as to get the recognition result. The compressing 3D recognition method proposed by the invention can compress the feature information of the 3D object as much as possible, without reducing its recognition ability.

【技术实现步骤摘要】
一种可压缩的3D识别方法
本专利技术涉及一种图像识别方法，尤其是一种可压缩的3D识别方法。
技术介绍
随着AR技术的普及，3D方面的应用与技术逐渐融入到了人们的生活，比如：3D物体识别技术、3D交互技术、3D场景识别等。然而该类技术的应用，往往需要存储大量的3D物体的信息，传统的3D模型的文件一般会保存3D顶点、法向量、三角面片或是多边形面片等信息，对于基于特征点的3D物体识别而言其中的大部分信息都是多于的，同时也需要较大的计算量，很难做到实时，从而限制了很多实用场景。
技术实现思路
本专利技术要解决的技术问题是现有的3D物体识别技术需要存储大量的3D物体的信息，同时也需要较大的计算量，很难做到实时，从而限制了很多实用场景。为了解决上述技术问题，本专利技术提供了一种可压缩的3D识别方法，包括如下步骤：步骤1，利用相机对3D物体进行扫描，从而获得3D数据，具体为：步骤1.1，提取扫描的每一帧二维图像中3D物体的二维特征点，并将二维图像分为M*N个网格，且每个网格内只保存一个特征点；步骤1.2，匹配连续两帧二维图像的特征点，并根据相机的对极几何模型求出该两帧二维图像表示位置关系的旋转矩阵R和平移矩阵T，再利用三角化算法重构出各个特征点的深度信息，从而得到各帧二维图像的3D特征点；步骤1.3，将首次两两匹配上的帧设为关键帧，再将其余帧与关键帧进行匹配，若匹配上，则表明两帧图像有共视的部分，并进一步获得两帧图像中共视的特征点数量，若特征点数量小于T，则表明两帧图不能互相表示，将该帧图像同样存为关键帧；步骤1.4，将各个关键帧以及各个关键帧对应的3D特征点进行云存储，供线上识别使用；步骤2，实时3D识别，具体为：步骤2.1，实时提取待识别图像的二维特征点，将待识别图像划分的M*N个网格中，且在每个网格内只保存一个二维特征点，再将待识别图像与云存储的关键帧进行对应网格匹配，选出共视特征点最多的关键帧，若共视特征点数量大于T，则表明待识别图像为3D物体的一部分；步骤2.2，根据步骤2.1匹配选出的关键帧与待识别图像的对应位置关系计算出旋转矩阵R和平移矩阵T，从而将云存储的3D特征点映射到待识别图像上，得到待识别图像与3D物体的对应关系，以此判断待识别图像相对于3D物体的姿态，从而得到识别结果。作为本专利技术的进一步限定方案，步骤1.1中，每个网格的大小为4*4，即M＝W/4，N＝H/4，W和H分别为二维图像的长和宽。作为本专利技术的进一步限定方案，步骤1.2中，对极几何模型公式为：Pl＝R(Pr-T)(RTPr)T·T×Pl＝0其中，Pl为前一帧二维图像中的特征点，Pr为后一帧二维图像中的特征点，RT为旋转矩阵R的转置。本专利技术的有益效果在于：采用特征点的方法识别3D物体，而不需要重构物体的3D结构，因此只要存储可用于识别的3D特征点(点云)以及关键帧即可，这样极大减省了存储的数据量。此外3D点云中没必要存稠密的点云，因为某个小区域内只要有稳定的特征点就能匹配，这样再次减少了数据，也就减少了运算。附图说明图1为本专利技术的方法流程图。具体实施方式如图1所示，本专利技术提供的可压缩的3D识别方法包括如下步骤：步骤1，利用相机对3D物体进行扫描，从而获得3D数据，具体为：步骤1.1，提取扫描的每一帧二维图像中3D物体的二维特征点，并将二维图像分为M*N个网格，每个网格内只保存一个特征点，从而有效降低保存特征点的数量，实现数据量的有效压缩；步骤1.2，匹配连续两帧二维图像的特征点，并根据相机的对极几何模型求出该两帧二维图像表示位置关系的旋转矩阵R和平移矩阵T，R为3*3矩阵，T为3*1矩阵，再利用计算机视觉中的三角化算法重构出各个特征点的深度信息，从而得到各帧二维图像的3D特征点；步骤1.3，将首次两两匹配上的帧设为关键帧，将其余帧与关键帧进行匹配，若匹配上，则表明两帧图像有共视的部分，并进一步获得两帧图像中共视的特征点数量，若特征点数量小于T，其中T＝100，则表明两帧图不能互相表示，将该帧图像同样存为关键帧，通过关键帧的匹配避免保存重复度高的帧，能够极大地减少存储帧图像的数量，实现存储数据量的压缩，步骤中的匹配采用现有技术中的特征点匹配技术，如比较两个点的像素值进行匹配或在特征点周围取个像素块，将像素块的信息提取出来，然后进行比较，若在设定范围内就表示已经匹配上了；步骤1.4，将各个关键帧以及各个关键帧对应的3D特征点进行云存储，供线上识别使用；步骤2，实时3D识别，具体为：步骤2.1，实时提取待识别图像的二维特征点，将待识别图像划分的M*N个网格中，且在每个网格内只保存一个二维特征点，再将待识别图像与云存储的关键帧进行对应网格匹配，选出共视特征点最多的关键帧，若共视特征点数量大于T，其中T＝100，则表明待识别图像为3D物体的一部分；步骤2.2，根据步骤2.1匹配选出的关键帧与待识别图像的对应位置关系计算出旋转矩阵R和平移矩阵T，从而将云存储的3D特征点映射到待识别图像上，得到待识别图像与3D物体的对应关系，以此判断待识别图像相对于3D物体的姿态，从而得到识别结果。其中，步骤1.1中，每个网格的大小为4*4像素，即M＝W/4，N＝H/4，W和H分别为二维图像的长和宽；步骤1.2中，对极几何模型公式为：Pl＝R(Pr-T)(RTPr)T·T×Pl＝0其中，Pl为前一帧二维图像中的特征点，Pr为后一帧二维图像中的特征点，RT为旋转矩阵R的转置。本专利技术采用特征点的方法识别3D物体，而不需要重构物体的3D结构，故只要存储可用于识别的3D特征点(点云)以及关键帧即可，这样极大减省了存储的数据量。此外3D点云中，没必要存稠密的点云，因为某个小区域内只要有稳定的特征点就能匹配，这样再次减少了数据，也就减少了运算。本专利技术利用线下完成3D点云的生成以及关键帧的选取，利用线上实时识别3D物体。本文档来自技高网...

【技术保护点】
一种可压缩的3D识别方法，其特征在于，包括如下步骤：步骤1，利用相机对3D物体进行扫描，从而获得3D数据，具体为：步骤1.1，提取扫描的每一帧二维图像中3D物体的二维特征点，并将二维图像分为M*N个网格，且每个网格内只保存一个特征点；步骤1.2，匹配连续两帧二维图像的特征点，并根据相机的对极几何模型求出该两帧二维图像表示位置关系的旋转矩阵R和平移矩阵T，再利用三角化算法重构出各个特征点的深度信息，从而得到各帧二维图像的3D特征点；步骤1.3，将首次两两匹配上的帧设为关键帧，再将其余帧与关键帧进行匹配，若匹配上，则表明两帧图像有共视的部分，并进一步获得两帧图像中共视的特征点数量，若特征点数量小于T，则表明两帧图不能互相表示，将该帧图像同样存为关键帧；步骤1.4，将各个关键帧以及各个关键帧对应的3D特征点进行云存储，供线上识别使用；步骤2，实时3D识别，具体为：步骤2.1，实时提取待识别图像的二维特征点，将待识别图像划分的M*N个网格中，且在每个网格内只保存一个二维特征点，再将待识别图像与云存储的关键帧进行对应网格匹配，选出共视特征点最多的关键帧，若共视特征点数量大于T，则表明待识别图像为3D物体的一部分；步骤2.2，根据步骤2.1匹配选出的关键帧与待识别图像的对应位置关系计算出旋转矩阵R和平移矩阵T，从而将云存储的3D特征点映射到待识别图像上，得到待识别图像与3D物体的对应关系，以此判断待识别图像相对于3D物体的姿态，从而得到识别结果。...

【技术特征摘要】
1.一种可压缩的3D识别方法，其特征在于，包括如下步骤：步骤1，利用相机对3D物体进行扫描，从而获得3D数据，具体为：步骤1.1，提取扫描的每一帧二维图像中3D物体的二维特征点，并将二维图像分为M*N个网格，且每个网格内只保存一个特征点；步骤1.2，匹配连续两帧二维图像的特征点，并根据相机的对极几何模型求出该两帧二维图像表示位置关系的旋转矩阵R和平移矩阵T，再利用三角化算法重构出各个特征点的深度信息，从而得到各帧二维图像的3D特征点；步骤1.3，将首次两两匹配上的帧设为关键帧，再将其余帧与关键帧进行匹配，若匹配上，则表明两帧图像有共视的部分，并进一步获得两帧图像中共视的特征点数量，若特征点数量小于T，则表明两帧图不能互相表示，将该帧图像同样存为关键帧；步骤1.4，将各个关键帧以及各个关键帧对应的3D特征点进行云存储，供线上识别使用；步骤2，实时3D识别，具体为：步骤2.1，实时提取待识别图像的二维特征点，将待识...

【专利技术属性】
技术研发人员：赵金辉，
申请(专利权)人：南京维睛视空信息科技有限公司，
类型：发明
国别省市：江苏,32