基于Kinect V2传感器三维点云环境实时重构方法技术

本发明专利技术公开基于Kinect V2传感器三维点云环境实时重构方法，属于虚拟现实技术领域，本发明专利技术采用Kinect V2采集图像数据及里程数据，然后进行数据的预处理和同步，通过Kinect V2采集的图像数据进行特征检测与匹配，并估算相机位姿，实现前端视觉里程计，回环检测主要是对相机当前位置与先前位置的关系做出判断，从而优化建模环境的精度，后端优化结合前端视觉里程计及回环检测数据，通过图优化的方式，实现三维点云的环境建模。

【技术实现步骤摘要】
基于KinectV2传感器三维点云环境实时重构方法
本专利技术涉及虚拟现实
，具体涉及基于KinectV2传感器三维点云环境实时重构方法。
技术介绍
科技的进步及时代的发展使人们周围的环境愈加复杂，在危险的环境下，通过远程无人车辆进行环境探索或者救援很有必要。与实际操作不同，远程操作过程中操作者对环境的感知功能与实际环境处于解耦状态，导致操作者无法对环境进行有效判断，进而降低操作的精确度。在远程操作中，当操作者只能通过传感器传回的环境信号远程感知观察时，人对环境的感知处理器官与被探测环境处于解耦状态，当知觉系统理解来自远程的视觉环境信息时，需要克服与在自然环境中直接进行观察的知觉模式的相关性问题。此外，操作者对环境的感知是主动进行的过程，操作者通过在环境中执行相关动作改变视觉环境信息。而在远程操作过程中，操作者无法直接与环境发生交互，因此无法对环境进行有效的判断，从而难以完成精确的远程控制，因此如何将远程环境呈现给操作者成为实现无人车远程精确控制的问题之一。传统的远程操作技术中，操作者通过相机传感器传回的视频图像画面来判断本文档来自技高网...

【技术保护点】
1.基于Kinect V2传感器三维点云环境实时重构方法，其特征在于，包括以下步骤：/n基于Kinect V2传感器，采集图像数据，对所述Kinect V2传感器进行位姿估计，获得所述Kinect V2传感器的相机位姿数据；/n基于所述图像数据，依据K-means无监督机器学习聚类方法，构建特征词典树，其中，所述特征词典树用于对所述图像数据进行回环检测，获得回环信息，所述回环信息用于提高所述相机位姿数据的数据准确性；/n基于所述相机位姿数据，通过设置误差函数，并基于Gauss-Newton法进行迭代，构建三维点云环境；/n基于所述特征词词典树和所述三维点云环境，模拟三维点云环境场景。/n

【技术特征摘要】
1.基于KinectV2传感器三维点云环境实时重构方法，其特征在于，包括以下步骤：
基于KinectV2传感器，采集图像数据，对所述KinectV2传感器进行位姿估计，获得所述KinectV2传感器的相机位姿数据；
基于所述图像数据，依据K-means无监督机器学习聚类方法，构建特征词典树，其中，所述特征词典树用于对所述图像数据进行回环检测，获得回环信息，所述回环信息用于提高所述相机位姿数据的数据准确性；
基于所述相机位姿数据，通过设置误差函数，并基于Gauss-Newton法进行迭代，构建三维点云环境；
基于所述特征词词典树和所述三维点云环境，模拟三维点云环境场景。


2.根据权利要求1所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
在对所述KinectV2传感器进行位姿估计的过程前，提取所述图像数据的特征数据，根据所述特征数据和所述图像数据，获得所述相机位姿数据。


3.根据权利要求2所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
基于FAST关键点检测和BRIEF特征描述子算法，依据NNDR算法，提取所述特征数据。


4.根据权利要求3所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
在对所述KinectV2传感器进行位姿估计的过程中，提取所述特征数据的空间坐标以及所述空间坐标对应的像素坐标，构建位姿矩阵；
基于所述位姿矩阵，通过计算重投影误差，并依据Gauss-Newton算法进行迭代，获得所述相机位姿数据。


5.根据权利要求4所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
在构建所述特征词典树的过程中，基于OpenCV，提取所述图像数据的特征点集合；
根据所述K-means无监督机器学习聚类方法，对所述特征点集合进行聚类，获得所述特征词典树。


6.根据权利要求5所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
...

【专利技术属性】
技术研发人员：姚寿文，栗丽辉，孔若思，王瑀，常富祥，丁佳，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11