基于ORB与U-net的花卉三维重建方法技术

本发明专利技术提出一种基于ORB与U‑net的花卉三维重建方法，包括基于ORB的深度相机三维重建及基于u‑net的三维重建补全，三维重建部分在kinectfusion的基础上加入了全局姿态优化以及回环检测和重定位，使得相机姿态估计的准确度大大提高，能够得到质量很高的花卉三维重建的部分模型；三维重建补全部分由于花卉类物体的三维数据集较小因而采用U‑net网络结构的CNN网络，可以在拥有较小数据集的情况下获得较好的效果。通过深度学习的方法可以很好的填充在传统稠密slam方法中存在大量空洞的问题，在填补空洞的网络实现了端到端的补全方法，能够大量节约补全空洞的时间。

Three-dimensional Flower Reconstruction Method Based on ORB and U-net

The invention provides a flower three-dimensional reconstruction method based on ORB and U_net, including depth camera three-dimensional reconstruction based on ORB and u_net three-dimensional reconstruction completion based on U_net. The three-dimensional reconstruction part adds global attitude optimization and loop detection and relocation on the basis of kinectfusion, which greatly improves the accuracy of camera attitude estimation and can obtain high-quality flower three-dimensional reconstruction. Part of the model is reconstructed, and all of the three-dimensional reconstruction supplements are made up of CNN network with U. Net network structure, which can get better results with smaller data sets because of the small three-dimensional data sets of flower objects. The deep learning method can fill in a lot of holes in the traditional dense slam method. The end-to-end filling method is realized in filling the holes in the network, which can save a lot of time to fill the holes.

【技术实现步骤摘要】
基于ORB与U-net的花卉三维重建方法
本专利技术涉及三维重建技术，具体涉及花卉三维重建方法。
技术介绍
目前三维重建技术过程中，针对小场景物体的三维重建主要是基于kinectfusion的稠密slam技术，通过利用kinect等深度相机围绕场景物体采集深度图像，进而针对深度图像进行处理从而得到小场景物体的三维重建模型。Kinectfusion的技术流程如下：首先使用kinect相机围绕小场景物体采集深度图像，利用kinect相机内参将原始的2D深度图像转化为相机坐标系下的3D点云并计算法向量；利用ICP迭代极小化点到平面的能量函数求出当前帧的相机位姿；根据相机的当前姿态将3D点云融合到TSDF体素模型当中；根据光线投影算法从TSDF模型中得出当前视角所能看到的场景表面，并得出投影得到的点云以及法向量，利用投影得到的点云与法向量与后一帧的数据进行icp迭代计算下一帧的位姿。当前的三维重建方法，对于花卉类遮挡严重的物体扫描，由于kinect相机采用的TOF或者结构光技术，导致被遮挡的部分没有深度数据而无法重建。在实践中，确保扫描能够覆盖花卉表面所有的点也是不可行的(花卉类物体经常摆放本文档来自技高网...

【技术保护点】
1.一种基于ORB与U‑net的花卉三维重建方法，其特征在于,包括：A、基于ORB的深度相机三维重建：A1、跟踪线程Track：利用提取ORB算子进行帧与帧之间的粗匹配，计算位姿；A2、帧集合内部局部优化线程localmap：在帧集合内部利用Bundle Adjustment进行位姿优化；A3、帧集合间全局优化线程globalmap：对每个帧集合求出共视度最高的一帧作为关键帧，送入全局的关键帧集合检测是否出现回环以及进行全局的BA位姿优化；A4、重定位：将追踪失败的帧利用字典得到自己的词袋向量，然后与所有的关键帧计算相似度得分，找到得分最高且超过阈值的关键帧K即认为重定位成功；B、基于u‑ne...

【技术特征摘要】
1.一种基于ORB与U-net的花卉三维重建方法，其特征在于,包括：A、基于ORB的深度相机三维重建：A1、跟踪线程Track：利用提取ORB算子进行帧与帧之间的粗匹配，计算位姿；A2、帧集合内部局部优化线程localmap：在帧集合内部利用BundleAdjustment进行位姿优化；A3、帧集合间全局优化线程globalmap：对每个帧集合求出共视度最高的一帧作为关键帧，送入全局的关键帧集合检测是否出现回环以及进行全局的BA位姿优化；A4、重定位：将追踪失败的帧利用字典得到自己的词袋向量，然后与所有的关键帧计算相似度得分，找到得分最高且超过阈值的关键帧K即认为重定位成功；B、基于u-net的三维重建补全：B1、获得训练集和测试集的作为网络输入的部分TSDF模型；B2、生成花卉的部分三维模型：利用步骤A中的三维重建方法对现实中的花卉进行扫描的部分建模，并将最终生成部分TSDF模型导出；B3、模型补全阶段：利用卷积神经网络(CNN)中的u-net网络结构训练出补全模型的深度学习网络，将前一步骤生成的部分TSDF模型导入网络得到补全后完整的TSDF模型；B4、最终模型生成阶段：将补全后的TSDF模型转化为obj模型导出得到最终的花卉三维重建模型。2.根据权利要求1所述的基于ORB与U-net的花卉三维重建方法，其特征在于：所述步骤A1包括：A11、对于深度相机读取的每一帧深度图提取ORB特征描述子，记录下ORB特征的像素坐标以及ORB特征的描述子；A12、若当前帧为第一帧，则初始化三维重建系统，并将第一帧定为世界坐标系，否则将当前帧与前一帧的ORB特征进行匹配，计算当前帧到前一帧的相机姿态变换T，在求解T之前统计当前帧与前一帧的ORB匹配对有多少，若匹配对太少则跟踪失败，进入重定位流程；A13、将每一个跟踪到的帧融合进TSDF模型中。3.根据权利要求1所述的基于ORB与U-net的花卉三维重建方法，其特征在于：所述步骤A2包括：A21、将一个帧集合内部的所有帧的ORB特征根据跟踪线程Track中得到的相机姿态投影到世界坐标系中；A22、将帧集合中的所有ORB特征根据空间位置以及描述子进行融合，并将融合后的mappoint与各个帧中的图像坐标系ORB坐...

【专利技术属性】
技术研发人员：齐越，刘麟祺，孙涛，
申请(专利权)人：北京航空航天大学青岛研究院，
类型：发明
国别省市：山东,37