一种基于深度学习的运动物体三维模型重建方法技术

本发明专利技术公开了一种基于深度学习的运动物体三维模型重建方法，包括以下步骤：生成训练数据；提取通用特征；增强空间特征；融合特征信息；分析时间上下文；重建运动物体三维形状；估计运动姿态；生成运动物体三维模型以及训练神经网络。本发明专利技术通过卷积神经网络进行特征提取与特征增强，同时利用双向门控循环神经网络进行时间上下文分析，简单和高效地完成了运动物体三维模型重建任务。

A 3D model reconstruction method of moving object based on deep learning

The invention discloses a 3D model reconstruction method of moving object based on deep learning, which comprises the following steps: generating training data; extracting general features; enhancing spatial features; fusing feature information; analyzing time context; reconstructing 3D shape of moving object; estimating motion attitude; generating 3D model of moving object and training neural network. In the invention, the convolution neural network is used for feature extraction and feature enhancement, and the bidirectional gated cyclic neural network is used for time context analysis, so that the 3D model reconstruction task of the moving object is completed simply and efficiently.

【技术实现步骤摘要】
一种基于深度学习的运动物体三维模型重建方法
本专利技术涉及计算机视觉领域，具体涉及一种基于深度学习的运动物体三维模型重建方法。
技术介绍
运动物体的三维模型重建是指将真实运动场景中的三维物体在计算机中建立三维模型，是计算机视觉领域的一个热门研究方向。相比于静态场景，运动物体的三维模型能够同时提供物体形状与运动姿态信息，更加全面的展示物体特性，因而在计算机动画、人机交互、现代医学等多个领域都有着广泛的应用。三维模型重建主要的任务是生成特定表达形式的三维模型，还原物体本身形状信息；运动物体的三维重建要求完成形状重建的同时，能够预测物体运动姿态。传统运动物体重建经典算法SFM(structurefrommotion)使用一系列包含视觉运动信息的多幅二维图像序列中估计三维形状，计算量较大，过程复杂，包括以下步骤：获取图像、摄相机标定、特征点提取、特征点匹配、获取物体的深度图、恢复物体的三维信息等流程。但由于物体形状及运动信息的复杂性，目前的许多方法都存在精确度差、鲁棒性低和算法复杂度高的问题，严重制约了运动物体三维重建技术的发展与应用。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的运动物体三维模型重建方法，其特征在于，包括以下步骤：/n步骤一：生成训练数据/n将CAD模型按照一定轨迹运动，模仿背景分割处理后的真实物体运动场景；记录运动场景图片以及对应运动物体姿态，组成一个运动视频；对CAD模型进行点云采样，得到物体真实形状信息；/n步骤二：提取通用特征/n输入运动视频，通过卷积神经网络的加深，获取运动场景图片的高层语义特征图；/n步骤三：增强空间特征/n通过反卷积神经网络和条形卷积对高层语义特征图进行运动姿态空间信息增强，输出增强后的空间特征向量；/n步骤四：融合特征信息/n将提取到的高层语义特征图经过全局平均池化得到通用特征向量，将通用特征向量与...

【技术特征摘要】
1.一种基于深度学习的运动物体三维模型重建方法，其特征在于，包括以下步骤：
步骤一：生成训练数据
将CAD模型按照一定轨迹运动，模仿背景分割处理后的真实物体运动场景；记录运动场景图片以及对应运动物体姿态，组成一个运动视频；对CAD模型进行点云采样，得到物体真实形状信息；
步骤二：提取通用特征
输入运动视频，通过卷积神经网络的加深，获取运动场景图片的高层语义特征图；
步骤三：增强空间特征
通过反卷积神经网络和条形卷积对高层语义特征图进行运动姿态空间信息增强，输出增强后的空间特征向量；
步骤四：融合特征信息
将提取到的高层语义特征图经过全局平均池化得到通用特征向量，将通用特征向量与空间特征向量进行融合并输出；
步骤五：分析时间上下文
将图片序列融合后的特征向量独立输入对应的时间上下文分析模块，首先利用全连接神经网络调整特征向量维度；接着使用双向门控循环神经网络对图片序列之间进行时间上下文语义分析，独立输出分析后的特征向量；再次利用全连接神经网络调整特征向量维度，输出运动物体形状点云与姿态估计参数；
步骤六：重建运动物体三维形状
将输出的运动物体形状点云以三角片拟合进行三维形状重建，得到标准的静止物体三维模型，同时对点云生成最小包围框，用来展示运动姿态；
步骤七：估计运动姿态
对输出的姿态估计参数经过齐次变换得到物体的运动姿态，包括物体空间位置与物体自身朝向；
步骤八：生成运动物体三维模型
将静止物体三维模型与运动姿态相乘，得到运动物体三维模型；
步骤九：训练神经网络
将训练样本输入神经网络，设置损失函数自动训练，逐步更新网络参数，优化网络模型，得到最优结果。


2.如权利要求1所述的一种基于深度学习的运动物体三维模型重建方法，其特征在于，在步骤二中，所述卷积神经网络包含5个卷积模块，每个卷积模块的层数相同，卷积模块采用组合批归一化，Relu激活函数。


3.如权利要求1所述的一种基于深度学习的运动物体三维模型重建方法，其特征在于，在步骤三中，所述反卷积神经网络由5个反卷积层组成，在增强空间特征的过程中，将步骤二得到的高层语义特征图输入第一反卷积层，各反卷积层与步骤二的卷积神经网络中各卷积模块对应，通过反卷积层的加深，增大输出特征图的尺寸；最后一个反卷积的输出特征图维度为1，大小与初始输入图片相同，经过横向条形卷积与纵向条形卷积空间特征向量，其维度分别为初始图片宽与高。


4.如权利要求1所述的一种基于深度学习的运动物体三维模型重建方法，其特征在于，在步骤四中，将提取到的高层语义特征图经过全局平均池化过程里，每一通道的特征图输出一个特...

【专利技术属性】
技术研发人员：杨路，杨经纶，李佑华，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51