一种基于物体识别和三维重建的拆解安装辅助系统技术方案

本发明专利技术公开了一种基于物体识别和三维重建的拆解安装辅助系统，包括用于采集彩色图像和深度图像的图像采集模块以及与其相连用于信号传输的传输模块、用于识别物体和重建模型的信号处理模块、用于信息合成和判断的服务器和与所述传输模块相连的显示模块；所述信号处理模块包括识别模块和重建模块，该信号处理模块与所述集群服务器之间通过所述传输模块传输数据，图像采集模块采集彩色图像和深度图像，并通过传输模块将图像传给服务器，识别模块对彩色图像进行物体识别，并返回结果。重建模块利用采集深度图序列，重建出部件的三维点云模型，并与预先设计的零件三维模型做比对，识别部件并且检测是否有完好，返回在显示模块上显示。

【技术实现步骤摘要】
一种基于物体识别和三维重建的拆解安装辅助系统
本专利技术属于拆解安装辅助系统领域，具体涉及一种基于物体识别和三维重建的拆解安装辅助系统。
技术介绍
基于深度神经网络的物体检测方法:SSD是一种快速、准确的物体识别的方法。SSD方法基于前馈卷积网络，产生规定大小的边界框集合和框中对象类别的分数，然后通过非最大化抑制步骤产生最终检测结果。SSD使用VCG-16作为基础网络，向网络添加辅助结构。在截断的基础网络的末尾添加卷积特征层。这些层尺寸组件减小，得到多个尺寸检测的预测值。检测的卷积模型对于每个特征层是不同的。每个添加的特征层可以使用一组卷及滤波器产生固定的预测集合。对于具有p个通道的大小为m*n的特征层，使用3*3*p的卷积核卷积操作，产生类别的分数或相对于默认框的坐标偏移。在特征图的每个位置预测k个默认框，预测c个类别分数，以及默认框的4个偏移量，在m*n的特征图上将产生(c+4)*k*m*n个预测值。三维重建:三维重建可以通过双目视觉、ToF或结构光的方法获得二维图像中像素点的深度信息，获得像素点的世界坐标(x，y，z)就可以得到一片初始的三维点云。获取多个视角的三维点云，对点云本文档来自技高网...

【技术保护点】
1.一种基于物体识别和三维重建的拆解安装辅助系统，其特征在于：包括用于采集彩色图像和深度图像的图像采集模块以及与其相连用于信号传输的传输模块、用于识别物体和重建模型的信号处理模块、用于信息合成和判断的服务器和与所述传输模块相连的显示模块；所述信号处理模块包括识别模块和重建模块，该信号处理模块与所述集群服务器之间通过所述传输模块传输数据。

【技术特征摘要】
1.一种基于物体识别和三维重建的拆解安装辅助系统，其特征在于：包括用于采集彩色图像和深度图像的图像采集模块以及与其相连用于信号传输的传输模块、用于识别物体和重建模型的信号处理模块、用于信息合成和判断的服务器和与所述传输模块相连的显示模块；所述信号处理模块包括识别模块和重建模块，该信号处理模块与所述集群服务器之间通过所述传输模块传输数据。2.根据权利要求1所述的基于物体识别和三维重建的拆解安装辅助系统，其特征在于：所述图像采集模块为一个彩色摄像头和一个基于结构光的深...

【专利技术属性】
技术研发人员：姜柏帆，张岚，程平，杨正军，
申请(专利权)人：四川奇迹云科技有限公司，四川虹电数字家庭产业技术研究院有限公司，
类型：发明
国别省市：四川,51