【技术实现步骤摘要】
一种基于深度学习的三维图像同步识别和分割方法
本专利技术涉及一种基于深度学习的三维图像同步识别和分割方法。
技术介绍
实现失效目标的在轨操作任务的前提是解决目标识别和场景理解问题，传统方法大多采用FasterR-CNN算法进行目标分类和目标检测，借助SegNet、ENet等实施语义分割，采用MaskR-CNN方法进行实例分割，会存在以下弊端：1)仅能对2D图像操作，并在2D空间输出结果，而空间可以提供完备的场景深度信息，由于没有很好地利用空间3D信息，无法获得更好的性能；2)已有方法都是孤立地去处理目标识别、目标检测、实例分割和语义分割等任务，没有很好地利用任务之间的关联，充分挖掘内在的关联信息，无法获得大幅度的性能提升。
技术实现思路
本专利技术提供一种基于深度学习的三维图像同步识别和分割方法，基于深度学习实现空间非结构复杂环境目标识别、目标检测、语义分割和实例分割等智能感知，完成空间非结构复杂环境场景解析与表征，解决了目标识别和场景理解存在的识别鲁棒性差、泛化性差以及难以获得更深层次语义信息的问题，为...
【技术保护点】
1.一种基于深度学习的三维图像同步识别和分割方法，其特征在于，包含以下步骤：/n采用Faster RCNN网络实现对空间非结构复杂环境的三维图像的目标分类和目标检测，采用U-Net网络实现对空间非结构复杂环境的场景的语义分割和实例分割，最终获得空间目标或部组件实体；/n基于目标分类、目标检测、语义分割和实例分割结果，提取各目标与部组件实体，利用视觉系统中深度相机输出的三维点云信息，抽取不同目标或部组件实体之间的几何关系，并将其映射至各目标或部组件实体对应的节点之间的空间关系、时序关系以及语义关系，生成描述空间非结构复杂环境的知识图谱，完成目标尺寸、位置、角度、速度和角速度的...
【技术特征摘要】
1.一种基于深度学习的三维图像同步识别和分割方法，其特征在于，包含以下步骤：
采用FasterRCNN网络实现对空间非结构复杂环境的三维图像的目标分类和目标检测，采用U-Net网络实现对空间非结构复杂环境的场景的语义分割和实例分割，最终获得空间目标或部组件实体；
基于目标分类、目标检测、语义分割和实例分割结果，提取各目标与部组件实体，利用视觉系统中深度相机输出的三维点云信息，抽取不同目标或部组件实体之间的几何关系，并将其映射至各目标或部组件实体对应的节点之间的空间关系、时序关系以及语义关系，生成描述空间非结构复杂环境的知识图谱，完成目标尺寸、位置、角度、速度和角速度的语义描述，实现目标的智能识别和场景理解。
2.如权利要求1所述的基于深度学习的三维图像同步识别和分割方法，其特征在于，所述的采用FasterRCNN网络实现目标分类和目标检测的方法包含：
通过多层的卷积层和池化层来提取三维图像的特征图；
区域提议网络根据倒数第二层的卷积层和池化层的输出结果生成候选区域；
候选区域匹配综合倒数第二层的卷积层和池化层的输出结果，以及区域提议网络输出的候选区域，提取候选区域的特征图送入最后一层的卷积层和池化层；
全连接层根据最后一层的卷积层和池化层输出的候选区域的特征图判定目标类别，实现目标分类，全连接层使用检测框回归方法获得检测框的精确位置，实现目标检测。
3.如权利要求2所述的基于深度学习的三维图像同步识别和分割方法，其特征在于，所述的区域提议网络通过softmax函数判断图像区域属于正类或者负类，再利用检测框回归方法进行修正以获得精确的候选区域，损失函数是分类误差和回归误差的联合损失：
式中，i表示第i个锚点，表示第i个锚点为正样本，表示候选区域边框t＝(tx,ty,tz,tw,th,td)和真实边框v＝(vx,vy,vz,vw,vh,vd...
【专利技术属性】
技术研发人员：武海雷，韩飞，孙俊，梁彦，牟金震，阳光，
申请(专利权)人：上海航天控制技术研究所，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。