一种基于多模态特征融合的三维对象融合特征表示方法技术

本发明专利技术提供一种基于多模态特征融合的三维对象融合特征表示方法。本发明专利技术将三种模态的三维模型特征表示，都做了一个非常细致的实现和复现：三维模型的多视图特征表示、点云特征表示以及网格特征表示。对多模态三维数据进行了处理、增强和融合，并基于此提取出了三维对象的融合特征表示。本发明专利技术能实现非常优秀的多模态信息融合，实现更加鲁棒的三维模型特征表示，供给其他三维对象任务使用。

A feature representation method of 3D object fusion based on multi-modal feature fusion

【技术实现步骤摘要】
一种基于多模态特征融合的三维对象融合特征表示方法
本专利技术属于计算机图像及人工智能
，提供一种融合了三维多模态信息且更加高效的三维对象融合特征表示形式。
技术介绍
3D数据识别和分析是多媒体和计算机视觉领域的一个基础和有趣的领域，涵盖了从环境理解到自动驾驶的广泛应用。如何理解3D数据，例如识别3D形状，近年来引起了很多关注。随着深度学习的发展，各种深度网络被用于处理不同类型的3D数据：点云(PointCloud)，多视图(Multi-view)和体积(Volumetric)数据。虽然将2D卷积神经网络扩展到体积数据是自然而合理的，但这些方法具有较大的计算复杂性和数据稀疏性，使得难以处理高图像分辨率。相比之下，分析多视图数据或点云数据由于其更广泛的数据采集和存储来源，因此更加灵活并且报告了更好的性能。除了以上传统三维对象表示形式，另外有一种叫作“网格”(Mesh)的三维特征表示方法，在计算机图形设计及三维模型表示方面有重要的地位。3D形状的网格数据是顶点，边和面的集合，其主要用于计算机图形中以渲染和存储3D模型。网格数据具有复杂性和不规则本文档来自技高网...

【技术保护点】
1.一种基于多模态特征融合的三维对象融合特征表示方法,其特征在于，步骤如下：/n步骤(1)、通过多视图神经网络处理多视图三维信息；/n通过多视图神经网络处理多视图三维信息；通过多个不共享权重的独立的CNN，分别输入多视图信息，再通过Max-pooling，将多个CNN的输出统一到一个输出上，追加判别器(即基于全连接层的非线性分类器)进行模型的分类；/n首先将三维模型数据转化成多视图数据，具体方式是在三维模型的中间水平面上，绕三维模型一周均匀摆放12个摄像头，拍摄一组共12张图片作为三维模型的多视图表示；然后通过OpenCV或者Pillow图像处理工具将每张图片都调整成256x256像素大小，再...

【技术特征摘要】
1.一种基于多模态特征融合的三维对象融合特征表示方法,其特征在于，步骤如下：
步骤(1)、通过多视图神经网络处理多视图三维信息；
通过多视图神经网络处理多视图三维信息；通过多个不共享权重的独立的CNN，分别输入多视图信息，再通过Max-pooling，将多个CNN的输出统一到一个输出上，追加判别器(即基于全连接层的非线性分类器)进行模型的分类；
首先将三维模型数据转化成多视图数据，具体方式是在三维模型的中间水平面上，绕三维模型一周均匀摆放12个摄像头，拍摄一组共12张图片作为三维模型的多视图表示；然后通过OpenCV或者Pillow图像处理工具将每张图片都调整成256x256像素大小，再进行随机的224x224大小的区块的裁切；将处理后的图像，分别输入多个CNN模型中，CNN模型的输入层接收这些数据，随后进行多层的卷积操作，即通过卷积后再卷积的形式，不断抽取特征；最后，多个CNN都输出相同尺寸的卷积特征，利用max-pooling操作将这些特征进行统一，具体的方式是在多个CNN的输出结果上，滑动pooling窗口，每个窗口都取各自的最大值作为这个窗口的计算结果，获得最终的全局多视图特征，通过判别器实现三维模型的分类，判别器采用基于全连接层的非线性分类器，本质上是一个多项式，但是每一项中间会增加非线性函数(如Relu函数)实现分类器的非线性；
步骤(2)、点云的特征提取网络；
基于经典的点云处理网络模型，对点云数据进行特征提，具体如下：
设具有n个点的F维点云表示为通常F＝3并且每个点都在3D坐标中；首先通过3D空间变换网络计算仿射变换矩阵，仿射变换矩阵用于保持点云对几何变换不变；然后采用EdgeConv作为基本层进行堆叠或循环应用于网络中；EdgeConv首先收集每...

【专利技术属性】
技术研发人员：颜成钢，龚镖，白俊杰，孙垚棋，张继勇，张勇东，沈韬，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33