基于视图语义信息和序列上下文信息的多视目标识别方法技术

本发明专利技术公开了一种基于视图语义信息和序列上下文信息的多视目标识别方法，包括：利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成三维模型的视图序列；使用神经网络提取视图序列中的每个视图特征，生成视图特征序列；学习视图特征序列中每个视图特征的语义信息，增强视图特征中有用的语义信息、遏制干扰信息；利用3D CNN学习增强后的视图特征序列中相邻视图特征之间的关联性，挖掘视图特征序列的上下文信息；最终通过全局平均池化将视图特征序列融合成一个紧致的特征描述符，利用特征描述符进行多视目标识别。本发明专利技术利用视图的语义信息对视图特征进行增强，提高了多视目标识别的精度。

【技术实现步骤摘要】
基于视图语义信息和序列上下文信息的多视目标识别方法
本专利技术涉及视图序列，以及多视目标识别领域，尤其涉及一种基于视图语义信息和序列上下文信息的多视目标识别方法。
技术介绍
近年来，随着三维技术在虚拟现实、三维打印、医学诊断等领域的广泛应用[1]，三维物体的数量迅速增长，使得多视目标识别方法受到了极大的关注。同时，大量的工作致力于构造有区别的描述符[2]。现有的方法[3]通常通过在三维物体周围放置虚拟摄像机获得其的多个视图，然后通过神经网络提取每个视图的特征，最后将这些视图特征融合到一个紧凑的特征描述符中。在此基础也衍生出一些知名数据库如ModelNet40[4]，有很多研究者在这个上面进行相关的研究。现有的方法，关注的地方主要在视图序列特征融合的部分，这一部分研究者们提出了很多方法，比如MVCNN[5]，GVCNN[6]等方法。这类的方法，大都会采取最大池化策略去进行视图序列特征的融合，但是这样的操作会导致融合特征中仅保存每个视图特征的最大值，对于视图中细微的变化很难去捕捉到，无法很好的学习到视图的上下文信息。r>虽然已经有人在多本文档来自技高网...

【技术保护点】
1.一种基于视图语义信息和序列上下文信息的多视目标识别方法，其特征在于，所述方法包括：/n利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成三维模型的视图序列；/n使用神经网络提取视图序列中的每个视图特征，生成视图特征序列；/n学习视图特征序列中每个视图特征的语义信息，增强视图特征中有用的语义信息、遏制干扰信息；/n利用3D CNN学习增强后的视图特征序列中相邻视图特征之间的关联性，挖掘视图特征序列的上下文信息；/n最终通过全局平均池化将视图特征序列融合成一个紧致的特征描述符，利用特征描述符进行多视目标识别。/n

【技术特征摘要】
1.一种基于视图语义信息和序列上下文信息的多视目标识别方法，其特征在于，所述方法包括：
利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成三维模型的视图序列；
使用神经网络提取视图序列中的每个视图特征，生成视图特征序列；
学习视图特征序列中每个视图特征的语义信息，增强视图特征中有用的语义信息、遏制干扰信息；
利用3DCNN学习增强后的视图特征序列中相邻视图特征之间的关联性，挖掘视图特征序列的上下文信息；
最终通过全局平均池化将视图特征序列融合成一个紧致的特征描述符，利用特征描述符进行多视目标识别。


2.根据权利要求1所述的一种基于视图语义信息和序列上下文信息的多视目标识别方法，其特征在于，所述学习视图特征序列中每个视图特征的语义信息，增强视图特征中有用的语义信息、遏制干扰信息具体为：
利用视图特征中每个通道包含的全局统计信息代表其语义信息的重要性；
基于全局统计信息获取视图序列中第i个视图特征的第c个特征图的重要性；利用特征图的重要性更新每个特征图
最后，更新视图特征序列中所有视图特征的特征图，得到更新后...

【专利技术属性】
技术研发人员：刘安安，郭富宾，周河宇，宋丹，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12