激光成像仪和彩色相机编码融合目标识别方法及系统技术方案

本发明专利技术涉及一种激光成像仪和彩色相机编码融合目标识别方法及系统。所述方法包括获取待识别目标的深度图像和RGB图像；对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；本发明专利技术所提供的一种激光成像仪和彩色相机编码融合目标识别方法及系统，提高了目标识别的速度和精度。

【技术实现步骤摘要】
激光成像仪和彩色相机编码融合目标识别方法及系统
本专利技术涉及多模态融合目标识别领域，特别是涉及一种激光成像仪和彩色相机编码融合目标识别方法及系统。
技术介绍
在人工智能迅猛发展的时代，机器人、无人车、智能安检、智能监控等智能设备发展迅速，正在不断改变人们的日常生活。这些智能设备虽然功能各异，但是为了在复杂环境下高可靠地完成多样化任务，其必须能够实现对目标的快速成像、识别，才能为智能设备的跟踪、排险、打击等提供信息支撑。因此，目标识别一直以来都是人工智能领域计算机视觉方向最受关注的视觉任务之一。目前，目标识别方法按照图像类型主要可分为二维目标识别(RGB图像)和三维目标识别(RGB-D图像)。其中，基于RGB图像的目标识别算法已经达到了很高的识别精度，但是由于RGB色彩模态信息很容易受到外界环境的影响而导致此类算法难以适应更广泛的目标识别场景；关于RGB-D图像目标识别的研究多采用RGB图像数据集预训练的网络参数对深度图像网络进行微调或者把深度图像作为RGB图像的第四通道来进行简单处理，没有对RGB图像和深度图像之间的关系进行详细研究，本文档来自技高网...

【技术保护点】
1.一种激光成像仪和彩色相机编码融合目标识别方法，其特征在于，包括：/n获取待识别目标的深度图像和RGB图像；所述深度图像利用激光成像仪获取；所述RGB图像利用彩色相机获取；/n对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；所述预处理包括边缘填充法、深度图像彩色化的方法以及去均值的方法；/n采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；所述双线性编码融合网络以所述预处理后的深度图像和预处理后的RGB图像为输入，以目标识别结果为输出。/n

【技术特征摘要】
1.一种激光成像仪和彩色相机编码融合目标识别方法，其特征在于，包括：
获取待识别目标的深度图像和RGB图像；所述深度图像利用激光成像仪获取；所述RGB图像利用彩色相机获取；
对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；所述预处理包括边缘填充法、深度图像彩色化的方法以及去均值的方法；
采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；所述双线性编码融合网络以所述预处理后的深度图像和预处理后的RGB图像为输入，以目标识别结果为输出。


2.根据权利要求1所述的一种激光成像仪和彩色相机编码融合目标识别方法，其特征在于，所述对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像，具体包括：
利用边缘填充法调整所述深度图像的尺寸和所述RGB图像的尺寸；
利用深度图像彩色化的方法处理尺寸调整后的深度图像；
利用去均值的方法处理尺寸调整后的RGB图像以及深度图像彩色化后的深度图像。


3.根据权利要求1所述的一种激光成像仪和彩色相机编码融合目标识别方法，其特征在于，所述采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别，具体包括：
利用所述双线性编码融合网络的RGB图像卷积层提取所述预处理后的RGB图像的特征；
利用所述双线性编码融合网络的深度图像卷积层提取所述预处理后的深度图像的特征；
利用双线性融合方法对所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合，得到融合特征；
根据所述融合特征，采用稀疏编码，确定所述融合特征的稀疏系数；
对所述融合特征和所述稀疏系数进行局部聚合描述子向量编码，确定编码后的局部特征；
对所述编码后的局部特征进行聚合和归一化处理，确定全局特征；
根据所述全局特征，采用所述双线性编码融合网络的全连接层，将所述全局特征映射到样本标记空间；
利用所述双线性编码融合网络的softmax分类器对映射到样本标记空间的全局特征进行目标识别。


4.根据权利要求3所述的一种激光成像仪和彩色相机编码融合目标识别方法，其特征在于，所述双线性编码融合网络RGB图像卷积层和所述深度图像卷积层的结构相同，且均由6层卷积网络构成；
第一层卷积网络的输入大小为224×224×3，卷积核大小为11×11，输出通道数为64；第二层卷积网络的输入大小为27×27×64，卷积核大小为5×5，输出通道数为192；第三层卷积网络的输入大小为13×13×192，卷积核大小为3×3，输出通道数为384；第四层卷积网络的输入大小为13×13×384，卷积核大小为3×3，输出通道数为256；第五层卷积网络的输入大小为13×13×256，卷积核大小为3×3，输出通道数为256；第六层卷积网络的输入大小为6×6×256，卷积核大小为1×1，输出通道数为32。


5.一种激光成像仪和彩色相机编码融合目标识别系统，其特征在于，包括：...

【专利技术属性】
技术研发人员：裴大茗，宋萍，翟亚宇，杨诚，王建峰，
申请(专利权)人：中国船舶工业综合技术经济研究院，北京理工大学，
类型：发明
国别省市：北京;11