一种基于深度学习和特权信息的场景识别方法技术

本发明专利技术提出了一种基于深度学习和特权信息的场景识别方法，属于图像处理技术领域。其具体步骤包括(1.1)：从场景识别库中选取多个主要场景的RGB图像和深度图像，并将其与RGB图像进行配对；(1.2)：构建结合特权信息和注意力机制的端到端可训练的深度神经网络模型；(1.3)：对深度神经网络模型进行训练，训练时使用权重重分配的方式避免数据不均衡；(1.4)：得到该图像的场景分类结果。本发明专利技术以图像编码到特征解码再到图像编码为架构，建立了由RGB图像到深度图像再到深度图像高层语义特征的映射关系。有效解决了深度模态缺失的现状，在只使用RGB图像的情况下，达到了多模态图像融合的效果。

A scene recognition method based on deep learning and privilege information

【技术实现步骤摘要】
一种基于深度学习和特权信息的场景识别方法
本专利技术涉及图像处理
，具体涉及一种基于深度学习和特权信息的场景识别方法。
技术介绍
现有技术中，场景识别作为计算机视觉领域的重要分支之一，已广泛应用于人机交互、智能机器人、智能视频监控、自动驾驶等领域；它也被认为是其他高级计算机视觉任务如图像检索和目标检测的前提或先验知识。近年来，随着大型数据集的提出，基于深度学习的场景识别方法得到了飞速发展，取得比传统算法更好的识别效果；与此同时，深度图像信息可以为场景识别提供有价值的全局布局信息；将RGB图像与深度图像相结合，将进一步提高场景识别的效果；然而，其缺点是：深度图像存在着获取难度高，数据量小的现状。
技术实现思路
针对上述问题，本专利技术提供了一种基于深度学习和特权信息的场景识别方法，通过将深度图像作为特权信息的方式，解决了深度图像难以获取，数据量少的现状，利用深度学习与特权信息相结合的方法实现了场景识别。本专利技术的技术方案是：一种基于深度学习和特权信息的场景识别方法，所述场景识别方法包括以下步骤：本文档来自技高网...

【技术保护点】
1.一种基于深度学习和特权信息的场景识别方法，其特征在于，所述场景识别方法包括以下步骤：/n步骤(1.1)：从场景识别库中选取若干场景的RGB图像和深度图像，对深度图像的水平视差、地面高度和重力角度进行编码，将编码后的深度图像与RGB图像进行配对，将配对成功的图像按比例划分为训练集和测试集；/n步骤(1.2)：构建结合特权信息和注意力机制的深度神经网络，该深度神经网络通过端到端的方式进行训练；/n所述的深度神经网络包括编码器网络、解码器网络、语义一致性网络、特权信息提取网络、分类器网络及注意力模块；/n步骤(1.3)：利用步骤(1.1)中划分好的训练集，对深度神经网络进行训练，在训练过程中，采...

【技术特征摘要】
1.一种基于深度学习和特权信息的场景识别方法，其特征在于，所述场景识别方法包括以下步骤：
步骤(1.1)：从场景识别库中选取若干场景的RGB图像和深度图像，对深度图像的水平视差、地面高度和重力角度进行编码，将编码后的深度图像与RGB图像进行配对，将配对成功的图像按比例划分为训练集和测试集；
步骤(1.2)：构建结合特权信息和注意力机制的深度神经网络，该深度神经网络通过端到端的方式进行训练；
所述的深度神经网络包括编码器网络、解码器网络、语义一致性网络、特权信息提取网络、分类器网络及注意力模块；
步骤(1.3)：利用步骤(1.1)中划分好的训练集，对深度神经网络进行训练，在训练过程中，采用权重重分配的方式，从而提高少数目类别的权重，降低多数目的类别权重；
步骤(1.4)：步骤(1.2)中所述的语义一致性网络是用于保证生成图像的质量、指导编码器网络和解码器网络的学习特权信息；只需在训练阶段使用；而在进行测试阶段时，则需将深度神经网络中的语义一致性网络去除，以RGB图像作为输入，得到该图像的场景分类结果。


2.根据权利要求1所述的一种基于深度学习和特权信息的场景识别方法，其特征在于：在步骤(1.2)中，将深度神经网络构建中的编码器网络、解码器网络及语义一致性网络构成图像生成模型；
其中，所述编码器网络与解码器网络通过编解码结构生成伪深度图像，
所述语义一致性网络在训练时通过语义一致性损失拉近伪深度图像...

【专利技术属性】
技术研发人员：孙宁，王龙玉，李晓飞，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32