基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法技术

本发明专利技术提供基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法。包括步骤：构建家庭室内场景图片训练集和测试集，训练集送入Alexnet、Googlnet、VGG三个卷积神经网络分别训练并测试得到场景特征；赋予三类场景特征相应权重，加权平均后作为全局特征；利用SSD卷积神经网络训练并得到家庭室内场景下常见物品的局部特征；采用矩阵拼接的方式融合全局和局部物品特征；聚类算法处理融合结果，生成场景分类中心向量；以场景分类中心向量作为分类标准，判断并输出待检测图片所属场景类别。利用本发明专利技术可使家庭服务机器人具备自动识别环境蕴含的场景语义，提升机器人智能化水平。

Family Indoor Scene Recognition Method Based on Deep Learning Fusing Global Features and Local Item Information

The invention provides a family indoor scene recognition method based on in-depth learning, which integrates global features and local items information. The steps include: building the training set and test set of family indoor scene pictures, training set into Alexnet, Googlnet and VGG three convolution neural networks to train and test the scene features respectively; assigning three kinds of scene features corresponding weights, weighted average as global features; using SSD convolution neural network to train and get the local features of common items in family indoor scene; Matrix stitching method fuses global and local object features; clustering algorithm processes the fusion results and generates scene classification center vectors; using scene classification center vectors as classification criteria, judges and outputs the scene category to which the image to be detected belongs. By using the present invention, the home service robot can automatically recognize the scene semantics contained in the environment and improve the intelligent level of the robot.

【技术实现步骤摘要】
基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法
本专利技术涉及场景识别领域，具体涉及一种基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法。
技术介绍
在机器人领域，机器人如何识别当前环境是计算机视觉领域极其重要的问题，家庭服务机器人的场景识别研究有助于获取机器人所在家庭场景的实时位姿信息，是家庭服务机器人对当前环境构建地图并完成后续工作的关键。而目前的家庭服务机器人智能化水平有限，并不能准确、快速的判断所处的工作环境。将深度学习中的卷积神经网络模型应用于家庭服务机器人工作场景识别，可以自动从大量图像数据中学习到隐藏在其内部的特征数据，并将特征与标签一一对应，实现了图像特征的有效提取。同时，以场景中的物品作为识别的基础特征，与人对环境的认知逻辑相吻合。将场景的全局特征和局部物品信息结合，送入卷积神经网络，机器人通过学习获得判断经验，便可以自动对当前工作环境做出判断。
技术实现思路
本专利技术所要解决的技术问题在于提供了一种基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法，解决当前家用服务机器人智能化水平不高，无法对工作环境及时作出正确响应，场景识本文档来自技高网...

【技术保护点】
1.基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法，其特征在于：包括以下步骤：步骤1，构建家庭室内场景图片训练集和测试集，将训练集同时送入Alexnet、Googlnet、VGG三个卷积神经网络分别训练生成相应的网络模型，调用模型识别训练集，输出判断每张图片所属各个场景的置信度，作为训练集的三类场景特征；步骤2，给步骤1中得到的三类场景特征赋特定权重做加权平均，结果作为训练数据集的全局特征矩阵；步骤3，使用图片标注工具框出训练集图片中的物品并标记物品标签，将生成的标注文件送入SSD卷积神经网络训练生成物品检测模型，调用模型识别训练集，输出每张图片中出现的各个种类物品标签及其置信...

【技术特征摘要】
1.基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法，其特征在于：包括以下步骤：步骤1，构建家庭室内场景图片训练集和测试集，将训练集同时送入Alexnet、Googlnet、VGG三个卷积神经网络分别训练生成相应的网络模型，调用模型识别训练集，输出判断每张图片所属各个场景的置信度，作为训练集的三类场景特征；步骤2，给步骤1中得到的三类场景特征赋特定权重做加权平均，结果作为训练数据集的全局特征矩阵；步骤3，使用图片标注工具框出训练集图片中的物品并标记物品标签，将生成的标注文件送入SSD卷积神经网络训练生成物品检测模型，调用模型识别训练集，输出每张图片中出现的各个种类物品标签及其置信度，作为训练集的物品局部特征矩阵；步骤4，融合全局和局部物品特征，将步骤二中得到的全局特征矩阵和步骤三中得到的物品局部特征矩阵水平拼接生成综合特征矩阵，矩阵的一个行向量对应训练集中一张图片的综合特征，行向量根据场景类别数和物品数目划分为两部分，前半部对应图片的全局特征，后半部对应图片的局部物体特征；步骤5，利用聚类算法，将训练集按照场景类型分类，随机取每一类场景下某一张图片的综合特征作为初始向量，分别计算综合特征中的每一个特征与中心向量组中每一特征的向量相似度，根据计算结果，按照一定的规则更新初始向量，迭代至预先设定的轮数，得到代表各个场景综合特征的中心向量，组成场景分类中心向量组；步骤6，对待检测图片做相应处理后，获得综合向量，分别计算其与场景分类中心向量组中的各个向量的欧氏距离，取距离最小的场景分类中心向量对应的场景类别标签作为识别结果输出。2.根据权利要求1所述的基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法，其特征在于：所述步骤1中，所述获得三类场景特征，具体步骤为：步骤1-1，将家庭室内场景分为卫生间、卧室、餐厅等共Num_scene个类别，为方便后续计算，将第j个场景类别命名为type_j，网络检索若干张各个场景类别下的各个视角的彩色图片按照一定比例划分为训练数据集共Num_train张图片，和测试数据集共Num_test张图片，其中，Num_scene∈N＊，Num_test∈N＊，Num_train∈N＊，i＝{i∈[1,Num_train]∧i∈N＊}，j＝{j∈[1,Num_scene]∧j∈N＊}；步骤1-2，为训练集和测试集添加场景类别标签集合：List_train＝{list_train1,list_train2,......,list_trainNum_train}List_test＝(list_test1,list_test2,......,list_testNum_test)Num_train∈N＊，Num_test∈N＊步骤1-3，依照Alexnet、Googlnet、VGG卷积神经网络的要求将训练集处理成相应数据格式后，将训练集同时送入Alexnet、Googlnet、VGG卷积神经网络，分别训练生成网络模型Model_Alexnet，Model_Googlnet，Model_VGG；步骤1-4，调用生成的网络模型识别训练集，其中第i张图片被判别为第j个场景类别的置信度分别为PAlexnet_i_j，PGooglnet_i_j，PVGG_i_j，由置信度构成该图的场景置信度向量：由三类置信度向量形成的矩阵分别作为场景特征矩阵：Num_train∈N＊，Num_scene∈N＊，i＝{i∈[1,Num_train]∧i∈N＊}，j＝{j∈[1,Num_scene]∧j∈N＊}。3.根据权利要求1所述的基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法，其特征在于：所述步骤2中，所述步骤2对三类场景特征加权平均，具体包括如下步骤：步骤2-1，调用步骤1-3中得到的网络模型，检测测试集图片获取每一张图片所属Num_scene个场景的置信度，取其中最大者对应的场景类别作为判别结果，与图片真实标签对比，若相同，则识别正确；累计Alexnet、Googlnet、VGG每种卷积神经网络的正确识别数目记作：Num_Alexnet，Num_Googlnet，Num_VGG，Num_Alexnet∈N＊，Num_Googlnet∈N＊，Num_VGG∈N＊；步骤2-2，对场景特征Matrix_Alexnet，Matrix_Googlnet，Matrix_VGG分别赋予权重Weight_Alexnet，Weight_Googlnet，Weight_VGG，其中，加权平均后训练集中第i张图片被判别为第j个场景类别的置信度可表示为：PGlobal_i_j＝Weight_Alexnet×PAlexnet_i_j+Weight_Googlnet×PGooglnet_i_j+Weight_VGG×PVGG_i_j利用新的置信度得到全局特征矩阵Matrix_Global：i＝{i∈[1,Num_train]∧i∈N＊}j＝{j∈[1,Num_scene]∧j∈N＊}。4.根据权利要求1所述的基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法，其特征在于：所述步骤3中，所述获取家庭室内场景下常见物品局部特征，具体包括如下步骤：步骤3-1，选择家庭场景下常见的物品，分别设立物品种类及数目最大值...

【专利技术属性】
技术研发人员：蒋倩，朱博，王彬，高翔，郑有祺，王翼，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32