一种家居图像多目标识别方法及装置制造方法及图纸

本发明专利技术提供一种家居图像多目标识别方法及装置，能够为家居图像训练节省大量训练数据、计算资源和训练时间，且能够提高多目标识别的准确率。所述方法包括：获取家居图像数据集作为训练集；将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型，采用迁移学习的方法，保留预训练模型的卷积层和池化层，通过保留的卷积层和池化层提取训练集的图像特征，构建第一特征图和池化特征图；对池化特征图进行三次卷积操作，得到第二特征图；对第一特征图和第二特征图依次作全局均值池化、归一化、反池化、反卷积操作，将反卷积操作后的两组特征图进行融合；利用softmax分类器对融合后的特征图进行分类识别。本发明专利技术涉及深度学习领域。

A Multi-target Recognition Method and Device for Home Images

【技术实现步骤摘要】
一种家居图像多目标识别方法及装置
本专利技术涉及深度学习领域，特别是指一种家居图像多目标识别方法及装置。
技术介绍
近年来，随着人工智能的快速发展和互联网的普及，智慧时代迅速到来，智能家居成为当前的人工智能和物联网的一大热点，家庭中摄像设备数量急剧增加，海量家居图像数据需要处理，一张家居图像中通常含有多个识别目标，通常的图像识别方法只能针对单一目标的图像识别，多目标图像识别成为人工智能的研究重点，也成为制约智能家居发展的难点。卷积神经网络(ConvolutionalNeuralNetworks,CNN)是近些年逐步兴起的一种人工神经网络结构，该技术被广泛的应用于图像识别领域，具有效率高、准确率高和能够处理海量数据等优点。CNN通过卷积、池化等一系列方法，将图像数据降维，方便其被训练，并高效地提取目标特征，因此能够处理庞大的图像数据识别问题。但是现有的CNN图像识别方法需要大量训练样本，并且每次训练需要大量的计算资源和训练时间，且存在多目标识别准确率低的问题。
技术实现思路
本专利技术要解决的技术问题是提供一种家居图像多目标识别方法及装置，以解决现有技术所存在的图像识别方法需要大量训练样本、计算资源、训练时间以及多目标识别准确率低的问题。为解决上述技术问题，本专利技术实施例提供一种家居图像多目标识别方法，包括：获取家居图像数据集作为训练集；将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型，采用迁移学习的方法，保留预训练模型的卷积层和池化层，并将预训练模型中卷积层和池化层学习到的特征权重作为训练集训练的初始特征权重，通过保留的卷积层和池化层提取训练集的图像特征，构建第一特征图和池化特征图；其中，所述第一特征图是由保留的预训练模型的最后一层卷积层输出，所述池化特征图是由保留的预训练模型的最后一层池化层输出；对池化特征图进行三次卷积操作，得到第二特征图；对第一特征图和第二特征图依次作全局均值池化、归一化、反池化、反卷积操作，将反卷积操作后的两组特征图进行融合；利用softmax分类器对融合后的特征图进行分类识别。进一步地，所述对池化特征图进行三次卷积操作，得到第二特征图包括：将卷积神经网络模型的全连接层替换成三层全卷积层；利用得到的三层全卷积层，对池化特征图进行三次卷积操作，得到第二特征图。进一步地，全局均值池化操作是将第一特征图的所有像素值相加再除以第一特征图的大小，得到第一特征图的像素平均值；还用于将第二特征图的所有像素值相加再除以第二特征图的大小，得到第二特征图的像素平均值。进一步地，所述将反卷积操作后的两组特征图进行融合包括：将反卷积操作后的两组特征图按位相加进行融合。进一步地，所述利用softmax分类器对融合后的特征图进行分类识别包括：使用softmax分类器对融合特征图的每一个像素点计算分类损失，将每个像素点在所有第二特征图中该像素位置的概率最高的类别作为该像素点的类别。本专利技术实施例还提供一种家居图像多目标识别装置，包括：获取模块和用于家居图像识别的多目标识别卷积神经网络模型；所述多目标识别卷积神经网络模型包括：特征迁移模块、全卷积模块、特征融合模块、分类模块；其中，获取模块，用于获取家居图像数据集作为训练集；特征迁移模块，用于将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型，采用迁移学习的方法，保留预训练模型的卷积层和池化层，并将预训练模型中卷积层和池化层学习到的特征权重作为训练集训练的初始特征权重，通过保留的卷积层和池化层提取训练集的图像特征，构建第一特征图和池化特征图；其中，所述第一特征图是由保留的预训练模型的最后一层卷积层输出，所述池化特征图是由保留的预训练模型的最后一层池化层输出；全卷积模块，用于对池化特征图进行三次卷积操作，得到第二特征图；特征融合模块，用于对第一特征图和第二特征图依次作全局均值池化、归一化、反池化、反卷积操作，将反卷积操作后的两组特征图进行融合；分类模块，用于利用softmax分类器对融合后的特征图进行分类识别。进一步地，所述全卷积模块包括：替换单元，用于将卷积神经网络模型的全连接层替换成三层全卷积层；操作单元，用于利用得到的三层全卷积层，对池化特征图进行三次卷积操作，得到第二特征图。进一步地，全局均值池化操作是将第一特征图的所有像素值相加再除以第一特征图的大小，得到第一特征图的像素平均值；还用于将第二特征图的所有像素值相加再除以第二特征图的大小，得到第二特征图的像素平均值。进一步地，所述分类模块，用于使用softmax分类器对融合特征图的每一个像素点计算分类损失，将每个像素点在所有第二特征图中该像素位置的概率最高的类别作为该像素点的类别。本专利技术的上述技术方案的有益效果如下：上述方案中，获取家居图像数据集作为训练集；将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型，采用迁移学习的方法，保留预训练模型的卷积层和池化层，并将预训练模型中卷积层和池化层学习到的特征权重作为训练集训练的初始特征权重，通过保留的卷积层和池化层提取训练集的图像特征，构建第一特征图和池化特征图；对池化特征图进行三次卷积操作，得到第二特征图；对第一特征图和第二特征图依次作全局均值池化、归一化、反池化、反卷积操作，将反卷积操作后的两组特征图进行融合；利用softmax分类器对融合后的特征图进行分类识别。这样，通过迁移学习的方法，将在目标领域图像数据集上学到的图像知识应用到家居图像分类问题上，完成目标领域数据集的特征迁移，能够为家居图像训练节省大量训练数据、计算资源和训练时间，且能够提高多目标识别的准确率。附图说明图1为本专利技术实施例提供的家居图像多目标识别方法的流程示意图；图2为本专利技术实施例提供的特征融合模块的结构示意图；图3为本专利技术实施例提供的MTR-CNN模型的具体结构示意图；图4为本专利技术实施例提供的家居图像多目标识别装置的结构示意图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本专利技术针对现有的图像识别方法需要大量训练样本、计算资源、训练时间的问题，提供一种家居图像多目标识别方法及装置。实施例一如图1所示，本专利技术实施例提供的家居图像多目标识别方法，包括：S101，获取家居图像数据集作为训练集；S102，将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型，采用迁移学习的方法，保留预训练模型的卷积层和池化层，并将预训练模型中卷积层和池化层学习到的特征权重作为训练集训练的初始特征权重，通过保留的卷积层和池化层提取训练集的图像特征，构建第一特征图和池化特征图；其中，所述第一特征图是由保留的预训练模型的最后一层卷积层输出，所述池化特征图是由保留的预训练模型的最后一层池化层输出；S103，对池化特征图进行三次卷积操作，得到第二特征图；S104，对第一特征图和第二特征图依次作全局均值池化、归一化、反池化、反卷积操作，将反卷积操作后的两组特征图进行融合；S105，利用softmax分类器对融合后的特征图进行分类识别。本专利技术实施例所述的家居图像多目标识别方法，获取家居图像数据集作为训练集；将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型，采用迁移学习的方法，保留预训练模型的卷积层和池化层，并将本文档来自技高网...

【技术保护点】
1.一种家居图像多目标识别方法，其特征在于，包括：获取家居图像数据集作为训练集；将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型，采用迁移学习的方法，保留预训练模型的卷积层和池化层，并将预训练模型中卷积层和池化层学习到的特征权重作为训练集训练的初始特征权重，通过保留的卷积层和池化层提取训练集的图像特征，构建第一特征图和池化特征图；其中，所述第一特征图是由保留的预训练模型的最后一层卷积层输出，所述池化特征图是由保留的预训练模型的最后一层池化层输出；对池化特征图进行三次卷积操作，得到第二特征图；对第一特征图和第二特征图依次作全局均值池化、归一化、反池化、反卷积操作，将反卷积操作后的两组特征图进行融合；利用softmax分类器对融合后的特征图进行分类识别。

【技术特征摘要】
1.一种家居图像多目标识别方法，其特征在于，包括：获取家居图像数据集作为训练集；将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型，采用迁移学习的方法，保留预训练模型的卷积层和池化层，并将预训练模型中卷积层和池化层学习到的特征权重作为训练集训练的初始特征权重，通过保留的卷积层和池化层提取训练集的图像特征，构建第一特征图和池化特征图；其中，所述第一特征图是由保留的预训练模型的最后一层卷积层输出，所述池化特征图是由保留的预训练模型的最后一层池化层输出；对池化特征图进行三次卷积操作，得到第二特征图；对第一特征图和第二特征图依次作全局均值池化、归一化、反池化、反卷积操作，将反卷积操作后的两组特征图进行融合；利用softmax分类器对融合后的特征图进行分类识别。2.根据权利要求1所述的家居图像多目标识别方法，其特征在于，所述对池化特征图进行三次卷积操作，得到第二特征图包括：将卷积神经网络模型的全连接层替换成三层全卷积层；利用得到的三层全卷积层，对池化特征图进行三次卷积操作，得到第二特征图。3.根据权利要求1所述的家居图像多目标识别方法，其特征在于，全局均值池化操作是将第一特征图的所有像素值相加再除以第一特征图的大小，得到第一特征图的像素平均值；还用于将第二特征图的所有像素值相加再除以第二特征图的大小，得到第二特征图的像素平均值。4.根据权利要求1所述的家居图像多目标识别方法，其特征在于，所述将反卷积操作后的两组特征图进行融合包括：将反卷积操作后的两组特征图按位相加进行融合。5.根据权利要求1所述的家居图像多目标识别方法，其特征在于，所述利用softmax分类器对融合后的特征图进行分类识别包括：使用softmax分类器对融合特征图的每一个像素点计算分类损失，将每个像素点在所有第二特征图中该像素位置的概率最高的类别作为该像素点的类别。6.一种家居图...

【专利技术属性】
技术研发人员：周成成，杨兵强，周贤德，吴轲，
申请(专利权)人：雷恩友力数据科技南京有限公司，
类型：发明
国别省市：江苏,32