基于少样本的语义分割方法及装置、电子设备、存储介质制造方法及图纸

本申请提供一种基于少样本的语义分割方法及装置、电子设备、计算机可读存储介质，方法包括：将目标图像组合作为已训练的特征提取网络的输入，获得目标图像组合中每一图像的图像特征；其中，目标图像组合包括待识别目标类别、若干支持图像和一个查询图像，支持图像携带与待识别目标类别对应的前景掩膜和背景掩膜；基于每一支持图像的图像特征、前景掩膜和背景掩膜，计算出对应于待识别目标类别的前景类原型和背景类原型；基于查询图像的图像特征、前景类原型和背景类原型，确定查询图像上与待识别目标类别对应的预测前景掩膜。本申请对于样本较少的待识别目标类别，可以借助以标注其它类别的样本图像训练的特征提取网络，实现语义分割。

【技术实现步骤摘要】
基于少样本的语义分割方法及装置、电子设备、存储介质
本申请涉及零售管理
，特别涉及一种基于少样本的语义分割方法及装置、电子设备、计算机可读存储介质。
技术介绍
零售商品占比是指商品在分销渠道中所占比例。随着机器视觉技术的发展，深度学习的方法逐渐替代人工统计成为当前零售商获取零售商品占比的首选。在应用时，可以利用深度学习的方法计算商品在分销渠道的面积占比，来确定零售商品占比。比如：某品牌冰淇淋在放满冰淇淋的冰柜中的陈列面积，与冰柜内总面积的比值，可以认为是该品牌冰淇淋的零售商品占比。语义分割(semanticsegmentation)是当前计算商品占比的一项通用技术，语义分割是一种像素级的分类，指的是将图片中的每一个像素点都划分到具体的类别中，常用的语义分割网络包括FCN(FullyConvolutionalNetworksforSemanticSegmentation，用于语义分割的全卷积网络)，PSPNet(PyramidSceneParsingNetwork，金字塔场景解析网络)等。在基于语义分割计算商品面积占比时，可以提取分本文档来自技高网...

【技术保护点】
1.一种基于少样本的语义分割方法，其特征在于，包括：/n将目标图像组合作为已训练的特征提取网络的输入，获得所述特征提取网络输出的所述目标图像组合中每一图像的图像特征；其中，所述目标图像组合包括待识别目标类别、若干支持图像和一个查询图像，所述支持图像携带与所述待识别目标类别对应的前景掩膜和背景掩膜；/n基于每一支持图像的图像特征、所述前景掩膜和所述背景掩膜，计算出对应于所述待识别目标类别的前景类原型和背景类原型；/n基于所述查询图像的图像特征、所述前景类原型和所述背景类原型，确定所述查询图像上与所述待识别目标类别对应的预测前景掩膜。/n

【技术特征摘要】
1.一种基于少样本的语义分割方法，其特征在于，包括：
将目标图像组合作为已训练的特征提取网络的输入，获得所述特征提取网络输出的所述目标图像组合中每一图像的图像特征；其中，所述目标图像组合包括待识别目标类别、若干支持图像和一个查询图像，所述支持图像携带与所述待识别目标类别对应的前景掩膜和背景掩膜；
基于每一支持图像的图像特征、所述前景掩膜和所述背景掩膜，计算出对应于所述待识别目标类别的前景类原型和背景类原型；
基于所述查询图像的图像特征、所述前景类原型和所述背景类原型，确定所述查询图像上与所述待识别目标类别对应的预测前景掩膜。


2.根据权利要求1所述的方法，其特征在于，所述基于每一支持图像的图像特征、所述前景掩膜和所述背景掩膜，计算出对应于所述待识别目标类别的前景类原型和背景类原型，包括：
将每一支持图像的图像特征分别与对应的所述前景掩膜和所述背景掩膜相乘后求均值，获得所述支持图像对应的子前景类原型和子背景类原型；
对所有支持图像对应的子前景类原型进行均值化处理，得到所述前景类原型；
对所有支持图像对应的子背景类原型进行均值化处理，得到所述背景类原型。


3.根据权利要求1所述的方法，其特征在于，所述基于所述查询图像的图像特征、所述前景类原型和所述背景类原型，确定所述查询图像上与所述待识别目标类别对应的预测前景掩膜，包括：
针对所述查询图像的图像特征，逐个像素与所述前景类原型计算余弦相似度，获得对应于前景的第一余弦相似度图；
针对所述查询图像的图像特征，逐个像素与所述背景类原型计算余弦相似度，获得对应于背景的第二余弦相似度图；
基于所述第一余弦相似度图和所述第二余弦相似度图，确定所述预测前景掩膜。


4.根据权利要求1所述的方法，其特征在于，所述目标图像组合中每一图像为分销渠道的场景图像，所述待识别目标类别为待识别商品类别；
在获得与所述待识别商品类别对应的预测前景掩膜后，所述方法还包括：
基于所述预测前景掩膜确定所述待识别商品类别在所述查询图像上的面积占比，将所述面积占比作为所述待识别商品类别对应的零售商品占比。


5.根据权利要求1所述的方法，其特征在于，所述特征提取网络通过如下方法训练得到：
将样本数据集中的样本图像组合作为深度神经网络的输入，获得所述深度神经网络输出的所述样本图像组合中每一图像的图像特征；其中，所述样本图像组合包括指定目标类别、若干样本支持图像和若干样本查询图像，所述样本支持图像携带与所述指定目标类别对应的前景掩膜和背景掩膜，所述样本查询图像携带与所述指定目标类别对应的前景掩膜；
基于每一样本支持图像的图像特征、与所述指定目标类别对应的前景掩膜和背景掩膜，计算出对应于所述指定...

【专利技术属性】
技术研发人员：秦永强，刘金露，
申请(专利权)人：创新奇智上海科技有限公司，
类型：发明
国别省市：上海;31