基于语义分割网络的自定义标签识别系统及识别方法技术方案

本发明专利技术公开了一种自定义标签识别系统、方法，其中系统包括：场景图像采集模块，用于采集智能货柜的场景图像，场景图像中的各目标商品对应有自定义标签；图像识别模块，用于基于预设的语义分割模型，对智能货柜柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果，然后对关闭智能货柜的柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；分割结果比对模块，用于通过比对第一图像分割识别结果和第二图像分割识别结果，得到自定义标签在柜门开合前后的变化情况；订单结算模块，用于根据自定义标签变化情况，对购物订单进行结算，本发明专利技术解决了现有的商品识别算法无法对非标类商品进行准确分类的问题。

Self defined label recognition system and recognition method based on semantic segmentation network

【技术实现步骤摘要】
基于语义分割网络的自定义标签识别系统及识别方法
本专利技术涉及图像识别
，具体涉及一种基于语义分割网络的自定义标签识别系统及识别方法。
技术介绍
目前，智能货柜对货柜内商品进行自动订单结算的方法为，首先通过安装在智能货柜中的摄像头采集场景图像，然后依靠预先训练的商品识别模型对场景图像中的目标商品进行识别检测，最后根据增减的目标商品对应的商品信息对购买订单进行自动结算。然而，现有的基于神经网络的商品识别算法对标准商品的识别准确度较高，但对于一些非标类商品，比如形状异常或者商品尺寸异常的商品的识别准确率较低。如果需要提高现有的商品识别算法对非标类商品的识别能力，需要对商品识别模型进行重新训练，但现实情况是，对非标类商品的样本采集难以在短时间内完成，所以也就无法及时对商品识别模型进行更新。
技术实现思路
本专利技术的目的在于提供一种基于语义分割网络的自定义标签识别系统、方法，以解决上述技术问题。为达此目的，本专利技术采用以下技术方案：提供一种基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，该系统包括：商品标签标注模块，用于提供给用户对场景图像中的各目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；图像特征提取模块，连接商品标签标注模块，用于提取经标签标注后的所述场景图像的目标图像特征；模型训练模块，连接所述图像特征提取模块，用于以所述场景图像对应的各特征图以及所述场景图像为训练样本，训练形成一语义分割模型；场景图像采集模块，用于采集智能货柜开门前后的所述场景图像，所述场景图像中的各所述目标商品对应有一所述自定义标签；图像识别模块，分别连接所述场景图像采集模块和所述模型训练模块，用于基于所述语义分割模型，对所述智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；所述图像识别模块还用于基于所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；分割结果比对模块，连接所述图像识别模块，用于通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；订单结算模块，连接所述分割结果比对模块，用于根据所述自定义标签的所述变化情况，对买家的购物订单进行结算。作为本专利技术的一种优选方案，所述自定义标签识别系统还包括：图像增强模块，分别连接所述商品标签标注模块和所述图像特征提取模块，用于对经标签标注后的所述场景图像进行图像增强，得到经图像增强后的所述场景图像并输出。作为本专利技术的一种优选方案，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。本专利技术还提供了一种基于语义分割网络的自定义标签识别方法，通过应用所述自定义标签识别系统实现，该方法包括如下步骤：步骤S1，所述自定义标签识别系统采集所述智能货柜的所述柜门开启前后的所述场景图像；步骤S2，所述自定义标签识别系统基于预先训练的所述语义分割模型，对开启所述智能货柜的所述柜门前采集的所述第一场景图像进行图像分割识别，得到所述第一图像分割识别结果；步骤S3，所述自定义标签识别系统基于预先训练的所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的所述第二场景图像进行图像分割识别，得到所述第二图像分割识别结果；步骤S4，所述自定义标签识别系统通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到代表各所述目标商品的所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；步骤S5，所述自定义标签识别系统根据所述自定义标签的所述变化情况，对所述买家的所述购物订单进行自动结算。作为本专利技术的一种优选方案，所述步骤S2中，训练所述语义分割模型的方法包括如下步骤：步骤S21，对所述场景图像中的各所述目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；步骤S22，将经标签标注后的所述场景图像作为训练样本输入到一语义分割网络中，训练形成所述语义分割模型。作为本专利技术的一种优选方案，将经标签标注后的所述场景图像进行图像增强，并将经图像增强后的所述场景图像作为训练样本以训练所述语义分割模型。作为本专利技术的一种优选方案，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。本专利技术通过为智能货柜内的各个商品赋予自定义标签，然后以经自定义标签标注后的场景图像为训练样本训练形成语义分割模型，最终通过该语义分割模型识别场景图像中的目标商品，解决了现有的商品识别算法无法对非标类商品进行准确分类识别的技术问题。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例所述的基于语义分割网络的自定义标签识别系统的结构示意图；图2是本专利技术一实施例所述的基于语义分割网络的自定义标签识别方法的步骤图；图3是本专利技术训练所述语义分割模型的方法步骤图；图4是输入的场景图像的示意图；图5是对场景图像进行特征提取后的特征提取结果图；图6是本专利技术一实施例所述的自定义标签识别系统对场景图像进行图像分割识别的过程原理图；图7是经图像增强后的所述场景图像图的示意图；图8是对特征提取结果图中的目标商品特征进行人工标注的示意图；图9是本专利技术一实施例所述的自定义标签识别系统对智能货柜内的商品进行自动结算的流程框图。具体实施方式下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。在本专利技术的描述中，除非另有明确的规定和限定，本文档来自技高网...

【技术保护点】
1.一种基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，其特征在于，包括：/n商品标签标注模块，用于提供给用户对场景图像中的各目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；/n图像特征提取模块，连接商品标签标注模块，用于提取经标签标注后的所述场景图像的目标图像特征；/n模型训练模块，连接所述图像特征提取模块，用于以所述场景图像对应的各特征图以及所述场景图像为训练样本，训练形成一语义分割模型；/n场景图像采集模块，用于采集智能货柜开门前后的所述场景图像，所述场景图像中的各所述目标商品对应有一所述自定义标签；/n图像识别模块，分别连接所述场景图像采集模块和所述模型训练模块，用于基于所述语义分割模型，对所述智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；/n所述图像识别模块还用于基于所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；/n分割结果比对模块，连接所述图像识别模块，用于通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；/n订单结算模块，连接所述分割结果比对模块，用于根据所述自定义标签的所述变化情况，对买家的购物订单进行结算。/n...

【技术特征摘要】
1.一种基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，其特征在于，包括：
商品标签标注模块，用于提供给用户对场景图像中的各目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；
图像特征提取模块，连接商品标签标注模块，用于提取经标签标注后的所述场景图像的目标图像特征；
模型训练模块，连接所述图像特征提取模块，用于以所述场景图像对应的各特征图以及所述场景图像为训练样本，训练形成一语义分割模型；
场景图像采集模块，用于采集智能货柜开门前后的所述场景图像，所述场景图像中的各所述目标商品对应有一所述自定义标签；
图像识别模块，分别连接所述场景图像采集模块和所述模型训练模块，用于基于所述语义分割模型，对所述智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；
所述图像识别模块还用于基于所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；
分割结果比对模块，连接所述图像识别模块，用于通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；
订单结算模块，连接所述分割结果比对模块，用于根据所述自定义标签的所述变化情况，对买家的购物订单进行结算。


2.如权利要求1所述的自定义标签识别系统，其特征在于，还包括：
图像增强模块，分别连接所述商品标签标注模块和所述图像特征提取模块，用于对经标签标注后的所述场景图像进行图像增强，得到经图像增强后的所述场景图像并输出。


3.如权利要求2所述的自定义标签识别系统，其特征在于，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的...

【专利技术属性】
技术研发人员：柯政远，王炬，李锴莹，
申请(专利权)人：创新奇智合肥科技有限公司，
类型：发明
国别省市：安徽;34