用于货架的商品检测方法及装置制造方法及图纸

本申请公开了一种用于货架的商品检测方法及装置。该方法包括按照预设样例准备样本并训练得到第一检测模型和第二检测模型，其中，所述第一检测模型用于按照排检测货架，所述第二检测模型用于按照类别检测货架；输入待检测图像；以及对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别，输出检测结果。本申请解决了对于货架的商品检测出错率较高的技术问题。通过本申请首先通过第一检测模型筛除复杂的背景和噪音，为精准的检测做铺垫；在通过第二检测模型进行具体类别的检测过程。采用本申请的方法可以提高商品检测的识别率，并提高识别过程的鲁棒性。

【技术实现步骤摘要】
用于货架的商品检测方法及装置
本申请涉及计算机视觉领域，具体而言，涉及一种用于货架的商品检测方法及装置。
技术介绍
基于目标检测作为计算机视觉领域的一个重要研究问题，在过去的十年里受到国内外学者的广泛关注。但是在基于现实的实际应用中，由于输入数据的背景复杂度和噪音，使得不管是准确率较高的two-stage检测模型还是计算速度较快的one-stage检测模型都表现不出其应有的水平。专利技术人发发现，由于在现实生活中的货架的周边环境较为复杂，比如，灯光的亮度、饱和度和色调等因素以及广告或镜面上等虚拟成像，使得一次根据全图输出结果会存在商品漏检、多检和误检等情况。针对相关技术中对于货架的商品检测出错率较高的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种用于货架的商品检测方法及装置，以解决对于货架的商品检测出错率较高的问题。为了实现上述目的，根据本申请的一个方面，提供了一种用于货架的商品检测方法。根据本申请的用于货架的商品检测方法包括：按照预设样例准备样本并训练得到第一检测模型和第二检测模型，其中，所述第一检测模型用于按照排检测货架，所述第二检测模型用于按照类别检测货架；输入待检测图像；以及对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别，输出检测结果。进一步地，对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别包括：对所述待检测图像执行预处理后输入到所述第一检测模型；在所述第一检测模型按照排检测货架上的商品；根据按照排检测货架上的商品的结果切割出目标图片并作为所述第二检测模型的输入。进一步地，对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别包括：对切割后的图片执行预设处理后输入到所述第二检测模型；在所述第二检测模型中按照类别检测货架上的商品；获取第二检测模型输出的商品类别预测结果和商品选框位置；以及将输出结果与所述按照排检测货架上的商品的结果切割出目标图片整合。进一步地，输入待检测图像之后还包括：对待检测图像执行尺寸调整操作；以及对尺寸调整操作的结果执行归一化处理。进一步地，按照预设样例准备样本并训练得到第一检测模型和第二检测模型包括：训练所述第一检测模型和所述第二检测模型时选择one-stage或two-stage在训练之前加载在imagenet上预训练的参数。为了实现上述目的，根据本申请的另一方面，提供了一种用于货架的商品检装置。根据本申请的用于货架的商品检装置包括：模型训练模块，用于按照预设样例准备样本并训练得到第一检测模型和第二检测模型，其中，所述第一检测模型用于按照排检测货架，所述第二检测模型用于按照类别检测货架；输入模块，用于输入待检测图像；以及执行模块，用于对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别，输出检测结果。进一步地，所述执行模块包括：第一检测单元，用于对所述待检测图像执行预处理后输入到所述第一检测模型；第一执行单元，用于在所述第一检测模型按照排检测货架上的商品；切割单元，用于根据按照排检测货架上的商品的结果切割出目标图片并作为所述第二检测模型的输入。进一步地，所述执行模块包括：第二检测单元，用于对切割后的图片执行预设处理后输入到所述第二检测模型；第二执行单元，用于在所述第二检测模型中按照类别检测货架上的商品；结果获取单元，用于获取第二检测模型输出的商品类别预测结果和商品选框位置；以及整合单元，用于将输出结果与所述按照排检测货架上的商品的结果切割出目标图片整合。进一步地，所述输入模块包括：尺寸调整单元，用于对待检测图像执行尺寸调整操作；以及归一化处理单元，用于对尺寸调整操作的结果执行归一化处理。进一步地，所述模型训练模块包括：训练单元，所述训练单元，用于训练所述第一检测模型和所述第二检测模型时选择one-stage或two-stage在训练之前加载在imagenet上预训练的参数。在本申请实施例中，采用按照预设样例准备样本并训练得到第一检测模型和第二检测模型的方式，通过输入待检测图像，达到了对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别，输出检测结果的目的，从而实现了先筛除复杂的背景和噪音再进行具体类别检测的技术效果，进而解决了对于货架的商品检测出错率较高的技术问题。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请第一实施例的用于货架的商品检测方法示意图；图2是根据本申请第二实施例的用于货架的商品检测方法示意图；图3是根据本申请第三实施例的用于货架的商品检测方法示意图；图4是根据本申请第四实施例的用于货架的商品检测方法示意图；图5是根据本申请第五实施例的用于货架的商品检测方法示意图；图6是根据本申请第一实施例的用于货架的商品检测装置示意图；图7是根据本申请第二实施例的用于货架的商品检测装置示意图；图8是根据本申请第三实施例的用于货架的商品检测装置示意图；图9是根据本申请第四实施例的用于货架的商品检测装置示意图；图10是根据本申请第五实施例的用于货架的商品检测装置示意图；图11是按照排检测货架模型的输入图片示意图；图12是按照排检测货架模型的输出图片示意图；图13是按类别检测商品模型的输入图片示意图；图14是按类别检测商品模型的输出结果示意图；以及图15是模型整体最终输出图片示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。如图1所示，该方法包括如下的步骤S102至步骤S106：步骤S102，按照预设样例准备样本并训练得到第一检测模型和第二检测模型，所述第一检测模型用于按照排检测货架，所述第二检测模型用于按照类别检测货架。具体地，可以训练两个检测模型，分别针对按排检测货架和按类别检测商品，根据图11和图13所示的样例准备样本数据分别训练一个根据按排检测货架和按类别检测类别的模型。模型可选择“two-stage”或“one-stage”，训练之前加载在imagenet上预训练的参数。步骤S104，输入待检测图像；先对于待检测图像采用二进制哈希距离对数据库中相似较高的测试图片进行去重。并通过本文档来自技高网...

【技术保护点】
1.一种用于货架的商品检测方法，其特征在于，包括：按照预设样例准备样本并训练得到第一检测模型和第二检测模型，其中，所述第一检测模型用于按照排检测货架，所述第二检测模型用于按照类别检测货架；输入待检测图像；以及对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别，输出检测结果。

【技术特征摘要】
1.一种用于货架的商品检测方法，其特征在于，包括：按照预设样例准备样本并训练得到第一检测模型和第二检测模型，其中，所述第一检测模型用于按照排检测货架，所述第二检测模型用于按照类别检测货架；输入待检测图像；以及对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别，输出检测结果。2.根据权利要求1所述的用于货架的商品检测方法，其特征在于，对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别包括：对所述待检测图像执行预处理后输入到所述第一检测模型；在所述第一检测模型按照排检测货架上的商品；以及根据按照排检测货架上的商品的结果切割出目标图片并作为所述第二检测模型的输入。3.根据权利要求2所述的用于货架的商品检测方法，其特征在于，对所述待检测图像按照排执行预设分割操作后检测图像中商品的类别包括：对切割后的图片执行预设处理后输入到所述第二检测模型；在所述第二检测模型中按照类别检测货架上的商品；获取第二检测模型输出的商品类别预测结果和商品选框位置；以及将输出结果与所述按照排检测货架上的商品的结果切割出目标图片整合。4.根据权利要求1所述的用于货架的商品检测方法，其特征在于，输入待检测图像之后还包括：对待检测图像执行尺寸调整操作；以及对尺寸调整操作的结果执行归一化处理。5.根据权利要求1所述的用于货架的商品检测方法，其特征在于，按照预设样例准备样本并训练得到第一检测模型和第二检测模型包括：训练所述第一检测模型和所述第二检测模型时选择one-stage或two-stage在训练之前加载在imagenet上预训练的参数。6.一种用于货架的商品检装置，其特征...

【专利技术属性】
技术研发人员：吕四凯，张默，
申请(专利权)人：北京陌上花科技有限公司，
类型：发明
国别省市：北京,11