生成货架陈列棚格区域的方法及装置制造方法及图纸

本发明专利技术公开了一种生成货架陈列棚格区域的方法及装置，其中该方法包括：获取待检测识别的货架图像；将待检测识别的货架图像输入预先训练生成的棚格检测模型，对待检测识别的货架图像进行检测得到货架陈列棚格区域边界框；所述棚格检测模型根据历史货架图像数据集及对应的棚格区域边界框标签数据集样本预先训练生成；输出检测得到的货架陈列棚格区域边界框信息

【技术实现步骤摘要】
生成货架陈列棚格区域的方法及装置


[0001]本专利技术涉及智能货架
，尤其涉及一种生成货架陈列棚格区域的方法及装置
。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文
。
此处的描述不因为包括在本部分中就承认是现有技术
。
[0003]随着人工智能技术的不断发展，商超行业也在不断地向智能化
、
数字化方向转型
。AI
技术的应用，使得商超能够更好地满足顾客需求，提高运营效率，提升用户体验，进一步扩大了商超的市场影响力
。
通过人工智能算法的运用，商超可以实时地分析和预测消费者需求，更加精确地制定营销策略，以满足消费者的需求，从而提高销售额和客户满意度
。
商超还可以使用
AI
技术来自动化库存管理，降低库存成本和货架滞留率，并在必要时快速补充货物，确保顾客的购物需求得到满足
。
[0004]智能货架是一种新型的智能化零售工具，具备智能分析和自动化管理功能，能够满足商超的排面分析和商品识别等多种需求
。
通过对货架上的商品进行实时监控和数据分析，智能货架能够提高货架的利用率
、
优化库存管理
、
提升客户购物体验，从而提高商超的经营效益
。
智能货架已经成为商超智能化零售的重要组成部分，也是未来商超发展的重要趋势
。
[0005]在智能货架中，货架陈列棚格在智能货架管理是一个重要的组成部分，因为陈列棚格可以用来进行后续的陈列督查和缺货管理
。
而如何生成每个货架上多个商品准确的棚格是目前智能货架系统中比较棘手的问题
。
常见的方法，有如：利用人工在后台系统手动划分配置，这样的方法效率非常低，而且人工配置的棚格一般是固定不动的，很难维护，常常与实际货架上摆放商品不匹配；又如可以借助货架上每个价签的位置辅助生成画出棚格，但是实际上价签的摆放与实际商品存在一定的偏差，或由于价签漏检而造成的棚格缺漏，生成的棚格不够准确
。

技术实现思路

[0006]本专利技术实施例提供一种生成货架陈列棚格区域的方法，用以高效精确地生成货架陈列棚格区域，该方法包括：
[0007]获取待检测识别的货架图像；
[0008]将待检测识别的货架图像输入预先训练生成的棚格检测模型，对待检测识别的货架图像进行检测得到货架陈列棚格区域边界框；所述棚格检测模型根据历史货架图像数据集及对应的棚格区域边界框标签数据集样本预先训练生成；
[0009]输出检测得到的货架陈列棚格区域边界框信息
。
[0010]本专利技术实施例还提供一种生成货架陈列棚格区域的装置，用以高效精确地生成货架陈列棚格区域，该装置包括：
[0011]获取单元，用于获取待检测识别的货架图像；
[0012]检测单元，用于将待检测识别的货架图像输入预先训练生成的棚格检测模型，对待检测识别的货架图像进行检测得到棚格区域边界框；所述棚格检测模型根据历史货架图像数据集及对应的棚格区域边界框标签数据集样本预先训练生成；
[0013]生成单元，用于输出检测得到的棚格区域边界框信息
。
[0014]本专利技术实施例还提供一种计算机设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述生成货架陈列棚格区域的方法
。
[0015]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述生成货架陈列棚格区域的方法
。
[0016]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述生成货架陈列棚格区域的方法
。
[0017]本专利技术实施例中，生成货架陈列棚格区域的方案，与现有技术中人工在后台系统手动划分效率低或借助货架上每个价签的位置辅助生成画出棚格存在生成棚格不准确的技术方案相比，通过：获取待检测识别的货架图像；将待检测识别的货架图像输入预先训练生成的棚格检测模型，对待检测识别的货架图像进行检测得到货架陈列棚格区域边界框；所述棚格检测模型根据历史货架图像数据集及对应的棚格区域边界框标签数据集样本预先训练生成；输出检测得到的货架陈列棚格区域边界框信息
。
本专利技术可以使用棚格检测模型直接对一个货架图像上可能的棚格区域进行检测，提高棚格区域生成的效率和准确率
。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
在附图中：
[0019]图1为本专利技术实施例中生成货架陈列棚格区域的方法的流程示意图；
[0020]图2为本专利技术实施例中标注棚格区域的示意图一；
[0021]图3为本专利技术实施例中标注棚格区域的示意图二；
[0022]图4为本专利技术实施例中标注棚格区域的示意图三；
[0023]图5为本专利技术实施例中标注商品位置的示意图；
[0024]图
6a
为本专利技术实施例中对棚格边界框进行修正调整前的示意图；
[0025]图
6b
为本专利技术实施例中对棚格边界框进行修正调整后的示意图；
[0026]图7为本专利技术实施例中生成货架陈列棚格区域的装置的结构示意图
。
具体实施方式
[0027]为使本专利技术实施例的目的
、
技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明
。
在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定
。
[0028]为了更好地理解本专利技术，首先对本专利技术实施例涉及的名词进行介绍
。
[0029]商品边界框：能恰好包围住商品排面的矩形框，如图
6b
中的“1”。
[0030]商品棚格区域：在商超中实际摆放时，同一种商品，在商品全满时所占据的区域
。
[0031]棚格边界框：如图
6b
中的“2”。
[0032]货架图像数据集：一个包含多张图像的集合，每张图像都是对着货架表面拍摄的图像
。
[0033]商品图像数据集：一个包含多张图像的集合，每张图像为单个商品的小图
。
[0034]棚格边界框标签数据集：一个描述多张图像中多个矩形框边界的信息集合，每张图像都是对着货架表面拍摄的图像，每个矩形框代表每个商品棚格区域的范围
。
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种生成货架陈列棚格区域的方法，其特征在于，包括：获取待检测识别的货架图像；将待检测识别的货架图像输入预先训练生成的棚格检测模型，对待检测识别的货架图像进行检测得到货架陈列棚格区域边界框；所述棚格检测模型根据历史货架图像数据集及对应的棚格区域边界框标签数据集样本预先训练生成；输出检测得到的货架陈列棚格区域边界框信息
。2.
如权利要求1所述的方法，其特征在于，还包括按照如下方法预先训练得到棚格检测模型：获取历史货架图像，收集形成历史货架图像数据集；针对货架图像数据集中每一张图像，将图像中的每种商品的可能摆放区域定为该商品的棚格，划定标注该棚格的位置标签信息，最终形成棚格边界框标签数据集；搭建一个深度神经网络模型；利用所述货架图像数据集及对应的棚格边界框标签数据集，基于回归的思想和梯度反向传播的优化方法对所述深度神经网络模型进行训练，得到棚格检测模型，该模型用于预测货架上所有可能的棚格区域边界框
。3.
如权利要求1所述的方法，其特征在于，还包括：利用预先训练生成的商品检测模型，对待检测识别的货架图像进行检测，得到商品边界框；所述商品检测模型根据历史货架图像数据集及对应的商品边界框标签数据集样本预先训练生成；从检测出的每一商品边界框中裁剪出单个商品的小图；将每一商品的小图输入预先建立的商品类别识别模型中，进行识别得到每一商品边界框对应的商品类别识别结果；或，将每一商品的小图输入预先建立的商品特征描述识别模型中，进行归类得到每一商品边界框对应的归类结果
。4.
如权利要求3所述的方法，其特征在于，还包括：按照如下方法预先训练得到商品检测模型：获取历史货架图像，收集形成商品图像数据集；针对商品图像数据集中每一张图像，将图像中的每种商品位置进行标注，形成商品边界框标签数据集；利用所述商品图像数据集及对应的商品边界框标签数据集，对预先搭建的深度神经网络模型进行训练，得到商品检测模型，该模型用于预测货架上所有可能的商品边界框
。5.
如权利要求3所述的方法，其特征在于，还包括：按照如下方法预先训练得到所述商品类别识别模型：针对预先根据历史货架图像收集的商品图像数据集，每一种商品图像被打标签为单独的一个商品类别，最终形成商品类别标签数据集；搭建一个深度神经网络模型；利用商品图像数据集和商品类别标签数据集，基于最大似然的思想和度量学习的损失函数，对深度神经网络模型进行训练，得到所述商品类别识别模型
。6.
如权利要求3所述的方法，其特征在于，将每一商品的小图输入预先建立的商品特征描述识别模型中，进行归类得到每一商品边界框对应的商品类别，包括：
将每一商品的小图输入预先建立的商品特征描述识别模型中，得到每一商品的小图的特征描述；商品特征描述识别模型用于预测输入图像的特征描述；对于货架上的每个商品，将该商品对应...

【专利技术属性】
技术研发人员：黄盛，丁坤，庄艺唐，
申请(专利权)人：上海汉时信息科技有限公司，
类型：发明
国别省市：