一种类别无关的自动结账产品计数方法技术

本发明专利技术公开了一种类别无关的自动结账产品计数方法，包括：使用计数分治策略作为自监督方法生成预训练模型；利用注意力模块和域适应模块来解决零售商品数据的细粒度属性和域差异问题；将单品图像类别特征图和结账图像特征图拼接后输入计数模块，进行对应类别的定位和计数，同时进行增量学习的实验设定，以验证方法的类别无关性。本发明专利技术充分利用点级别注释信息，根据不同类别单品图像与结账图像的热力图响应不同来进行计数，同时使用自监督方法初始化模型参数，通过注意力模块捕获细粒度特征，应用梯度反转层进行域适应，针对自动结账任务提出了一种类别无关的产品计数方法，在常规实验设置和增量实验设置中均取得了较好结果。果。果。

【技术实现步骤摘要】
一种类别无关的自动结账产品计数方法


[0001]本专利技术属于零售商品自动结账领域，具体涉及一种类别无关的自动结账产品计数方法。

技术介绍

[0002]自动结账系统越来越多的被应用于日常生活，如自动货柜和无人便利店。而自动结账任务本质上是准确预测任意产品组合中每种产品的存在和数量。有了自动结账系统，顾客只需将选定的物品放在结账柜台上，基于人工智能的系统就能识别这些物品的类别和数量，并自动处理购买。然后它将生成一个购物清单，告知顾客每个类别的产品数量和需要支付的费用。
[0003]然而自动结账任务面临着几个挑战。其中一个主要的挑战就是产品类别的大规模性。为了解决这个问题，一些现有方法[Wei X S,Cui Q,Yang L,et al.RPC:A large
‑
scale retail product checkout dataset[J].arXiv preprint arXiv:1901.07249,2019.][Li C,Du D,Zhang L,et al.Data priming network for automatic check
‑
out[C]//Proceedings of the 27th ACM International Conference on Multimedia.2019:2152
‑
2160.][Yang Y,Sheng L,Jiang X,et al.IncreACO:Incrementally Learned Automatic Check
‑
out with Photorealistic Exemplar Augmentation[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision.2021:626
‑
634.]采用了带有边界框注解的对象检测方法来预测产品类别和数量。然而，边界框注释的获取是很耗时的，也需要大量的人力。同时，所提供的边界框可能无法完全覆盖要检测的目标对象，特别是存在遮挡的情况下。其次，自动结账任务的另一个挑战是产品类别的细粒度属性。在自动结账任务中，可能有多个产品类别同属于一个元类别。这些产品可能在外观上极为相似，但其内容却不尽相同。第三，与一般的物体检测和识别任务不同，多类别产品计数需要解决领域差距问题。具体来说，单品图像是在受控条件下拍摄的，而结账图像是在放置各种产品的结账平台上拍摄的。多类别产品计数算法必须能够适应源域和目标域之间的差异。自动结账任务的最后一个挑战是在现实的结账场景中持续更新产品。因此，最好有一种方法能够根据新的产品类别不断地更新现有的模型，而不需要从头开始训练模型。
[0004]虽然一些现有方法[Wei X S,Cui Q,Yang L,et al.RPC:A large
‑
scale retail product checkout dataset[J].arXiv preprint arXiv:1901.07249,2019.][Li C,Du D,Zhang L,et al.Data priming network for automatic check
‑
out[C]//Proceedings of the 27th ACM International Conference on Multimedia.2019:2152
‑
2160.][Yang Y,Sheng L,Jiang X,et al.IncreACO:Incrementally Learned Automatic Check
‑
out with Photorealistic Exemplar Augmentation[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision.2021:626
‑
634.]采用了带有边界框注解的对象检测方法来预测产品类别和数量，但是这些方法存在以下不足：1)边界框注释获取成本大，可能无法完全覆盖要检测的目标对象；2)方法没有针对细粒度属性进行优化。

技术实现思路

[0005]本专利技术的目的在于提供一种类别无关的自动结账产品计数方法。
[0006]实现本专利技术目的的技术方案为：一种类别无关的自动结账产品计数方法，包括以下步骤：
[0007]步骤1，使用一种计数分治策略作为自监督方法生成预训练模型，用于初始化计数模块参数；
[0008]步骤2，利用注意力模块通过结账图像中的位置信息和细节信息以捕获细粒度特征，利用域适应模块对结账图像域和单品图像域进行判别，通过梯度反转层使域判别器混淆此二域；
[0009]步骤3，将单品图像类别特征图和结账图像特征图拼接后输入计数模块，进行对应类别的定位和计数，同时进行增量学习的实验设定，以验证方法的类别无关性。
[0010]一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的类别无关的自动结账产品计数方法。
[0011]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的类别无关的自动结账产品计数方法。
[0012]本专利技术与现有技术相比，其显著优点为：(1)本专利技术仅使用点级别的注释信息对对结账图像中的各类产品进行定位和计数，降低了注释信息的获取成本。(2)使用计数分治法作为自监督方法预训练模型以初始化计数模块参数，提高了网络的准确率。(3)该网络可以在常规实验设定和增量学习实验设定中取得较好结果，验证了本专利技术的类别无关性。
附图说明
[0013]图1为本专利技术一种类别无关的自动结账产品计数方法流程图。
[0014]图2为本专利技术一种类别无关的自动结账产品计数方法流程可视化图。
[0015]图3为本专利技术一种类别无关的自动结账产品计数方法增量学习实验流程图。
具体实施方式
[0016]本专利技术提出一种类别无关的自动结账产品计数方法，包括以下步骤：把结账图像输入基于分治法构建的自监督模块，即图像各部分计数和应与全局计数和相等，为后续的计数模块生成一个供其初始化参数的预训练模型；分别对单品图像和结账图像提取特征，按照一定规则选取的单品图像的特征向量在全局平均聚合后广播到结账图像特征图相同大小；同时结账图像特征图被送入注意力模块以增强细粒度特征，该模块包含一个关注空间信息的布局注意力子模块和一个关注通道信息的细节注意力子模块；单品图像特征图和结账图像特征图被同时输入域适应模块，经过一个梯度反转层后进行域判别，以混淆源域和目标域；同时单品图像特征图和结账图像特征图被拼接为一个长特征图输入计数模块，根据热力图中的不同响应值进行计数以得到结账图像中各类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种类别无关的自动结账产品计数方法，其特征在于，包括以下步骤：步骤1，使用一种计数分治策略作为自监督方法生成预训练模型，用于初始化计数模块参数；步骤2，利用注意力模块通过结账图像中的位置信息和细节信息以捕获细粒度特征，利用域适应模块对结账图像域和单品图像域进行判别，通过梯度反转层使域判别器混淆此二域；步骤3，将单品图像类别特征图和结账图像特征图拼接后输入计数模块，进行对应类别的定位和计数，同时进行增量学习的实验设定，以验证方法的类别无关性。2.根据权利要求1所述的类别无关的自动结账产品计数方法，其特征在于，步骤1所述的使用计数分治策略作为自监督方法，对结账图像分块后分别计数，局部计数和与全局计数相同；自监督方法根据技术分治策略设计，将输入的结账图像均匀的分为若干块，对每一块和完整的结账图像分别计数，得到各块的局部计数与全图的全局计数，按照局部计数和等于全局计数的条件优化预训练模型。3.根据权利要求1所述的类别无关的自动结账产品计数方法，其特征在于，步骤2利用注意力模块通过结账图像中的位置信息和细节信息以捕获细粒度特征，利用域适应模块对结账图像域和单品图像域进行判别，通过梯度反转层使域判别器混淆此二域；对于第i张结账图像H和W分别表示图像的高度和宽度，经过特征提取模块后可以得到特征图Π是特征提取网络的参数，该特征图输入注意力模块可以得到增强后的特征图征图Att
layout
(F)＝σ(conv([f
GAP
(F)：f
GMP
(F)]))，Att
detail
(F)＝σ(f
MLP
(f
GAP
(F))+f
MLP
(fGMP(F))).其中Att
layout
(
·
)和Att
detail
(
·
)分别代表布局和细节两个注意力子模块，F为一个任意的特征图，σ是sigmoid函数，conv(...

【专利技术属性】
技术研发人员：陈昊，魏秀参，肖亮，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：