商品核验方法、装置、主机及设备制造方法及图纸

本申请涉及商品零售技术领域，提供一种商品核验方法、装置、主机及设备。其中，商品核验方法包括：获取包含待核验商品的核验图像；利用预训练的目标检测模型检测核验图像中的待核验商品，并根据检测结果生成待核验商品的清单；获取已付款商品的清单；将待核验商品的清单与已付款商品的清单进行对比，若两个清单中商品的种类以及每种商品的数量均一致，则确定待核验商品与已付款商品一致。上述商品核验方法基于目标检测算法自动执行，无需人工介入，有效节省了人力资源成本，避免了核验过程中的人为错误，符合零售行业无人化的发展趋势。

Commodity Verification Method, Device, Main Engine and Equipment

【技术实现步骤摘要】
商品核验方法、装置、主机及设备
本申请涉及商品零售
，具体而言，涉及一种商品核验方法、装置、主机及设备。
技术介绍
无人化是目前商品零售行业的重要发展趋势之一，一些购物场所已经开始支持顾客在购物过程中自主付款，然后在顾客离开购物场所时再核验其携带的商品是与已付款商品是否一致，避免顾客将忘记付款的商品带走。然而，在现有技术中，这一核验过程仍由人工负责，不仅增加了人力成本，也与无人化的零售理念背道而驰。
技术实现思路
有鉴于此，本申请实施例提供一种商品核验方法、装置、主机及设备，采用基于目标检测的方法自动进行商品核验，改善了商品核验过程需要人工介入的问题。为实现上述目的，本申请实施例提供如下技术方案：第一方面，本申请实施例一种商品核验方法，包括：获取包含待核验商品的核验图像；利用预训练的目标检测模型检测所述核验图像中的所述待核验商品，并根据检测结果生成所述待核验商品的清单，其中，所述目标检测模型为目标检测算法使用的神经网络模型，所述待核验商品的清单包括所述待核验商品的种类以及每种待核验商品的数量；获取已付款商品的清单，所述已付款商品的清单包括已付款商品的种类以及每种已付款商品的数量；将本文档来自技高网...

【技术保护点】
1.一种商品核验方法，其特征在于，包括：获取包含待核验商品的核验图像；利用预训练的目标检测模型检测所述核验图像中的所述待核验商品，并根据检测结果生成所述待核验商品的清单，其中，所述目标检测模型为目标检测算法使用的神经网络模型，所述待核验商品的清单包括所述待核验商品的种类以及每种待核验商品的数量；获取已付款商品的清单，所述已付款商品的清单包括已付款商品的种类以及每种已付款商品的数量；将所述待核验商品的清单与所述已付款商品的清单进行对比，若两个清单中商品的种类以及每种商品的数量均一致，则确定所述待核验商品与所述已付款商品一致。

【技术特征摘要】
1.一种商品核验方法，其特征在于，包括：获取包含待核验商品的核验图像；利用预训练的目标检测模型检测所述核验图像中的所述待核验商品，并根据检测结果生成所述待核验商品的清单，其中，所述目标检测模型为目标检测算法使用的神经网络模型，所述待核验商品的清单包括所述待核验商品的种类以及每种待核验商品的数量；获取已付款商品的清单，所述已付款商品的清单包括已付款商品的种类以及每种已付款商品的数量；将所述待核验商品的清单与所述已付款商品的清单进行对比，若两个清单中商品的种类以及每种商品的数量均一致，则确定所述待核验商品与所述已付款商品一致。2.根据权利要求1所述的商品核验方法，其特征在于，在所述利用预训练的目标检测模型检测所述核验图像中的所述待核验商品之前，所述方法还包括：利用预采集的单品图像和/或组合图像训练所述目标检测模型，并利用所述组合图像测试所述目标检测模型，其中，所述单品图像是指仅包含商品集中的单件商品的图像，所述组合图像是指包含所述商品集中的多种商品的组合的图像，所述商品集是指为训练所述目标检测模型所准备的商品的集合。3.根据权利要求2所述的商品核验方法，其特征在于，所述单品图像是在所述单件商品放置于旋转台上且旋转至不同的位置时，通过设置于不同的拍摄角度的图像采集设备采集到的。4.根据权利要求3所述的商品核验方法，其特征在于，所述单品图像是在所述单件商品分别按照正面朝上以及背面朝上的方式放置于所述旋转台上时，通过所述图像采集设备采集到的。5.根据权利要求2所述的商品核验方法，其特征在于，每个组合图像对应预设的多种组合密集程度中的一种，每种组合密集程度对应所述组合图像中商品的种数的一个分布区间以及商品的总数量的一个分布区间。6.根据权利要求2所述的商品核验方法，其特征在于，每个组合图像中商品的种类以及其中每种商品的数量随机确定。7.根据权利要求2所述的商品核验方法，其特征在于，每个组合图像中的商品随机摆放。8.根据权利要求2－7中任一项所述的商品核验方法，其特征在于，所述商品集中包括多个类别的商品，每个类别中包括的多种商品在外观上具有相似性。9.根据权利要求2所述的商品核验方法，其特征在于，利用所述单品图像训练所述目标检测模型，并利用所述组合图像测试所述目标检测模型，包括：对每个单品图像进行前后景分割，获得仅包含所述单件商品的前景图像；根据背景图像以及选取的多个前景图像生成合成图像，多次选取前景图像后，获得多个合成图像；利用所述多个合成图像训练所述目标检测模型；利用所述组合图像测试所述目标检测模型。10.根据权利要求9所述的商品核验方法，其特征在于，所述单品图像与所述组合图像在不同的环境下采集。11.根据权利要求2所述的商品核验方法，其特征在于，利用所述组合图像训练所述目标检测模型，并利用所述组合图像测试所述目标检测模型，包括：利用一部分组合图像训练所述目标检测模型；利用另一部分组合图像测试所述目标检测模型。12.根据权利要求9－11中任一项所述的商品核验方法，其特征在于，所述目标检测模型采用有监督的训练，训练用的图像对应的监督信号采用以下三种中的一种：所述训练用的图像中商品的清单，其中，所述商品的清单包括所述训练用的图像中商品的种类以及每种商品的数量；所述训练用的图像中每件商品的中心位置以及种类；所述训练用的图像中每件商品的包围框以及种类。13.根据权利要求9－11中任一项所述的商品核验方法，其特征在于，所述训练所述目标检测模型，包括：每轮训练时，将本轮训练用的图像输入至所述目标检测模型，根据所述目标检测模型输出的预测结果计算用于评估目标检测效果的评估指标，并在所述评估指标的计算结果满足预设要求时终止训练，将训练终止时的模型确定为训练好的目标检测模型；或每轮训练时，将本轮训练用的图像输入至所述目标检测模型，根据所述目标检测模型输出的预测结果计算用于评估目标检测效果的评估指标，并在所述目标检测模型训练终止后，将每轮训练后保存...

【专利技术属性】
技术研发人员：魏秀参，崔权，杨磊，
申请(专利权)人：南京旷云科技有限公司，徐州旷视数据科技有限公司，北京旷视科技有限公司，
类型：发明
国别省市：江苏,32