基于多模态交互的自助收银方法、系统及存储介质技术方案

技术编号:45043537 阅读:32 留言:0更新日期:2025-04-22 17:31
本发明专利技术公开了一种基于多模态交互的自助收银方法、系统及存储介质,属于数据处理技术领域,该方法包括:拍摄预定区域的初始图像,将初始图像拆分为多张商品图像,识别每张商品图像以获取其中包括的商品信息及第一置信度;基于第一置信度大于第一阈值的商品信息生成第一商品列表,基于所有商品图像和重量信息进行联合推理,获取未识别商品的商品信息及第二置信度;若第二置信度小于第一阈值,基于售卖货架的取放信息对商品信息进行验证;若验证成功,将未识别商品的商品信息加入至第一商品列表中,获得第二商品列表,基于第二商品列表生成金额信息,并展示收款界面。本发明专利技术结合多种方法获取待结算的商品信息,从而大大提升了商品识别的准确度。

【技术实现步骤摘要】

本专利技术属于数据处理,具体涉及基于多模态交互的自助收银方法、系统及存储介质


技术介绍

1、自助收银系统已成为商超、便利店等场景提升运营效率的核心设施,自主收银当前主要依赖条形码识别,然而该过程需要用户自行寻找商品包装上的条形码,在商品包装较为复杂,或者结算人员不熟练时,可能存在结算时间较长、影响结算效率的问题。

2、为解决该问题,现有技术中提出了如下方法,如公开号为cn109214806a的中国专利文件公开了一种自助结算方法、装置以及存储介质,该方法采用多种图像识别技术对监控图像进行识别,从监控图像中识别出待结算商品的类别和数量,之后结合重量传感器获取待结算商品的实际重量,结合识别结果计算出商品的标准重量,将实际重量与标准重量进行对比,从而验证识别结果的准确性,该方法无需扫描条形码即可完成商品的结算识别,从而大大提升了结算效率。

3、然而,仅通过上述方式对待结算区域内的商品图像进行识别,可能会存在商品识别准确率较低的情况,虽然上述技术方案引入了获取商品重量对识别结果进行验证,但该方法仅能确定识别结果是否正确,不正确的情况下还需要本文档来自技高网...

【技术保护点】

1.基于多模态交互的自助收银方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对所述商品图像进行识别包括以下步骤:

3.根据权利要求2所述的方法,其特征在于,对所述商品品质进行识别包括以下步骤:

4.根据权利要求1所述的方法,其特征在于,基于所述售卖货架的取放信息对所述商品信息进行验证包括以下步骤:

5.根据权利要求4所述的方法,其特征在于,基于所有所述商品图像和所述重量信息进行联合推理包括以下步骤:

6.根据权利要求5所述的方法,其特征在于,计算所述候选组合的所述候选评分包括以下步骤:p>

7.根据权...

【技术特征摘要】

1.基于多模态交互的自助收银方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对所述商品图像进行识别包括以下步骤:

3.根据权利要求2所述的方法,其特征在于,对所述商品品质进行识别包括以下步骤:

4.根据权利要求1所述的方法,其特征在于,基于所述售卖货架的取放信息对所述商品信息进行验证包括以下步骤:

5.根据权利要求4所述的方法,其特征在于,基于所有所述商品图像和所述重量信息进行联合推理包括以下步骤:

6.根据权利要求5所述的方法,其特征在于,计算所述候选组合的所述候选评分包括以下步骤:...

【专利技术属性】
技术研发人员:王俊杰
申请(专利权)人:厦门赫玛科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1