【技术实现步骤摘要】
本专利技术属于数据处理，具体涉及基于多模态交互的自助收银方法、系统及存储介质。
技术介绍
1、自助收银系统已成为商超、便利店等场景提升运营效率的核心设施，自主收银当前主要依赖条形码识别，然而该过程需要用户自行寻找商品包装上的条形码，在商品包装较为复杂，或者结算人员不熟练时，可能存在结算时间较长、影响结算效率的问题。
2、为解决该问题，现有技术中提出了如下方法，如公开号为cn109214806a的中国专利文件公开了一种自助结算方法、装置以及存储介质，该方法采用多种图像识别技术对监控图像进行识别，从监控图像中识别出待结算商品的类别和数量，之后结合重量传感器获取待结算商品的实际重量，结合识别结果计算出商品的标准重量，将实际重量与标准重量进行对比，从而验证识别结果的准确性，该方法无需扫描条形码即可完成商品的结算识别，从而大大提升了结算效率。
3、然而，仅通过上述方式对待结算区域内的商品图像进行识别，可能会存在商品识别准确率较低的情况，虽然上述技术方案引入了获取商品重量对识别结果进行验证，但该方法仅能确定识别结果是否正确，不正确的情况下还需要通过人工进行确认，无法从源头上提升识别的准确度。
技术实现思路
1、为解决上述问题，本专利技术提供了基于多模态交互的自助收银方法、装置及存储介质，以解决现有技术中存在的问题。
2、为了达到上述的专利技术目的，本专利技术提出一种基于多模态交互的自助收银方法，包括：
3、接收开始指令后，拍摄预定区域的初始图像，
4、基于所述第一置信度大于第一阈值的所述商品信息生成第一商品列表，并统计所述初始图像中已识别商品和未识别商品的第一数量和第二数量；
5、若所述第一数量和所述第二数量满足预设条件，获取所述预定区域的重量信息，基于所有所述商品图像和所述重量信息进行联合推理，获取未识别商品的所述商品信息及第二置信度；
6、若所述第二置信度小于所述第一阈值，基于未识别商品的所述商品信息定位对应售卖货架，基于所述售卖货架的取放信息对所述商品信息进行验证；
7、若验证成功，将未识别商品的所述商品信息加入至所述第一商品列表中，获得第二商品列表，若验证失败，则生成手动录入提醒；
8、接收完成信息后，基于所述第二商品列表生成金额信息，并展示收款界面，直至收到完成结算信息或取消支付信息。
9、进一步地，对所述商品图像进行识别包括以下步骤：
10、若在所述商品图像检测到条形码区域，则基于条形码生成所述商品信息，并将对应的所述第一置信度设置为100%，若未识别到所述条形码区域，则基于深度识别模型对所述商品图像进行识别，获取所述商品信息和所述第一置信度，基于所述商品信息确定商品类型，若存在所述商品类型属于预设类型，且所述第一置信度大于所述第一阈值，继续对商品品质进行识别，若识别到存在损坏商品，则生成商品品质提醒。
11、进一步地，对所述商品品质进行识别包括以下步骤：
12、将所述商品图像进行网格化分割，获得多个网格区域，获取每个所述网格区域的原始平均像素值，设置多种区间范围，每种所述区间范围对应一种映射像素，基于所述原始平均像素值所在的所述区间范围，将其映射为对应的所述映射像素；
13、将所述网格区域划分为多种类型的子区域，获取所述子区域的统计特征，所述统计特征包括所述子区域中存在的所述映射像素及占据比例，建立标准特征库，所述标准特征库包括每种所述商品类型在损坏状态下各个所述子区域的标准特征，将所述商品图像内所述子区域的所述统计特征与所述标准特征对比，基于对比结果确定所述商品品质。
14、进一步地，基于所述售卖货架的取放信息对所述商品信息进行验证包括以下步骤：
15、获取所述售卖货架的货架图像，当所述货架图像中出现商品移出货架时，基于货架数据确定移出商品的所述商品信息，对移出商品的用户进行目标追踪，以获取用户移动图像，在所述用户移动图像中截取面部图像和身体图像进行预存储，并在所述面部图像和所述身体图像中标注所述售卖货架的所述商品信息作为图像标签，当出现验证需求时，基于未识别商品的所述商品信息和所述图像标签进行检索，若检索到存在包含未识别商品所述商品信息的所述面部图像和所述身体图像，将其与当前用户图像进行比对，若比对通过，确定当前识别出的所述商品信息正确。
16、进一步地，基于所有所述商品图像和所述重量信息进行联合推理包括以下步骤：
17、建立重量数据库，所述重量数据库包括每种商品的标准重量和浮动范围，设置重量传感器的误差分布，基于所述重量数据库获取已识别商品的第一重量，基于所述预定区域内商品的总重量和所述第一重量计算未识别商品的第二重量，基于所述浮动范围和所述误差分布修正所述第二重量获得其重量分布范围；
18、获取候选信息，所述候选信息为单张所述商品图像识别结果中所述第一置信度大于第二阈值的所述商品信息，基于所述重量数据库获取所述候选信息的所述标准重量及所述浮动范围，基于所述标准重量及所述浮动范围生成满足所述重量分布范围的候选组合，基于所述候选组合的所述重量分布范围计算每种所述候选组合的组合评分；
19、基于所述第一置信度和所述组合评分计算每种所述候选组合的候选评分，筛选最大所述候选评分对应的所述候选组合为目标组合，其中包括的所述候选信息作为未识别商品的推理结果，对应的所述候选评分作为所述第二置信度。
20、进一步地，计算所述候选组合的所述候选评分包括以下步骤：
21、基于历史购买记录获取每种所述候选信息的购买概率，基于预设权重对所述第一置信度、所述组合评分和所述购买概率进行加权求和，获得所述候选组合的联合评分，对所述联合评分进行归一化后获得归一化评分，基于当前存在所述候选组合的数量生成惩罚值，基于所述惩罚值修正所有的所述归一化评分获得所述候选评分。
22、进一步地，所述预设条件包括，所述第一数量和所述第二数量均小于第三阈值。
23、进一步地，若检测到所述货架图像中出现用户将商品移回货架，或者用户离开商场区域，删除用户的所述面部图像和所述身体图像。
24、本专利技术还提供了一种基于多模态交互的自助收银系统，该系统用于实现上述所述的一种基于多模态交互的自助收银方法，该系统包括：
25、识别模块，接收开始指令后，拍摄预定区域的初始图像，将所述初始图像拆分为多张商品图像，基于深度识别模型识别每张所述商品图像以获取其中包括的商品信息及第一置信度，基于所述第一置信度大于第一阈值的所述商品信息生成第一商品列表。
26、第一验证模块，统计所述初始图像中已识别商品和未识别商品的第一数量和第二数量，若所述第一数量和所述第二数量满足预设条件，获取所述预定区域的重量信息，基于所有所述商品图像和所述重量信息进行联合推理，获取未识别商品的所本文档来自技高网...
【技术保护点】
1.基于多模态交互的自助收银方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述商品图像进行识别包括以下步骤：
3.根据权利要求2所述的方法，其特征在于，对所述商品品质进行识别包括以下步骤：
4.根据权利要求1所述的方法，其特征在于，基于所述售卖货架的取放信息对所述商品信息进行验证包括以下步骤：
5.根据权利要求4所述的方法，其特征在于，基于所有所述商品图像和所述重量信息进行联合推理包括以下步骤：
6.根据权利要求5所述的方法，其特征在于，计算所述候选组合的所述候选评分包括以下步骤：
7.根据权利要求6所述的方法，其特征在于，所述预设条件包括，所述第一数量和所述第二数量均小于第三阈值。
8.根据权利要求4所述的方法，其特征在于，若检测到所述货架图像中出现用户将商品移回货架，或者用户离开商场区域，删除用户的所述面部图像和所述身体图像。
9.一种基于多模态交互的自助收银系统，用于实现如权利要求1-8任一项所述的方法，其特征在于，包括，
10.一种计算机存储
...【技术特征摘要】
1.基于多模态交互的自助收银方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述商品图像进行识别包括以下步骤：
3.根据权利要求2所述的方法，其特征在于，对所述商品品质进行识别包括以下步骤：
4.根据权利要求1所述的方法，其特征在于，基于所述售卖货架的取放信息对所述商品信息进行验证包括以下步骤：
5.根据权利要求4所述的方法，其特征在于，基于所有所述商品图像和所述重量信息进行联合推理包括以下步骤：
6.根据权利要求5所述的方法，其特征在于，计算所述候选组合的所述候选评分包括以下步骤：...
【专利技术属性】
技术研发人员：王俊杰，
申请(专利权)人：厦门赫玛科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。