基于视觉识别的结算方法和系统技术方案

本发明专利技术属于图像识别技术领域，其公开了一种基于视觉识别的结算方法和系统。结算方法包括：获取结算台台面上所有商品的多张图像，多张图像与多个向下对商品进行拍摄的拍摄角度一一对应，多个拍摄角度中包含至少一个第一拍摄角度，第一拍摄角度所在的拍摄点位于结算台台面的正上方；根据多张图像和预先训练的一级分类模型，获取与各商品对应的多个初级分类结果，根据各商品对应的多个初级分类结果和预先训练的一级线性回归模型获取与各商品对应的一级分类结果；根据各商品对应的一级分类结果进行结算。结算系统包括图像获取装置、一级分类装置和结算装置。本发明专利技术通过上述技术方案能准确识别商品，便于自助结算。

Settlement method and system based on visual recognition

【技术实现步骤摘要】
基于视觉识别的结算方法和系统
本专利技术属于图像识别
，特别涉及一种基于视觉识别的结算方法和系统。
技术介绍
顾客在超市、餐厅等购物场所看到自己喜欢或需要的商品时，需在结算台进行结算才能得到。现有技术中，常用的结算方法有两种：第一种是基于条形码的结算方法，该方法是通过扫描商品上的条形码的方式识别商品，然后对识别的商品进行结算，扫描操作由收银员完成或者顾客自助完成。该方法具有如下缺陷：扫描比较麻烦、费人工、对操作有一定的要求，而且一般每次只能扫描一件商品，不能同时扫多件商品、效率低。第二种是基于RFID的结算方法，该方法是在商品上贴一个不需要电池的射频小模块，当该商品通过结算台时，结算台会向该商品发射无线信号，该射频小模块接收到该信号之后会回馈一个信号给结算台，该回馈信号中带有商品的ID信息，然后据此进行结算。该方法具有如下缺陷：需要在每件商品上贴射频小模块、比较麻烦，而且如果射频小模块从商品上掉落，无论自然掉落还是人为撕掉，都会给商家造成损失。此外，当商品为金属商品时，在其上贴附RFID，可能会存在信号被屏蔽问题。
技术实现思路
为了解决上述问题，本专利技术一方面提供了一种基于视觉识别的结算方法，其包括：获取结算台台面上所有商品的多张图像，多张所述图像与多个向下对所述商品进行拍摄的拍摄角度一一对应，多个所述拍摄角度中包含至少一个第一拍摄角度，所述第一拍摄角度所在的拍摄点位于所述结算台台面的正上方；根据多张所述图像和预先训练的一级分类模型，获取与各所述商品对应的多个初级分类结果，所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据各所述商品对应的多个所述初级分类结果和预先训练的一级线性回归模型获取与各所述商品对应的一级分类结果；根据各所述商品对应的所述一级分类结果进行结算。在如上所述的结算方法中，优选地，所述拍摄角度的数量为两个，一个所述拍摄角度所在的拍摄点位于所述结算台台面中心的正上方，另一个所述拍摄角度所在的拍摄点位于所述结算台台面的斜上方。在如上所述的结算方法中，优选地，所述根据多张所述图像和预先训练的一级分类模型，获取与各所述商品对应的初级分类结果，具体包括：根据所述第一拍摄角度下获取的图像确定第一目标区域图像，根据所述第一目标区域图像的数量对剩余拍摄角度下的各图像分别进行目标检测得到第二目标区域图像，所述剩余拍摄角度为多个所述拍摄角度中除所述第一拍摄角度之外的拍摄角度；根据所述第一目标区域图像、第二目标区域图像和预先训练的一级分类模型，获取与各所述商品对应的多个初级分类结果。在如上所述的结算方法中，优选地，在所述根据各所述商品对应的多个所述初级分类结果和预先训练的一级线性回归模型获取与各所述商品对应的一级分类结果之后，所述结算方法还包括：判断所述一级分类结果是否为相似商品；若判断为是相似商品，则根据多张所述图像和预先训练的二级分类模型，获取与所述相似商品对应的多个次级分类结果，再根据多个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果，根据所述二级分类结果进行结算，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型；若判断为否，则跳转至步骤所述根据所述商品对应的一级分类结果进行结算。在如上所述的结算方法中，优选地，在所述根据各所述商品对应的所述一级分类结果进行结算之前，所述结算方法还包括：根据多张所述图像和与所述一级分类结果对应的预先训练的支持向量机模型，得到三级分类结果，判断所述三级分类结果是否与所述一级分类结果一致，若判断为一致，则跳转至步骤根据各所述商品对应的所述一级分类结果进行结算，否则提醒消费者不能结算。本专利技术另一方面提供了一种基于视觉识别的结算系统，其包括：图像获取装置，用于获取结算台台面上所有商品的多张图像，多张所述图像与多个向下对所述商品进行拍摄的拍摄角度一一对应，多个所述拍摄角度中包含至少一个第一拍摄角度，所述第一拍摄角度所在的拍摄点位于所述结算台台面的正上方；一级分类装置，用于根据多张所述图像和预先训练的一级分类模型，获取与各所述商品对应的多个初级分类结果，所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据各所述商品对应的多个所述初级分类结果和预先训练的一级线性回归模型获取与各所述商品对应的一级分类结果；结算装置，用于根据各所述商品对应的所述一级分类结果进行结算。在如上所述的结算系统中，优选地，所述一级分类装置具体用于：根据所述第一拍摄角度下采集的图像确定第一目标区域图像，根据所述第一目标区域图像的数量对剩余拍摄角度下的各图像分别进行目标检测得到第二目标区域图像，所述剩余拍摄角度为多个所述拍摄角度中除所述第一拍摄角度之外的拍摄角度；根据所述第一目标区域图像、第二目标区域图像和预先训练的一级分类模型，获取与各所述商品对应的多个初级分类结果。在如上所述的结算系统中，优选地，所述结算系统还包括：第一判断装置，用于判断所述一级分类结果是否为相似商品；二级分类装置，用于若判断为是相似商品，则根据多张所述图像和预先训练的二级分类模型，获取与所述相似商品对应的多个次级分类结果，再根据多个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果，根据所述二级分类结果进行结算，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型；第一选择装置，用于若判断为否，则跳转至所述结算装置。在如上所述的结算系统中，优选地，所述结算系统还包括：三级分类装置，用于根据多张所述图像和与所述一级分类结果对应的预先训练的支持向量机模型，得到三级分类结果；第二判断装置，用于判断所述三级分类结果是否与所述一级分类结果一致；第二选择装置，用于若判断为一致，则跳转至所述结算装置，否则提醒消费者不能结算。本专利技术又一方面提供了一种基于视觉识别的结算系统，其包括：多个摄像头，用于采集放置在结算台台面上的所有商品的多张图像，多张所述图像与多个所述摄像头的拍摄角度一一对应，多个所述拍摄角度中包含至少一个第一拍摄角度，所述第一拍摄角度对应的摄像头位于所述结算台台面的正上方；处理器；用于存储处理器可执行的指令的存储器；其中，所述处理器被配置为：根据多张所述图像和预先训练的一级分类模型，获取与各所述商品对应的多个初级分类结果，所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据各所述商品对应的多个所述初级分类结果和预先训练的一级线性回归模型获取与各所述商品对应的一级分类结果，根据各所述商品对应的所述一级分类结果进行结算。本专利技术实施例提供的技术方案带来的有益效果是：能准确识别商品，便于自助结算。附图说明图1为本专利技术一实施例提供的一种基于视觉识别的结算方法的流程示意图；图2为本专利技术另一实施例提供的一种基于视觉识别的结算方法的流程示意图；图3为本专利技术又一实施例提供的一种基本文档来自技高网...

【技术保护点】
1.一种基于视觉识别的结算方法，其特征在于，所述结算方法包括：/n获取结算台台面上所有商品的多张图像，多张所述图像与多个向下对所述商品进行拍摄的拍摄角度一一对应，多个所述拍摄角度中包含至少一个第一拍摄角度，所述第一拍摄角度所在的拍摄点位于所述结算台台面的正上方；/n根据多张所述图像和预先训练的一级分类模型，获取与各所述商品对应的多个初级分类结果，所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据各所述商品对应的多个所述初级分类结果和预先训练的一级线性回归模型获取与各所述商品对应的一级分类结果；/n根据各所述商品对应的所述一级分类结果进行结算。/n

【技术特征摘要】
1.一种基于视觉识别的结算方法，其特征在于，所述结算方法包括：
获取结算台台面上所有商品的多张图像，多张所述图像与多个向下对所述商品进行拍摄的拍摄角度一一对应，多个所述拍摄角度中包含至少一个第一拍摄角度，所述第一拍摄角度所在的拍摄点位于所述结算台台面的正上方；
根据多张所述图像和预先训练的一级分类模型，获取与各所述商品对应的多个初级分类结果，所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据各所述商品对应的多个所述初级分类结果和预先训练的一级线性回归模型获取与各所述商品对应的一级分类结果；
根据各所述商品对应的所述一级分类结果进行结算。


2.根据权利要求1所述的结算方法，其特征在于，所述拍摄角度的数量为两个，一个所述拍摄角度所在的拍摄点位于所述结算台台面中心的正上方，另一个所述拍摄角度所在的拍摄点位于所述结算台台面的斜上方。


3.根据权利要求1或2所述的结算方法，其特征在于，所述根据多张所述图像和预先训练的一级分类模型，获取与各所述商品对应的初级分类结果，具体包括：
根据所述第一拍摄角度下获取的图像确定第一目标区域图像，根据所述第一目标区域图像的数量对剩余拍摄角度下的各图像分别进行目标检测得到第二目标区域图像，所述剩余拍摄角度为多个所述拍摄角度中除所述第一拍摄角度之外的拍摄角度；
根据所述第一目标区域图像、第二目标区域图像和预先训练的一级分类模型，获取与各所述商品对应的多个初级分类结果。


4.根据权利要求1或2所述的结算方法，其特征在于，在所述根据各所述商品对应的多个所述初级分类结果和预先训练的一级线性回归模型获取与各所述商品对应的一级分类结果之后，所述结算方法还包括：
判断所述一级分类结果是否为相似商品；
若判断为是相似商品，则根据多张所述图像和预先训练的二级分类模型，获取与所述相似商品对应的多个次级分类结果，再根据多个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果，根据所述二级分类结果进行结算，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型；
若判断为否，则跳转至步骤所述根据所述商品对应的一级分类结果进行结算。


5.根据权利要求1所述的结算方法，其特征在于，在所述根据各所述商品对应的所述一级分类结果进行结算之前，所述结算方法还包括：
根据多张所述图像和与所述一级分类结果对应的预先训练的支持向量机模型，得到三级分类结果，判断所述三级分类结果是否与所述一级分类结果一致，若判断为一致，则跳转至步骤根据各所述商品对应的所述一级分类结果进行结算，否则提醒消费者不能结算。


6.一种基于视觉识别的结算系统，其特征在于，所述结算系统包括：
图像获取装置，用于获取结算台台面上所有商品的多张图像，多张所述图像与多个向下对所述商品进行拍摄的拍摄角...

【专利技术属性】
技术研发人员：吴一黎，
申请(专利权)人：图灵通诺北京科技有限公司，
类型：发明
国别省市：北京;11