一种基于图像识别的无人支付方法以及无人支付货架系统技术方案

本发明专利技术公开了一种基于图像识别的无人支付方法以及无人支付货架系统，包括步骤：利用摄像头识别到人的手的动作，计算手的位置；当取放商品时，触发底下的传感器，计算出变化的商品的种类和数量；判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；离店结算。通过图像识别的技术，对商品进行拍照，利用神经网络模型，自动识别出商品和对应的数量，免去排队等待时间，提升购买体验。

An image recognition based unmanned payment method and unmanned payment shelf system

The invention discloses an image recognition based unmanned payment method and an unmanned payment shelf system, which comprises the following steps: using a camera to recognize the action of a person's hand and calculate the position of the hand; when taking and placing goods, triggering the sensor below to calculate the variety and quantity of the changed goods; judging whether the position of the user's manual work and the position of the sensor match, if the match is obtained Based on step 1, get the pictures before and after the hand action, and use the picture recognition technology to calculate the goods consumption List B; compare the goods consumption list a and consumption List B, if they match, add them to the shopping cart of the customer, if they don't match, special treatment will be carried out; check-out settlement. Through the technology of image recognition, we take photos of the goods, and use the neural network model to automatically identify the goods and the corresponding quantity, so as to avoid waiting time and improve the purchase experience.

【技术实现步骤摘要】
一种基于图像识别的无人支付方法以及无人支付货架系统
本专利技术涉及数据处理领域，特别涉及一种基于图像识别的无人支付方法以及无人支付货架系统。
技术介绍
目前，商店或者超市等，在结算时由收银员来完成，需要大量的人力资源成本，从而导致人力成本较高，且随着社会的发展，人力的成本将越来越高。另外，该种人工结算的方式效率比较低下，特别是在大型的超市，需要排队一件一件扫码支付，浪费了消费者大量时间，导致用户的购买体验特别不好。现有的人工收费是通过扫描条形码进行结算，如果标签破损，会扫不出来，需要收银员输入条码数字，工作量也大。
技术实现思路
本专利技术的目的在于克服现有支付系统中人力成本大、效率低下的缺陷，提供一种基于图像识别的无人支付货架系统以及无人支付方法，通过图像识别的技术，对商品进行拍照，利用神经网络模型，自动识别出商品和对应的数量，免去排队等待时间，提升购买体验。为了实现上述专利技术目的，本专利技术提供了以下技术方案：一种基于图像识别的无人支付方法，该方法包括：步骤1，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置；步骤2，当取放商品时，触发货架底下的传感器，计算出变化的商品的种类和数量；步骤3，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；步骤5，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；步骤6，离店结算。优选地，步骤2中，所述计算出变化的商品的种类和数量具体为：计算每个重量传感器上商品的重量，通过重量的变化，计算出拿走商品的数量，再通过查找重量传感器的编号，得出商品对应的种类。优选地，步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B，具体包括：a、计算动作之前的图片所包含的商品种类和数量B1b、计算动作之后的图片所包含的商品种类和数量B2c、通过B2减去B1，得到消费清单B。优选地，步骤6，离店结算具体包括：通过所述用户关联的账户对待金额进行支付。优选地，所述特殊处理为交易强制取消，并发通知给管理员维修。一种基于图像识别的无人支付货架系统，该系统包括：识别单元，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置；计算单元，当取放商品时，触发货架底下的传感器，计算出变化的商品的种类和数量；清单获取单元A，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；清单获取单元B，识别单元识别到的拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；对比单元，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；结算单元，进行离店结算。优选地，所述计算单元，计算出变化的商品的种类和数量具体为：计算每个重量传感器上商品的重量，通过重量的变化，计算出拿走商品的数量，再通过查找重量传感器的编号，得出商品对应的种类。。优选地，所述清单获取单元B，识别单元识别到的拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B，具体包括：a、计算动作之前的图片所包含的商品种类和数量B1b、计算动作之后的图片所包含的商品种类和数量B2c、通过B2减去B1，得到消费清单B。优选地，所述结算单元，进行离店结算具体包括：通过所述用户关联的账户对待金额进行支付。优选地，所述特殊处理为交易强制取消，并发通知给管理员维修。与现有技术相比，本专利技术具有如下有益效果：第一，可以节省了收银员岗位，对超市来说，人力成本是大头，取消了收银员可以大幅削减人力成本，增加利润。第二，减少了顾客排队时间浪费，很多时候顾客看到收费处排起的长队，消费欲望都会下降，导致订单流失，本专利技术免去了等待时间，而且“拿了就走”方式增加了客户购买体验。第三，清单A和清单B是通过不同方式计算出消费者消费的商品的清单，通过对比是否一致，增加准确度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1，本专利技术实施例提出的一种基于图像识别的无人支付方法的流程示意图；图2，一种基于图像识别的无人支付方法以及无人支付货架系统的设备示意图；具体实施方式在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。实施例1本专利技术实施例1提出一种基于图像识别的无人支付方法，该方法包括：步骤1，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置。该通过摄像头标定的方式来计算物体的位置已属本领域中的公知手段，本领域技术人员知晓如何实现，在此不再赘述。步骤2，当取放商品时，触发底下的传感器，计算出变化的商品的种类和数量。货架底部设有多个重量传感器，商品放置在货架中，每个重量传感器对应放置一类商品，计算每个重量传感器上商品的重量，通过重量的变化，可以计算出拿走的数量，再通过查找重量传感器的编号，可以得出商品对应的种类。步骤3，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理。判断用户手的动作和商品重量变化位置是否匹配，如果匹配则利用商品重量变化和位置识别商品，从而获得商品清单A，若不匹配则进行特殊处理。其中不匹配则特殊处理具体为：不匹配则交易强制取消，并发通知给管理员维修。步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B。计算消费清单B包括以下步骤：a、计算动作之前的图片所包含的商品种类和数量B1；b、计算动作之后的图片所包含的商品种类和数量B2；c、通过B2减去B1，得到消费清单B。步骤5，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理。其中不匹配则特殊处理具体为：不匹配则交易强制取消，并发通知给管理员维修。其中，清单A和清单B是通过不同方式计算出消费者消费的商品的清单，通过对比是否一致，增加准确度。步骤6，离店结算。在离店结算时，可以通过所述用户关联的账户对待金额进行支付。实施例2本专利技术实施例2提出一种基于图像识别的无人支付货架系统，该系统包括：识别单元，利用摄本文档来自技高网...

【技术保护点】
1.一种基于图像识别的无人支付方法，其特征在于，该方法包括：/n步骤1，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置；/n步骤2，当取放商品时，触发货架底下的传感器，计算出变化的商品的种类和数量；/n步骤3，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；/n步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；/n步骤5，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；/n步骤6，离店结算。/n

【技术特征摘要】
1.一种基于图像识别的无人支付方法，其特征在于，该方法包括：
步骤1，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置；
步骤2，当取放商品时，触发货架底下的传感器，计算出变化的商品的种类和数量；
步骤3，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；
步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；
步骤5，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；
步骤6，离店结算。


2.如权利要求1所述的一种基于图像识别的无人支付方法，所述步骤2中，所述计算出变化的商品的种类和数量具体为：计算每个重量传感器上商品的重量，通过重量的变化，计算出拿走商品的数量，再通过查找重量传感器的编号，得出商品对应的种类。


3.如权利要求1所述的一种基于图像识别的无人支付方法，所述步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B，具体包括：
a、计算动作之前的图片所包含的商品种类和数量B1
b、计算动作之后的图片所包含的商品种类和数量B2
c、通过B2减去B1，得到消费清单B。


4.如权利要求1所述的一种基于图像识别的无人支付方法，所述步骤6，离店结算具体包括：通过所述用户关联的账户对待金额进行支付。


5.如权利要求1所述的一种基于图像识别的无人支付方法，所述特殊处理为交易强制取消，并发通知给管理员维修。


6.一种基于图像识别...

【专利技术属性】
技术研发人员：陈新宇，李柱新，郭逸重，
申请(专利权)人：广州云徙科技有限公司，
类型：发明
国别省市：广东;44