结算方法、装置和系统制造方法及图纸

本发明专利技术公开了一种结算方法、装置和系统，属于计算机技术领域。结算方法包括识别预先注册的顾客以获取顾客的身份信息，身份信息包括顾客的脸部数据和支付账号；在购物场所内实时跟踪已获取身份信息的顾客以获取此顾客的位置；判断此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；根据购物清单清单进行结算。还公开了一种结算装置包括顶部摄像头、朝前摄像头、向下摄像头和服务器。还公开了一种结算系统包括客户端和结算装置。本发明专利技术通过上述技术方案避免因粘贴RFID标签带来的工作量大以及以RFID标签易损坏的现象发生。

【技术实现步骤摘要】
结算方法、装置和系统
本专利技术属于计算机
，特别涉及一种结算方法、装置和系统。
技术介绍
顾客在超市、商店等购物场所看到自己喜欢或需要的商品时，需与购物场所的经营者进行结算才能得到该商品。通常是以在收银台排队的方式进行结算。随着人工智能技术的发展，结算方式也发生了变化，如走进购物场所后，挑选好自己的商品，不用在收营台处排队等待结账，可以立马离开，俗称“即拿即走”结算方式。现有技术中，主要是基于RFID(无线射频识别，RadioFrequencyIdentification)技术实现“即拿即走”方案。应用时，在商品上贴一个不需要电池的射频小模块，当该商品通过设置有RFID检测设置的结算台(或结算区域)时，结算台会向该商品发射无线信号，该射频小模块接收到该信号之后会回馈一个信号给结算台，该回馈的信号中带有商品的ID信息，结算台据此生成账单并进行结算。该方法具有如下缺陷：由于需要在每件商品上贴射频小模块，这对购物场所的工作人员来说工作量极大且成本较高，而且如果射频小模块从商品上掉落或本身损坏或人为损坏，结算台则无法识别该商品，会给商家造成损失。此外，有些金属商品贴上RFID，可能存在信号被屏蔽的问题。
技术实现思路
为了解决现有技术中存在的粘贴RFID标签工作量大、RFID标签易损坏的问题，本专利技术一方面提供了一种结算方法，其包括：步骤S1，识别预先注册的顾客以获取顾客的身份信息，所述身份信息包括顾客的脸部数据和支付账号；步骤S2，在购物场所内实时跟踪已获取身份信息的顾客以获取此顾客的位置；步骤S3，判断此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；步骤S4，根据所述购物清单清单进行结算。在如上所述的结算方法中，优选地，步骤S3中，判断此顾客的位置与购物场所内商品的位置是否一致，具体包括：以承载所述商品的货架上安装的朝前方拍摄的朝前摄像头的位置表示所述商品的位置，当所述朝前摄像头拍摄到含有顾客的图片所表示的顾客身份信息与所述步骤S1获取的身份信息相同时，则判断顾客的位置与购物场所内商品的位置一致。在如上所述的结算方法中，优选地，步骤S3中，识别拿取或放回动作，具体包括：获取此顾客在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向。在如上所述的结算方法中，优选地，步骤S3中，识别拿取或放回动作所针对的商品，具体包括：S31，对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；S32，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；S33，以所述一级分类结果作为第一次分类结果；S34，将所述第一次分类结果作为待识别的商品。在如上所述的结算方法中，优选地，在步骤S32之后，步骤S34之前，还包括：S35，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型，否则执行步骤S33。另一方还提供了一种结算装置，其包括：注册模块，用于在注册时接收顾客输入的身份信息及获取欲进入购物场所的顾客的身份信息；实时跟踪模块，与所述注册模块连接，用于在购物场所内实时跟踪经所述注册模块获取身份信息的顾客以获取此顾客的位置；生成购物清单模块，与所述实时跟踪模块连接，用于判断经所述实时跟踪模块获取的此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；和结算模块，与所述生成购物清单模块连接，用于根据所述生成购物清单清单模块生成的购物清单进行结算。在如上所述的结算装置中，优选地，所述生成购物清单模块包括：关联单元，用于以承载所述商品的货架上安装的朝前方拍摄的朝前摄像头的位置表示所述商品的位置，当所述朝前摄像头拍摄到含有顾客的图片所表示的顾客身份信息与所述注册模块获取的身份信息相同时，则判断顾客的位置与购物场所内商品的位置一致；动作识别单元，用于获取此顾客在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向；商品识别单元，用于识别所述拿取或放回动作所针对的商品；和购物清单生成单元，根据所述关联单元确认的此顾客的身份信息、所述动作识别单元识别的拿取或放回动作、所述商品识别单元识别的拿取或放回动作所针对的商品，生成此顾客的购物清单。在如上所述的结算装置中，优选地，所述商品识别单元包括：目标检测子单元，用于根据所述动作识别单元获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；第一分类子单元，用于根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；确认单元，用于以所述一级分类结果作为第一次分类结果；和结果认定单元，用于将所述第一次分类结果作为待识别的商品又一方面还提供了一种结算装置，其包括：顶部摄像头，用于自购物场所的顶部向下进行拍摄以在购物场所内实时跟踪已获取身份信息的顾客；朝前摄像头，用于朝货架的前方进行拍摄以获取位于承载商品的货架前的顾客的图片；下方摄像头，用于向下进行拍摄以获取顾客的手部图像；处理器；和用于存储处理器可执行的指令的存储器；其中，所述处理器被配置为：识别预先注册的顾客以获取顾客的身份信息，所述身份信息包括顾客的脸部数据和支付账号；控制所述顶部摄像头实时跟踪已获取身份信息的顾客以获取此顾客的位置；判断此顾客的位置与控制所述朝前摄像头而获取的购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取本文档来自技高网...

【技术保护点】
1.一种结算方法，其特征在于，所述结算方法包括：步骤S1，识别预先注册的顾客以获取顾客的身份信息，所述身份信息包括顾客的脸部数据和支付账号；步骤S2，在购物场所内实时跟踪已获取身份信息的顾客以获取此顾客的位置；步骤S3，判断此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；步骤S4，根据所述购物清单清单进行结算。

【技术特征摘要】
2017.08.16 CN 201710701938X1.一种结算方法，其特征在于，所述结算方法包括：步骤S1，识别预先注册的顾客以获取顾客的身份信息，所述身份信息包括顾客的脸部数据和支付账号；步骤S2，在购物场所内实时跟踪已获取身份信息的顾客以获取此顾客的位置；步骤S3，判断此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；步骤S4，根据所述购物清单清单进行结算。2.根据权利要求1所述的结算方法，其特征在于，步骤S3中，判断此顾客的位置与购物场所内商品的位置是否一致，具体包括：以承载所述商品的货架上安装的朝前方拍摄的朝前摄像头的位置表示所述商品的位置，当所述朝前摄像头拍摄到含有顾客的图片所表示的顾客身份信息与所述步骤S1获取的身份信息相同时，则判断顾客的位置与购物场所内商品的位置一致。3.根据权利要求1或2所述的结算方法，其特征在于，步骤S3中，识别拿取或放回动作，具体包括：获取此顾客在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向。4.根据权利要求1所述的结算方法，其特征在于，步骤S3中，识别拿取或放回动作所针对的商品，具体包括：S31，对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；S32，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；S33，以所述一级分类结果作为第一次分类结果；S34，将所述第一次分类结果作为待识别的商品。5.根据权利要求4所述的结算方法，其特征在于，在步骤S32之后，步骤S34之前，还包括：S35，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型，否则执行步骤S33。6.一种结算装置，其特征在于，所述结算装置包括：注册模块，用于在注册时接收顾客输入的身份信息及获取欲进入购物场所的顾客的身份信息；实时跟踪模块，与所述注册模块连接，用于在购物场所内实时跟踪经所述注册模块获取身份信息的顾客以获取此顾客的位置；生成购物清单模块，与所述实时跟踪模块连接，用于判断经所述实时跟踪模块获取的此顾客的位置与购物场所内商品的位置是否一致...

【专利技术属性】
技术研发人员：吴一黎，
申请(专利权)人：图灵通诺北京科技有限公司，
类型：发明
国别省市：北京,11