结算方法、装置和系统制造方法及图纸

本发明专利技术公开了一种结算方法、装置和系统，属于计算机技术领域。结算方法，其包括验证接收的开锁请求是否由预先注册的顾客发送，若是则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，开锁指令用于打开容纳箱，容纳箱内设置有承载商品的货架；在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；根据购物清单进行结算。公开了一种结算装置，其包括注册模块、验证关联模块、生成购物清单模块和结算模块。公开了一种结算装置，其包括摄像头、处理器和存储器。公开了一种结算系统，其包括客户端、容纳箱和结算装置。本发明专利技术使得售货流程友好，顾客体验好；可以一次交易实现购买多个或多种商品，购买过程便捷。

【技术实现步骤摘要】
结算方法、装置和系统
本专利技术属于计算机
，特别涉及一种结算方法、装置和系统。
技术介绍
自动售货机(或称自动贩卖机)因无需收银员值守，售货方便，现在在人群比较密集的区域，如车站、商场、医院、学校非常受欢迎。自动售货机的售货流程如下：顾客挑选自己喜欢的一个商品，并触碰与该商品对应的按键，然后投入硬币或纸币或使用移动支付，如支付宝、微信等来完成支付过程，从而拿到该商品。随着信息技术的发展，顾客越来越感觉自动售货机的售货流程不友好，不能实现“即拿即走”的结算方式，该结算方式下顾客挑选好自己的商品，可以立马离开。而且自动售货机每次只能完成一个商品的交易，当顾客需要购买多个商品时，需多次交易，购买过程不便捷。而且自动售货机的货架上摆放的是样品，非实际的可售卖的商品，且货架上只能摆放一排样品，可见商品的种类非常少，不能满足顾客对商品多样化的需求。
技术实现思路
为了解决现有技术中存在的自动售货机不能实现“即拿即走”结算方式的问题，本专利技术一方面提供了一种结算方法，其包括：步骤S1，验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载所述商品的货架；步骤S2，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；步骤S3，根据所述购物清单进行结算。在如上所述的结算方法中，优选地，步骤S2中，识别拿取或放回动作，具体包括：获取此顾客在所述货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向。在如上所述的结算方法中，优选地，步骤S2中，识别拿取或放回动作所针对的商品，具体包括：S21，对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；S22，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；S23，以所述一级分类结果作为第一次分类结果；S24，将所述第一次分类结果作为待识别的商品。在如上所述的结算方法中，优选地，在步骤S22之后，步骤S24之前，还包括：S25，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述容纳箱内相似商品组中商品训练的模型，否则执行步骤S23。另一方面提供了一种结算装置，其包括：注册模块，用于在注册时接收顾客输入的身份信息及账户信息；验证关联模块，与所述注册模块连接，用于验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与所述商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载商品的货架；生成购物清单模块，与所述验证关联模块连接，用于在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；和结算模块，与所述生成购物清单模块连接，用于根据所述生成购物清单模块生成的购物清单进行结算。在如上所述的结算装置中，优选地，所述生成购物清单模块包括：动作识别单元，用于获取此顾客在所述货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向；商品识别单元，用于识别所述拿取或放回动作所针对的商品；和购物清单生成单元，与所述验证关联模块、动作识别单元和商品识别单元连接，用于根据所述验证关联模块关联的此顾客的身份信息、所述动作识别单元识别的拿取或放回动作、所述商品识别单元识别的拿取或放回动作所针对的商品，生成此顾客的购物清单。在如上所述的结算装置中，优选地，所述商品识别单元包括：目标检测子单元，用于根据所述动作识别单元获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；第一分类子单元，用于根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；确认子单元，用于以所述一级分类结果作为第一次分类结果；和结果认定子单元，用于将所述第一次分类结果作为待识别的商品。在如上所述的结算装置中，优选地，所述商品识别单元还包括：判断子单元，与所述第一分类子单元和第二分类子单元连接，用于判断一级分类结果是否为相似商品，若是则执行所述第二分类子单元，否则执行所述第一分类子单元；和所述第二分类子单元，用于根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述容纳箱内相似商品组中商品训练的模型。又一方面提供了一种结算装置，其包括：摄像头，设置在容纳箱上，用于获取顾客的手部图像，所述容纳箱内设置有承载商品的货架；处理器；和用于存储处理器可执行的指令的存储器；其中，所述处理器被配置为：验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与所述商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单，根据所述购物清单进行结算。再一方面提供了一种结算系统，其包括：客户端、容纳箱和结算装置；所述客户端，用于注册时接收顾客输入的身份信息并发送给所述结算装置和所述结算装置下发的购物清单；所述容纳箱内设置有用于承载商品的货架，所述容纳箱的门设置有门锁；所述结算装置为上述的结算装置。本专利技术实施例通过上述技术方案带来的有益效果如下：售货流程友好，顾客体验好；可以一次交易实现购买多个或多种商品，购买过程便捷。附图说明图1为本专利技术实施例提供的一种结算方法的流程示意图；图2为本专利技术实施例提供的一种基于卷积神经网络的图像识别方法的流程示意图；图3为本专利技术实施例提供的另一本文档来自技高网...

【技术保护点】
1.一种结算方法，其特征在于，所述结算方法包括：步骤S1，验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载所述商品的货架；步骤S2，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；步骤S3，根据所述购物清单进行结算。

【技术特征摘要】
1.一种结算方法，其特征在于，所述结算方法包括：步骤S1，验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载所述商品的货架；步骤S2，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；步骤S3，根据所述购物清单进行结算。2.根据权利要求1所述的结算方法，其特征在于，步骤S2中，识别拿取或放回动作，具体包括：获取此顾客在所述货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向。3.根据权利要求1或2所述的结算方法，其特征在于，步骤S2中，识别拿取或放回动作所针对的商品，具体包括：S21，对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；S22，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；S23，以所述一级分类结果作为第一次分类结果；S24，将所述第一次分类结果作为待识别的商品。4.根据权利要求3所述的结算方法，其特征在于，在步骤S22之后，步骤S24之前，还包括：S25，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述容纳箱内相似商品组中商品训练的模型，否则执行步骤S23。5.一种结算装置，其特征在于，所述结算装置包括：注册模块，用于在注册时接收顾客输入的身份信息及账户信息；验证关联模块，与所述注册模块连接，用于验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与所述商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载商品的货架；生成购物清单模块，与所述验证关联模块连接，用于在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；和结算模块，与所述生成购物清单模块连接，用于根据所述生成购物清单模块生成的购物清单进行结算。6.根据权利要求5所述的结算装置，其特征在于，所述生成购物清单模块包括：动作识别单元，用于获取此顾客在所述货架前的多帧连贯的手部图...

【专利技术属性】
技术研发人员：吴一黎，
申请(专利权)人：图灵通诺北京科技有限公司，
类型：发明
国别省市：北京,11