基于开放环境的无人结算方法、装置、设备和系统制造方法及图纸

本发明专利技术公开了一种基于开放环境的无人结算方法、装置、设备和系统，方法包括：接收光栅传感器组件传输的光栅光束状态信息，当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与人脸图像进行绑定，完成一次消费记录，当顾客进入结算区域时，采集顾客的人脸图像，并获取与人脸图像对应的所有消费记录，以形成账单完成结算。本发明专利技术提供了一种可靠性高，成本低的无人结算方案。

【技术实现步骤摘要】
基于开放环境的无人结算方法、装置、设备和系统
本专利技术涉及人工智能技术应用领域，具体地涉及一种基于开放环境的无人结算方法、装置、设备和系统。
技术介绍
智慧社会，智慧城市已经成为目前国内城市建设的一个主要方向，随着人工智能技术的爆发，零售行业也提出了新零售的概念和举措，将走向高度智能化、便捷化、自动化、专业化，大大减少中间环节，解放人力。其中，智能无人商店成为了当前零售业最新兴的市场。智能无人商店，就是人工智能与新零售二者结合的产物，就是7x24小时无人值守的，通过人工智能实现购物的全部流程的店铺。这种店铺通过与人工智能系统连接，从用户的进入到挑选商品、收银、离开，全程不需要任何人工参与便可自助购物。现有技术中，目前无人结算主要是在限制环境和开放环境下实现。限制场景主要对交易对象，交易场景，交易商品中的一项或几项进行限制。在限制环境下常见的无人结算系统主要有基于RFID标签和智能商品柜或冰柜的无人结算系统。基于RFID的无人结算系统需要给每一个商品贴上RFID标签，结算时进入专用的结算间识别RFID标签后结算。以及基于智能商品柜或冰柜的无人结算系统，每次交易前需要先进行身份验证，身份验证通过后开启柜门，关闭柜门后结算，每次交易对象只能有一个。而开放场景对交易场景没有严格的限制，通过多种身份识别技术对交易对象进行过身份绑定后，允许任意数量的交易对象进行同时交易，开放场景的无人结算系统通常通过计算机视觉配合多种传感器来实现，由于在开放场景下人的行为较为复杂，并且涉及到多人并行交易，人的身份验证，行为检测，商品和身份的绑定等问题，只使用单一传感器很难实现。专利
技术实现思路
本专利技术实施例提出的一种基于开放环境的无人结算方法、装置、设备和系统。本专利技术提供了一种可靠性高，成本低的无人结算方案，可以有效的确定商品的种类与数量，商品与人的交互行为，以及匹配商品ID与顾客ID。第一方面，本专利技术实施例提供一种基于开放环境的无人结算方法，包括：接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像；根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。进一步地，还包括：根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。进一步地，所述第一摄像头的角度沿光栅光束方向，用于拍摄到所述光栅发射器与所述光栅接收器的位置。更进一步地，所述光栅光束覆盖商品柜放置区的正面区域；当所述手部放回以及取走的商品时，所述手部穿过所述光栅光束所覆盖的区域，所述手部穿过区域所述光栅光束由未被遮挡状态变为遮挡状态；根据所述光栅光束状态信息发生变化位置得到所述手部放回以及取走的商品位置。第二方面，本专利技术提供一种基于开放环境的无人结算装置，包括：接收模块，用于接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；获取图像模块，用于当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像；检测模块，用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；绑定模块，用于当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；结算模块，用于当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。第三方面，本专利技术提供一种基于开放环境的无人结算设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于开放环境的无人结算方法。第四方面，本专利技术提供一种基于开放环境的无人结算系统，其特征在于，包括光栅传感器组件、第一摄像头、第二摄像头以及第三方面所述的基于开放环境的无人结算设备；所述光栅传感器组件，用于检测光栅光束的状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；所述无人结算设备，用于接收光栅传感器组件传输的光栅光束状态信息；当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；所述第一摄像头，用于采集手部图像；所述第二摄像头，用于采集人脸图像；所述无人结算设备，用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。进一步地，所述无人结算设备还用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。进一步地，所述第一摄像头位于所述光栅传感器组件上方；所述第一摄像头角度沿光栅光束方向，用于拍摄到光栅发射器与光栅接收器，并采集手部图像；所述第二摄像头安装在商品柜上，用于采集人脸图像。实施本专利技术实施例，具有如下有益效果：1、本专利技术提出一种光栅传感器与摄像头组合的方案，只需要在每个商品柜上安装2个摄像头和一组光栅传感器，降低了成本和安装难度，也能够有效的确定商品的种类与数理，商品与人的交互行为，以及匹配商品ID与顾客ID。在本专利技术中，不再实时对每一个顾客进行跟踪，只在顾客与商品产生交互时进行判断。由于去除了大量冗余的判断，大大降低了所需要的传感器和运算量。2、本专利技术中通过光栅光束状态信息的变化来判断是否存在手部的进出，只在手部进出时才对图像进行计算，大大降低了图像计算的运算量。3、通过对每次行为触发时关键点的关联和人脸采集，规避了需要对顾客实时跟踪的问题，只需要在商品柜上安装摄像头，降低了普及的难度。4、通过规避对顾客进行实时跟踪，避免了当顾客数量超过一定数量时计算量呈几何增长和精度严重下降的问题，大大增加了顾客的容纳量。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施本文档来自技高网...

【技术保护点】
1.一种基于开放环境的无人结算方法，其特征在于，包括：接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像；根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。

【技术特征摘要】
1.一种基于开放环境的无人结算方法，其特征在于，包括：接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像；根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。2.根据权利要求1所述的基于开放环境的无人结算方法，其特征在于，还包括：根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。3.根据权利要求1所述的基于开放环境的无人结算方法，其特征在于，所述第一摄像头的角度沿光栅光束方向，用于拍摄到所述光栅发射器与所述光栅接收器的位置。4.根据权利要求3所述的基于开放环境的无人结算方法，其特征在于，所述光栅光束覆盖商品柜放置区的正面区域；当所述手部放回以及取走的商品时，所述手部穿过所述光栅光束所覆盖的区域，所述手部穿过区域所述光栅光束由未被遮挡状态变为遮挡状态；根据所述光栅光束状态信息发生变化位置得到所述手部放回以及取走的商品位置。5.一种基于开放环境的无人结算装置，其特征在于，包括：接收模块，用于接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；获取图像模块，用于当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像；检测模块，...

【专利技术属性】
技术研发人员：杜吉祥，周以重，张洪博，上官县金，雷庆，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建,35