开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例公开了一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质，该方法包括：获取对应多个货道的第一图像数据；识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。本申请实施例的技术方案仅依靠低分辨率、低帧率的图像传感器以及低运算能力的处理器就能完成无人货柜的商品状态的监控，并完成自动支付，在大幅提升用户体验的同时可有效降低软硬件成本。

Automatic Monitoring Method, Device, Electronic Equipment and Computer Readable Storage Medium for Open Unmanned Containers

The embodiment of this application discloses an automatic monitoring method, device, electronic equipment and computer readable storage medium for an open unmanned container. The method includes: acquiring first image data corresponding to multiple cargo channels; identifying the relative position of the last commodity in each cargo channel of the first image data with the image sensor. Based on the prior data and the relative position information in each channel, the channel where the number of goods changes and the quantity of goods in that channel are determined; the commodity transaction is completed according to the quantity of goods in each channel, the corresponding commodity information and the user information. The technical scheme of the embodiment of this application can monitor the commodity status of the unmanned container and complete automatic payment only by relying on low resolution, low frame rate image sensors and low computing power processors, which can effectively reduce the cost of hardware and software while greatly improving the user experience.

【技术实现步骤摘要】
开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质
本申请涉及智能零售终端领域，特别涉及一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质。
技术介绍
传统的无人货柜采取封闭式的结构，用户在支付前不能接触商品，支付后由内部的机械装置将商品推送到取货口。这种无人货柜，或称为自动贩卖机，因其结构简单、成本低廉，已经在各种公共场所有了广泛的应用。但这种传统的无人货柜用户无法观察挑选商品，支付后的验货、出货、取货等步骤机器故障导致交易失败的风险完全由用户承担，用户体验不佳。随着人工智能技术的发展，越来越多的传统行业正在使用智能的方法来提升效率和用户体验，现有技术中也出现了用户体验更舒适的开放式无人货柜。这种开放式无人货柜允许消费者只需要打开柜门，抓取并带走想要的商品，货柜就能自动完成支付。现有的开放式无人货柜由商家承担验证交易的风险，一般使用基于人工智能的图像处理技术完成对消费行为的监控，保证取走的商品完成了对应的支付。目前存在的一些技术包括，在柜门处或柜门附近安装一个或多个图像传感器，通过对柜门的以及商品区域进行监控和识别来判定柜门的开关状态；进一步，通过对柜门处消费者的动作进行监控来识别消费者行为，例如通过对消费者的手势进行识别，从而判断消费者是否取走了一件商品；进一步，通过对消费者手部关联的图像进行识别，判断消费者取走了哪件商品。但是，专利技术人在实现本申请的过程中发现，现有的开放式无人货柜的监控压力较大而效果并不理想。比如，安装在柜门处的图像传感器可能由于角度的问题使得在手部遮挡商品的时候产生误判，无法识别被取走的商品。又或者，图像传感器的帧率有限，在速度极快的情况下也可能造成误判。此外，对柜门、人手和商品等复杂物体的识别需要非常高的计算复杂度，同时由于实时性的需求，识别模块无法安装在云端，因此每个无人货柜都需要安装高性能运算模块，例如GPU模块，这意味着产品的成本激增。
技术实现思路
有鉴于此，本申请的主要目的在于提供一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质，以在大幅提升用户体验的同时有效降低软硬件成本。为达到上述目的，本申请的技术方案是这样实现的：在本申请实施例的一个方面，提供了一种开放式无人货柜的自动监控方法，所述方法包括：获取对应多个货道的第一图像数据；识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。在一些实施例中，所述在先数据包括：预设数据、前次结算数据和在先获取的第二图像数据中的至少一种。在一些实施例中，所述方法还包括：进入配置模式，所述配置模式下每个货道中包括至少一个商品；根据对应多个货道的第三图像数据和/或用户输入信息，获得每个货道中商品与图像传感器的相对位置在图像数据中的映射关系，以及获得每个货道中的对应商品信息。在一些实施例中，所述识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息包括：识别所述最后一个商品到所述图像传感器的直线距离；获取所述货道与所述图像传感器轴向的夹角；根据所述直线距离和所述夹角计算所述最后一个商品到图像传感器平面的垂直距离。在一些实施例中，所述识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息包括：获取所述货道上设置的参考标识的图像数据；基于所述参考标识的图像数据获得所述相对位置信息。在一些实施例中，所述方法还包括：周期性地和/或根据所述开放式无人货柜的开关门状态触发所述图像数据的获取。在一些实施例中，所述开关门状态包括：根据用户扫码或在客户端操作的结果开启货柜门，并获取所述用户信息；根据至少一个传感器的识别结果确认所述货柜门关闭。在本申请实施例的另一个方面，还提供了一种开放式无人货柜的自动监控装置，包括：至少一个图像传感器，用于获取对应多个货道的第一图像数据；图像识别模块，用于识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；交易计数模块，用于基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；结算模块，用于根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。在一些实施例中，所述装置还包括：配置模块，用于使所述装置进入配置模式，所述配置模式下每个货道中包括至少一个商品；第一信息获取模块，用于根据对应多个货道的第三图像数据和/或用户输入信息，获得每个货道中商品与图像传感器的相对位置在图像数据中的映射关系，以及获得每个货道中的对应商品信息。在一些实施例中，所述图像识别模块包括：直线距离识别模块，用于识别所述最后一个商品到所述图像传感器的直线距离；第二信息获取模块，用于获取所述货道与所述图像传感器轴向的夹角；计算模块，用于根据所述直线距离和所述夹角计算所述最后一个商品到图像传感器平面的垂直距离。在一些实施例中，所述装置中：所述至少一个图像传感器还用于获取所述货道上设置的参考标识的图像数据；所述图像识别模块包括第三信息获取模块，用于基于所述参考标识的图像数据获得所述相对位置信息。在一些实施例中，所述装置还包括：触发模块，用于周期性地和/或根据所述开放式无人货柜的开关门状态触发所述图像数据的获取。在一些实施例中，所述装置还包括：开门控制模块，用于根据用户扫码或在客户端操作的结果开启货柜门，并获取所述用户信息；关门状态确认模块，用于根据至少一个传感器的识别结果确认所述货柜门关闭。在一些实施例中，所述装置还包括：异常警告模块，用于识别异常状态并发出相应警告。在一些实施例中，所述装置还包括：通信模块，用于与远程服务器通信，以使所述远程服务完成所述图像识别模块、所述交易计数模块和所述交易模块中至少一个模块的功能。在本申请实施例的再一个方面，还提供了一种电子设备，包括：存储器以及一个或多个处理器；其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前所述的方法。在本申请实施例的又一个方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前所述的方法。本申请实施例提出了一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质，其技术方案仅依靠低分辨率、低帧率的图像传感器以及低运算能力的处理器就能完成无人货柜的商品状态的监控，并完成自动支付，在大幅提升用户体验的同时可有效降低软硬件成本。附图说明图1为本申请一个实施例中开放式无人货柜的典型结构示意图；图2为本申请一个实施例中开放式无人货柜中图像传感器的典型设置方式示意图；图3为本申请一个实施例中开放式无人货柜的自动监控方法的流程示意图；图4为本申请一个实施例中图像识别距离数据的场景示意图；图5为本申请一个实施例中通过参考标识辅助图像识别的场景示意图；图6为本申请一个实施例中开放式无人货柜的自动监控装置的模块结构示意图。具体实施方式在下面的详细描述中，通过示例阐述了本申请的许多具本文档来自技高网...

【技术保护点】
1.一种开放式无人货柜的自动监控方法，其特征在于，所述方法包括：获取对应多个货道的第一图像数据；识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。

【技术特征摘要】
1.一种开放式无人货柜的自动监控方法，其特征在于，所述方法包括：获取对应多个货道的第一图像数据；识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。2.根据权利要求1所述的方法，其特征在于，所述在先数据包括：预设数据、前次结算数据和在先获取的第二图像数据中的至少一种。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：进入配置模式，所述配置模式下每个货道中包括至少一个商品；根据对应多个货道的第三图像数据和/或用户输入信息，获得每个货道中商品与图像传感器的相对位置在图像数据中的映射关系，以及获得每个货道中的对应商品信息。4.根据权利要求1所述的方法，其特征在于，所述识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息包括：识别所述最后一个商品到所述图像传感器的直线距离；获取所述货道与所述图像传感器轴向的夹角；根据所述直线距离和所述夹角计算所述最后一个商品到图像传感器平面的垂直距离。5.根据权利要求1或4所述的方法，其特征在于，所述识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息包括：获取所述货道上设置的参考标识的图像数据；基于所述参考标识的图像数据获得所述相对位置信息。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：周期性地和/或根据所述开放式无人货柜的开关门状态触发所述图像数据的获取。7.根据权利要求6所述的方法，其特征在于，所述开关门状态包括：根据用户扫码或在客户端操作的结果开启货柜门，并获取所述用户信息；根据至少一个传感器的识别结果确认所述货柜门关闭。8.一种开放式无人货柜的自动监控装置，其特征在于，包括：至少一个图像传感器，用于获取对应多个货道的第一图像数据；图像识别模块，用于识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；交易计数模块，用于基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；结算模块，用于根据各个货道商品数量的变化量、对应商品...

【专利技术属性】
技术研发人员：丁超，贾小龙，
申请(专利权)人：北京无人店科技有限公司，
类型：发明
国别省市：北京,11