一种基于单目视觉的无人便利柜自动购物结算系统及方法技术方案

本发明专利技术涉及一种基于单目视觉的无人便利柜自动购物结算系统及方法，其中系统包括数据管理中枢模块、深度学习跟踪模块和结算分析模块，所述数据管理中枢模块，利用无人便利柜中的单目视觉摄像头获取用户消费过程中朝外视角的视频数据，存储该视频数据并开放API视频接口；所述深度学习跟踪模块，通过API视频接口利用视频数据完成无人便利柜场景下商品检测及轨迹跟踪；所述结算分析模块，通过深度学习跟踪模块数据接口获取商品运动轨迹，并根据商品运动轨迹进行分析和结算。品运动轨迹进行分析和结算。品运动轨迹进行分析和结算。

【技术实现步骤摘要】
一种基于单目视觉的无人便利柜自动购物结算系统及方法


[0001]本专利技术涉及无人便利柜的
，具体涉及一种基于单目视觉的无人便利柜自动购物结算系统及方法。

技术介绍

[0002]近年来，传统电商平台是通过网络提供商品或服务的一种交易平台，用户和商家在该平台上进行销售和购买。电子商务平台是建立在Internet网上进行商务活动的虚拟网络空间和保障商务顺利运营的管理环境；是协调、整合信息流、货物流、资金流有序、关联、高效流动的重要场所。企业、商家可充分利用电子商务平台提供的网络基础设施、支付平台、安全平台、管理平台等共享资源有效地、低成本地开展自己的商业活动。虽然对用户来说，这种传统的方式，在购买成本和购买物品便捷性上为用户提供了很大的便利，但这种方式需要远距离运输，用户使用往往需要等待一段时间，无法即时满足用户购物的需求。因而，传统网购购物的电商方式在发展过程中遇到一定困境，无法满足用户快速购买的需求。
[0003]为突破传统瓶颈，电商企业提出新型零售模式，旨在打破传统线上线下壁垒，营造真实消费场景，提升消费者购物体验，改善消费者在线上购物时无法直观真实获知商品外观及质量等问题，需要进行改进。而其中的无人零售模式中的无人便利柜具有成本低、零售网点布局范围广的优势，成为“新零售”布局中的组成部分之一，无需购物过程中的额外人工零售成本，用户自助完成购物，可快速拿到购买的物品。由此，市场中涌现大量无人便利柜的实际需求。但无人便利柜还需要解决机器如何自主感知消费者的购买行为的问题。
[0004]传统解决无人便利柜消费者主要采用的是非视觉手段：利用射频识别的方式需要在每件商品上粘贴射频标签，造成额外标签成本和人工成本；利用重力感应器的方式则无法分辨质量相近的商品，相对识别精度较低。而现有一种基于单目视觉的无人便利柜，主要采用静态方法在无人便利柜每层顶部设置摄像头，通过检测用户消费后柜内商品剩余含量完成结算，但实际应用中可能无法保证柜内商品整齐摆放，会造成一定漏检和误检。因此，传统的无人购物实现运行还是具有一定缺陷的。

技术实现思路

[0005]为了实现以上目的，解决无标签工业时序数据的特征学习问题，本专利技术提供了一种基于单目视觉的无人便利柜自动购物结算方法，通过分析无人便利柜场景下消费者购物行为视频，构建完整的无人便利柜自动购物结算系统，采用单目视觉的结算方法只需部署摄像头，低成本且能够达到对物品准确的识别精度，基于现状，解决了无人便利柜的自动购物结算问题。
[0006]本专利技术采用以下技术方案：一种基于单目视觉的无人便利柜自动购物结算系统，包括数据管理中枢模块、深度学习跟踪模块和结算分析模块，所述数据管理中枢模块，利用无人便利柜中的单目视觉摄像头获取用户消费过程中朝外视角的视频数据，存储该视频数据并开放API视频接口；
所述深度学习跟踪模块，通过API视频接口利用视频数据完成无人便利柜场景下商品检测及轨迹跟踪；所述结算分析模块，通过深度学习跟踪模块数据接口获取商品运动轨迹，并根据商品运动轨迹进行分析和结算。
[0007]进一步的，所述数据管理中枢模块根据视频数据按每个消费流程划分并分别存储。这里是指每次消费算作一次消费流程，对应采集到的原始视频数据存储在数据管理中枢模块中。
[0008]进一步的，所述深度学习跟踪模块中使用视频标注数据集训练深度学习目标检测及深度特征提取模型，利用API视频接口调用视频数据完成多目标商品跟踪。
[0009]更进一步的，所述标注数据集中，采用数据标注工具对视频数据标注，再采用检测工具复检所述标注的视频数据。
[0010]进一步的，所述深度学习跟踪模块包括多目标跟踪模型部分、模型训练部分及存储部分。
[0011]进一步的，所述结算分析模块具体为，采用状态机方法对深度学习跟踪模块输出的商品运动轨迹信息进行处理，完成用户取放商品行为的判定后，根据消费者取放商品行为记录完成结算金额的计算并存储。
[0012]一种基于单目视觉的无人便利柜自动购物结算方法，包括以下步骤：步骤一、利用无人便利柜中的单目视觉摄像头获取用户消费过程中朝外视角的视频数据，存储该视频数据并开放API视频接口；步骤二、通过API视频接口利用视频数据完成无人便利柜场景下商品检测及轨迹跟踪，得到商品运动轨迹；步骤三、通过数据接口获取商品运动轨迹，并根据商品运动轨迹进行分析和结算。
[0013]进一步的，所述步骤一的视频数据按消费流程划分并分别存储。
[0014]进一步的，所述步骤二具体为，先使用视频标注数据集训练深度学习目标检测及深度特征提取模型模型，再利用API视频接口调用视频数据完成多目标商品跟踪。
[0015]进一步的，所述标注数据集中，采用数据标注工具对视频数据标注，再采用检测工具复检所述标注的视频数据。
[0016]采用本专利技术技术方案，本专利技术的有益效果为：利用单目视觉摄像头采集用户消费过程中的视频数据信息，利用基于单目视觉采集商品动态轨迹构建无人便利柜自动购物结算系统，该系统及对应的方法能够实现基于多目标跟踪实现对消费视频中的商品目标进行跟踪，将每帧轨迹更新结果输出后，进而会利用状态机对商品运动轨迹进行分析，判定轨迹对应的商品消费行为，完成无人便利柜自动购物结算任务。
附图说明
[0017]图1是无人便利柜的示意图；图2是一种基于单目视觉的无人便利柜自动购物结算系统的结构框图；图3是利用摄像机采集的一帧视频信息图；图4是利用摄像机采集的另一帧视频信息图。
[0018]图中，1.无人便利柜，2柜门，3摄像头，4商品。
具体实施方式
[0019]结合附图对本专利技术具体方案具体实施例作进一步的阐述，使得本技术方案更加清楚、明白。本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0020]本实施例涉及一种基于单目视觉的无人便利柜自动购物结算系统，如图2所示，该系统主要由数据管理中枢模块、深度学习跟踪模块和结算分析模块三部分组成。其中：数据管理中枢模块获取无人便利柜柜门顶部部署摄像头采集的视频信息，实现数据存储并开放API视频接口以便外部调用；深度学习跟踪模块利用标注数据集训练深度学习目标检测模型，利用API接口调用视频数据逐帧处理完成跟踪任务，实现消费者购买商品在视频中运动轨迹的获取；结算分析模块则针对深度学习跟踪模块得到的商品运动轨迹，针对每条商品运动轨迹完成运动分析，判定消费者的购物行为，从而实现无人便利柜的自动购物结算。
[0021]具体的，如图1所示，在无人便利柜1的柜门2顶部部署单目摄像头3，采取朝向柜门2外的视角，拍摄用户使用无人便利柜的柜门2取放商品4的动态视频，利用数据管理中枢模块获取用户消费过程中朝外视角摄像头数据，完成数据存储并开放API本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目视觉的无人便利柜自动购物结算系统，其特征在于，包括数据管理中枢模块、深度学习跟踪模块和结算分析模块，所述数据管理中枢模块，利用无人便利柜中的单目视觉摄像头获取用户消费过程中朝外视角的视频数据，存储该视频数据并开放API视频接口；所述深度学习跟踪模块，通过API视频接口利用视频数据完成无人便利柜场景下商品检测及轨迹跟踪；所述结算分析模块，通过深度学习跟踪模块数据接口获取商品运动轨迹，并根据商品运动轨迹进行分析和结算。2.根据权利要求1所述的一种基于单目视觉的无人便利柜自动购物结算系统，其特征在于，所述数据管理中枢模块根据视频数据按每个消费流程划分并分别存储。3.根据权利要求1所述的一种基于单目视觉的无人便利柜自动购物结算系统，其特征在于，所述深度学习跟踪模块中使用视频标注数据集训练深度学习目标检测及深度特征提取模型，利用API视频接口调用视频数据完成多目标商品跟踪。4.根据权利要求3所述的一种基于单目视觉的无人便利柜自动购物结算系统，其特征在于，所述标注数据集中，采用数据标注工具对视频数据标注，再采用检测工具复检所述标注的视频数据。5.根据权利要求4所述的一种基于单目视觉的无人便利柜自动购物结算系统，其特征在于，所述深度学习跟踪模块包括多目标跟踪模型部分、模型训练及存储部分。6.根据权利要求1所...

【专利技术属性】
技术研发人员：沈心田，张江宁，杨建党，黄羿，徐晋鸿，
申请(专利权)人：杭州大数云智科技有限公司，
类型：发明
国别省市：