一种基于深度学习构建的无人超市系统技术方案

本发明专利技术公开了一种基于深度学习构建的无人超市系统，包括：中控模块、用户服务端、闸机模块、人员检测模块以及商品检测模块；其中，人员检测模块设置在超市内，用于对闸机模块区域和超市内的顾客进行图像采集，并配合中控模块生成顾客的跟踪轨迹；商品检测模块设置在超市的货架中，用于配合中控模块确定购买当前商品的顾客及购买数量；闸机模块包括入口闸机和出口闸机，用户服务端用于在顾客通过入口闸机进入超市后生成顾客的唯一标识，并配合中控模块生成对应顾客的结算清单，出口闸机用于配合中控模块，在顾客完成支付前，禁止顾客走出超市。本发明专利技术智能化程度高，可实现无感知购物。可实现无感知购物。可实现无感知购物。

【技术实现步骤摘要】
一种基于深度学习构建的无人超市系统


[0001]本专利技术涉及无人超市
，特别涉及一种基于深度学习构建的无人超市系统。

技术介绍

[0002]现有的无人超市系统的解决方案主要有两种，一是为每件商品贴上射频识别RFID标签，通过射频读取设备进行商品识别并结算，另一种是用户购物后自助扫描条形码进行结算。
[0003]方案一所述的无人超市系统在商品识别方面使用附加在商品上的RFID标签，通过射频读取设备进行商品识别，这种方案需要在每件商品都附加RFID标签，人工成本和商品维护成本高，不适合大面积使用。
[0004]方案二所述的无人超市系统需要用户自助扫描商品条形码结算，易出现漏算、多算等现象，要有专人监督，需要人员成本，与普通线下超市无本质区别。
[0005]因此，上述现有的两种无人超市方案无法满足无人超市想要达到的
‘
即拿即走
’
的无感知购物，且人员成本高。

技术实现思路

[0006]本专利技术提供了一种基于深度学习构建的无人超市系统，以解决现有的无人超市方案需要用户自助结算或将商品贴上RFID标签，维护成本高，无法实现无感知购物，购物体验不佳的技术问题。
[0007]为解决上述技术问题，本专利技术提供了如下技术方案：
[0008]一种基于深度学习构建的无人超市系统，包括：包括中控模块、用户服务端、闸机模块、人员检测模块和商品检测模块；其中，所述用户服务端、闸机模块、人员检测模块和商品检测模块分别与所述中控模块通信连接；r/>[0009]所述人员检测模块设置在超市内，用于对所述闸机模块所在区域和超市内的顾客进行图像采集，并配合所述中控模块生成顾客的跟踪轨迹；所述商品检测模块设置在超市的货架中，用于检测对应商品的质量变化，并配合所述中控模块确定购买当前商品的顾客及购买数量；所述闸机模块包括设置在超市进出口的入口闸机和出口闸机，所述用户服务端用于在顾客通过所述入口闸机进入超市后生成顾客的唯一标识，并配合所述中控模块生成对应顾客的结算清单，所述出口闸机用于配合所述中控模块，在顾客完成支付前，禁止顾客走出超市。
[0010]其中，所述入口闸机处设置有进店二维码，出口闸机处设置有出店二维码；
[0011]当顾客扫描所述进店二维码并选择进店选项后，所述入口闸机开放允许当前顾客进入超市，此时，所述用户服务端生成当前顾客的唯一标识；当顾客扫描所述出店二维码后，所述用户服务端生成当前顾客的结算清单并显示给顾客。
[0012]其中，所述人员检测模块包括设置在超市屋顶的摄像头；所述中控模块包括跟踪
单元；
[0013]当有顾客位于所述入口闸机区域时，所述摄像头基于深度学习的检测算法实时检测所述入口闸机区域顾客的头部位置并将检测的顾客的头部位置发送至所述中控模块，通过所述中控模块的跟踪单元生成与顾客数量对应的跟踪轨迹；
[0014]当顾客进入超市后，所述跟踪单元将当前进店顾客的唯一标识与已生成的跟踪轨迹使用匹配算法进行匹配，使得进入店内的顾客的跟踪轨迹带有对应的顾客信息，并基于摄像头采集的图像，继续对进入店内的顾客的轨迹进行跟踪。
[0015]其中，通过摄像头基于深度学习的检测算法检测顾客的头部位置，包括：
[0016]通过摄像头采集一天中不同时间段的店内视频，将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；
[0017]构建深度学习模型，使用构建的数据集对构建的深度学习模型进行训练，得到推断模型，利用得到的推断模型实现对人体头部区域的实时检测。
[0018]其中，所述跟踪单元具体用于：
[0019]将不同摄像头视野内的坐标转化为相对于店内预设参照点的坐标，构建一个统一的坐标系；根据摄像头检测到的顾客头部区域的位置数据，利用卡尔曼滤波和计算IOU的方式进行跟踪，实现对顾客轨迹的不间断跟踪。
[0020]其中，跟踪单元将当前进店顾客的唯一标识与已生成的跟踪轨迹使用匹配算法进行匹配，使得进入店内的顾客的跟踪轨迹带有对应的顾客信息，包括：
[0021]当生成顾客的唯一标识后，所述跟踪单元在所述入口闸机的进门位置初始化一条带有当前顾客所对应的唯一标识的轨迹线U_Line；
[0022]在当前顾客通过所述入口闸机后，将U_Line与所有不带顾客唯一标识的跟踪轨迹进行匹配，计算待匹配的两条轨迹线最后几个点的距离和，取最小值，则最小值对应的两条轨迹线属于同一个人，连接这两条线，完成轨迹的匹配。
[0023]其中，所述商品检测模块包括质量传感器和托盘；
[0024]其中，所述质量传感器内置有单片机，所述质量传感器设置在货架的储物格上，所述托盘设置在所述质量传感器上，用于放置同一种商品；
[0025]当所述质量传感器检测到对应托盘上的商品总质量发生变化时，所述单片机根据对应商品的单位商品质量和所述质量传感器检测到的商品总质量变动的数值计算出商品变化的数量信息，并将对应商品的种类信息、变化的数量信息、商品发生变动的时间和质量传感器所在货架的位置坐标发送给所述中控模块。
[0026]其中，所述商品检测模块还包括储物容器，所述储物容器采用亚克力板制作，所述储物容器置于所述托盘上，商品放置在所述储物容器中。
[0027]其中，中控模块在接收到所述商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客匹配，以确定购买了当前商品的顾客及其购买数量。
[0028]其中，所述中控模块在接收到所述商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客匹配，包括：
[0029]所述中控模块在接收到所述商品检测模块发送的数据后，根据商品发生变动的时间，在所有跟踪轨迹中查找商品发生变动的时间点附近的坐标，并计算所查找到的坐标与货架坐标的欧式距离，取欧式距离最小值所对应的跟踪轨迹，确定欧式距离最小值对应的
跟踪轨迹所对应的顾客购买了相应的商品。
[0030]本专利技术提供的技术方案带来的有益效果至少包括：
[0031]本专利技术通过人员检测模块配合中控模块实现了顾客的轨迹跟踪；通过商品检测模块配合中控模块可以确定购买当前商品的顾客及购买数量；通过闸机模块配合中控模块控制顾客出入超市，并通过用户服务端配合中控模块生成对应顾客的结算清单，顾客在确认无误后，即可结算出门；整个购物流程中顾客只需扫描进店和扫码支付，无需对所购商品进行任何处理，实现了无感知购物。
附图说明
[0032]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术实施例提供的基于深度学习构建的无人超市系统组成示意图；
[0034]图2是本专利技术实施例提供的基于深度学习构建的无人超市系统的使用场景示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习构建的无人超市系统，其特征在于，包括：中控模块、用户服务端、闸机模块、人员检测模块和商品检测模块；其中，所述用户服务端、闸机模块、人员检测模块和商品检测模块分别与所述中控模块通信连接；所述人员检测模块设置在超市内，用于对所述闸机模块所在区域和超市内的顾客进行图像采集，并配合所述中控模块生成顾客的跟踪轨迹；所述商品检测模块设置在超市的货架中，用于检测对应商品的质量变化，并配合所述中控模块确定购买当前商品的顾客及购买数量；所述闸机模块包括设置在超市进出口的入口闸机和出口闸机，所述用户服务端用于在顾客通过所述入口闸机进入超市后生成顾客的唯一标识，并配合所述中控模块生成对应顾客的结算清单，所述出口闸机用于配合所述中控模块，在顾客完成支付前，禁止顾客走出超市。2.如权利要求1所述的基于深度学习构建的无人超市系统，其特征在于，所述入口闸机处设置有进店二维码，所述出口闸机处设置有出店二维码；当顾客扫描所述进店二维码并选择进店选项后，所述入口闸机开放允许当前顾客进入超市，此时，所述用户服务端生成当前顾客的唯一标识；当顾客扫描所述出店二维码后，所述用户服务端生成当前顾客的结算清单并显示给顾客。3.如权利要求2所述的基于深度学习构建的无人超市系统，其特征在于，所述人员检测模块包括设置在超市屋顶的摄像头；所述中控模块包括跟踪单元；当有顾客位于所述入口闸机区域时，所述摄像头基于深度学习的检测算法实时检测所述入口闸机区域顾客的头部位置并将检测的顾客的头部位置发送至所述中控模块，通过所述中控模块的跟踪单元生成与顾客数量对应的跟踪轨迹；当顾客进入超市后，所述跟踪单元将当前进店顾客的唯一标识与已生成的跟踪轨迹使用匹配算法进行匹配，使得进入店内的顾客的跟踪轨迹带有对应的顾客信息，并基于摄像头采集的图像，继续对进入店内的顾客的轨迹进行跟踪。4.如权利要求3所述的基于深度学习构建的无人超市系统，其特征在于，通过摄像头基于深度学习的检测算法检测顾客的头部位置，包括：通过摄像头采集一天中不同时间段的店内视频，将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；构建深度学习模型，使用构建的数据集对构建的深度学习模型进行训练，得到推断模型，利用得到的推断模型实现对人体头部区域的实时检测。5.如权利要求4所述的基于深度学习构建的无人超市系统，其特征在于，所述跟踪单元具体用于：将不同摄像...

【专利技术属性】
技术研发人员：胡伟阳，李江昀，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：