一种基于纯视觉的免门禁无人商店结账方法技术

本发明专利技术是一种基于纯视觉的免门禁无人商店结账方法。本发明专利技术涉及人工智能管理技术领域，所述方法具体为：训练动作判别模型，对于一个场景确定顾客拿、取或者放回的动作；搭建卷积神经网络模型，对产品图片进行学习训练，进行预测分类测试图片，检测手中的商品类型；建立商品与顾客的相对关系，选择离商品最近的顾客作为动作的发起者；对顾客进行人重和人脸识别，确定顾客身份并结账。本发明专利技术解决现有的购物商店需要大量的人力来进行结账的问题，并且改进现有技术的缺陷，获得选址灵活，能够提高销售效率和增加营业时间，并且所需的财力也大大减少的技术效果。大减少的技术效果。大减少的技术效果。

【技术实现步骤摘要】
一种基于纯视觉的免门禁无人商店结账方法


[0001]本专利技术涉及人工智能管理
，是一种基于纯视觉的免门禁无人商店结账方法。

技术介绍

[0002]目前，一般商店都会有售货员或者收银员，通过售货员或者收银员来结算用户购买的商品。然而，当购买商品的用户数量较多时，往往都需要排队，以至于用需要花费较长的时间结账，此外，还需提供售货员或者收银员的人工成本。
[0003]因此，为了解决上述问题，现有技术中出现了无人商店，它选址灵活，能够提高销售效率和增加营业时间。目前而言，无人值守售货盒子一般采用商品粘贴RFID标签作为扫描标识，然而粘贴RFID有几个缺点:(1)使用RFID成本极高，商品粘贴RFID需要人工处理，同时要支RFID标签识别，需要RFID发射器、专用读取机、编码器、RFID天线等设置，加上RFID标签本身也需要成本；(2)不能防伪、易受串读被动读干扰；(3)不能用于金属及带水份外壳。因此，需要提供一种无人商店结账方法解决上述问题。
[0004]而且，现有的无人商店系统都需要在入口或者出口处设立门禁，用户在进入或者离开商店的时候需要在门禁处等待一段时间进行人脸识别，人脸识别成功顾客才能进入商店进行购物，门口设立门禁增加了硬件装置需要更多的财力，同时耗费了顾客的时间。
[0005]现有的自动结账方法是基于商店设置了单独的结账区域的前提下提出的，无人商店设有结账区域，结账区域设置了第一出口和第二出口。该方法包括：在检测到第一出口的预设区域内存在用户的感应信号时，获取结账区域的第一区域图像；根据第一区域图像，判断结账区域内是否有人；如果没有人，控制第一出口的门开启，并且获取结账区域的第二区域图像；根据第二区域图像，判断结账区域内是否只有一位用户；如果结账区域内只有一位用户，并且检测到结账区域存在商品时，控制第一出口的门关闭，获取用户的面部特征，并且根据面部特征获取用户的账号，以及获取用户选购的商品信息和其对应的价格；根据价格从用户的账号中扣除相应的金额，并且控制第二出口的门开启。
[0006]现有的自动结账方法在建立商店的时候需要设置结账区域和两个出口，增加了建立商店的复杂度，需要投入更多的资金。同时，用户在结账出门的时候需要等待系统的用户感应检测和面部识别，耗费了用户的时间而且需要耗费更多的财力购买硬件装置。
[0007]同时，这种自动结账方法结合了摄像头、射频读写设备、各种传感器等硬件装置，大大增加了财力和人力消耗。

技术实现思路

[0008]本专利技术解决现有的购物商店需要大量的人力来进行结账的问题，本专利技术提供了一种基于纯视觉的免门禁无人商店结账方法，本专利技术提供了以下技术方案：
[0009]一种基于纯视觉的免门禁无人商店结账方法，包括以下步骤：
[0010]步骤1：训练动作判别模型，对于一个场景确定顾客拿、取或者放回的动作；
[0011]步骤2：搭建卷积神经网络模型，对产品图片进行学习训练，进行预测分类测试图片，检测手中的商品类型；
[0012]步骤3：建立商品与顾客的相对关系，选择离商品最近的顾客作为动作的发起者；
[0013]步骤4：对顾客进行人重和人脸识别，确定顾客身份并结账。
[0014]优选地，所述步骤1具体为：
[0015]步骤1.1：训练一个动作判别模型，从摄像头录取的视频中获得连续的RGB视频帧流和光流信息，借助神经网络来提取特征，通过提取的特征来检测动作，对视频的每一帧进行判断，是否存在拿取放回动作，发生这一动作的帧记为关键帧；
[0016]步骤1.2：对于一个场景，分别确定拿取或放回的关键帧的时间戳，将时间戳集合起来作为整个场景的时间戳，从这12个视频中都取出这些时间戳临近的帧，前取3帧，后取10帧；
[0017]所有的时间戳代表找出的拿取或放回的动作个数，同一个时间戳分别在12个视频中前取3帧，后取10帧检测手中拿的商品。
[0018]优选地，对拿取还是放回进行判断，关键帧前面几帧手中有商品，之后几帧手中没有商品即为放回操作；关键帧前面几帧手中没有商品，之后几帧手中有商品即为拿取操作。
[0019]优选地，所述步骤2具体为：
[0020]使用Tensorflow框架搭建卷积神经网络模型，加载产品图片数据集，共18个子文件夹即18类商品，处理后让模型进行学习训练，预测分类测试集图片；对得到的关键帧和附近的几帧，每一帧都作商品模型的输入，对输出结果取最大概率的作为商品的类型，输入为发生拿取放回动作的视频帧；输出为商品的类型。
[0021]优选地，为了提高视频识别的准确率，对传来的视频帧进行处理，具体为：通过openpose识别手，裁剪手部附近的图片；对裁剪得到的图片进行筛选，去掉没手的图片；将图片输入商品分类模型，去掉概率值低于0.3的结果，取结果中概率值最大分类结果的作为最后的结果。
[0022]优选地，所述步骤3具体为：
[0023]要匹配顾客和商品的ID，首先要确定顾客和商品的定位，采用多个摄像头融合，在视频中识别出人的关键部位，包括头和左右手，并且得到在现实世界的空间坐标，通过计算顾客与商品的3D距离来判断商品是被谁拿走的；
[0024]数据集中给了每种商品的3D位置，根据得到的商品类型查询到商品的位置；
[0025]多个摄像头使用openpose识别出关键骨骼点2D坐标，利用ReID去掉噪声和图像中识别错误的顾客，多摄像头的顾客进行关联，每个摄像头下同一顾客的二维坐标通过三角测量triangulation的方法得到三维坐标，得到商品和顾客的位置之后，选择离商品最近的顾客作为动作的发起者。
[0026]优选地，所述步骤4具体为：通过reid得到操作商品的人在不同摄像头下的图片，对得到的图片都进行人脸识别，利用MTCNN进行人脸框提取，将提取后的人脸框送入facenet中提取出embedding，利用SVM对embedding进行分类，利用MTCNN模型人脸检测，利用faceNet模型人脸识别，将图片输入人脸识别模型，取结果中的众数作为最后的结果，发起付款。
[0027]本专利技术具有以下有益效果：
[0028]本专利技术利用商店内摄像机的视频信息，结合深度学习的方式分析出视频中所需要的关键信息，包括拿取、放回动作的判断、商品的识别、人身份的识别等。其目的在于解决现有的购物商店需要大量的人力来进行结账的问题，并且改进现有技术的缺陷，获得选址灵活，能够提高销售效率和增加营业时间，并且所需的财力也大大减少的技术效果。
[0029]现有技术仅使用了计算机视觉的方式来进行自动结账获得顾客的购物清单，商店内部需要安装的硬件装置只有摄像机，根据摄像机拍摄的视频数据可以实时地得到结果。
[0030]不需要在入口或者出口处设立单独的门禁系统来识别顾客的身份，商店内部的摄像机可以通过行人重识别和人脸识别结合的方法得到顾客的身份，省区了不必要的步骤和硬件装置，同时节省了顾客的时间。
[0031]商店内的商品也不需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于纯视觉的免门禁无人商店结账方法，其特征是：包括以下步骤：步骤1：训练动作判别模型，对于一个场景确定顾客拿、取或者放回的动作；步骤2：搭建卷积神经网络模型，对产品图片进行学习训练，进行预测分类测试图片，检测手中的商品类型；步骤3：建立商品与顾客的相对关系，选择离商品最近的顾客作为动作的发起者；步骤4：对顾客进行人重和人脸识别，确定顾客身份并结账。2.根据权利要求1所述的一种基于纯视觉的免门禁无人商店结账方法，其特征是：所述步骤1具体为：步骤1.1：训练一个动作判别模型，从摄像头录取的视频中获得连续的RGB视频帧流和光流信息，借助神经网络来提取特征，通过提取的特征来检测动作，对视频的每一帧进行判断，是否存在拿取放回动作，发生这一动作的帧记为关键帧；步骤1.2：对于一个场景，分别确定拿取或放回的关键帧的时间戳，将时间戳集合起来作为整个场景的时间戳，从这12个视频中都取出这些时间戳临近的帧，前取3帧，后取10帧；所有的时间戳代表找出的拿取或放回的动作个数，同一个时间戳分别在12个视频中前取3帧，后取10帧检测手中拿的商品。3.根据权利要求2所述的一种基于纯视觉的免门禁无人商店结账方法，其特征是：对拿取还是放回进行判断，关键帧前面几帧手中有商品，之后几帧手中没有商品即为放回操作；关键帧前面几帧手中没有商品，之后几帧手中有商品即为拿取操作。4.根据权利要求3所述的一种基于纯视觉的免门禁无人商店结账方法，其特征是：所述步骤2具体为：使用Tensorflow框架搭建卷积神经网络模型，加载产品图片数据集，共18个子文件夹即18类商品，处理后让模型进行学习训练，预测分类测试集图片；对得到的关键帧和附近的几帧，每一帧都作商品模型的输入，对输出结果取最大概率的...

【专利技术属性】
技术研发人员：李治军，张倩倩，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：