监测自助购物中的异常的方法和自助购物异常监测装置制造方法及图纸

本公开涉及监测自助购物中的异常的方法和自助购物异常监测装置。其中监测自助购物中的异常的方法包括：利用检测模型对监测视频进行检测，输出包括所检测的顾客的动作以及商品的位置的监测视频中的每一帧的检测结果；针对监测视频中的每一帧，基于检测结果来确定顾客与每一个商品交互时表示商品的位置的商品框；基于商品框来生成包括商品的轨迹的轨迹集；基于轨迹集中的每条轨迹的长度与持续时间中的至少一个以及轨迹的方向来判断该轨迹是否为真实轨迹；基于真实轨迹以及所检测的顾客的动作确定商品扫描数；基于真实轨迹来确定商品数；以及基于商品扫描数与商品数来判断是否存在异常。在异常。在异常。

【技术实现步骤摘要】
监测自助购物中的异常的方法和自助购物异常监测装置


[0001]本公开涉及监测自助购物过程中的异常，并且具体地涉及监测自助购物中的异常的方法和自助购物异常监测装置。

技术介绍

[0002]随着技术的发展，在超市里，自助购物的形式也越来越被人们所接受。其中，自助购物时进行自助结账节省了用人成本，但也容易出现异常，例如，出现无意的漏扫或有意的偷窃的行为。
[0003]为了防止这种情况的发生，现有技术提出基于DNN网络的检测模型以及利用跟踪技术的计数方法来确定是否存在异常。检测模型用于检测顾客与商品是否发生了交互，并输出发生了交互的顾客和商品的边界框与交互的动作。计数方法基于检测模型的输出结果利用跟踪技术对商品数和扫描数进行计数。
[0004]通常计数方法基于跟踪技术。跟踪技术包括传统的跟踪算法和基于深度学习的跟踪算法。而基于深度学习的跟踪算法需要提取商品的特征信息，并且需要大量的计算，很难满足实时的要求。基于传统的跟踪算法虽然不需要大量的复杂计算、速度快，但是传统的跟踪算法缺乏商品的状态信息(例如，商品与顾客是否有交互、交互的动作等)，并且需要预定义一些信息，例如，预定义开始结账区域或结账边界以及预定义结束结账区域或结账边界。
[0005]因此，需要一种实时、快速的并且准确率高的技术来监测自助购物中的异常。

技术实现思路

[0006]在下文中给出了关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0007]根据本专利技术的一个方面，提供了一种用于监测自助购物过程中的异常的方法，包括：利用检测模型对监测视频进行检测，输出包括所检测的顾客的动作以及商品的位置的监测视频中的每一帧的检测结果；针对监测视频中的每一帧，基于检测结果来确定顾客与每一个商品交互时表示商品的位置的商品框；基于商品框来生成包括商品的轨迹的轨迹集；基于轨迹集中的每条轨迹的长度与持续时间中的至少一个以及轨迹的方向来判断该轨迹是否为真实轨迹；基于真实轨迹以及所检测的顾客的动作确定商品扫描数；基于真实轨迹来确定商品数；以及基于商品扫描数与商品数来判断是否存在异常。
[0008]根据本专利技术的一个方面，提供了一种自助购物异常监测装置，自助购物异常监测装置包括：检测单元，被配置为利用检测模型对监测视频进行检测并且输出包括所检测的顾客的动作以及商品的位置的监测视频中的每一帧的检测结果；提取单元，被配置为针对监测视频中的每一帧基于检测结果来确定顾客与每一个商品交互时表示商品的位置的商品框；轨迹生成单元，被配置为基于商品框来生成包括商品的轨迹的轨迹集；真实轨迹判定
单元，被配置为基于轨迹集中的每条轨迹的长度与持续时间中的至少一个以及轨迹的方向来判断该轨迹是否为真实轨迹；计算单元，被配置为基于真实轨迹以及所检测的顾客的动作确定商品扫描数并且基于真实轨迹来确定商品数；以及异常确定单元，被配置为基于商品扫描数与商品数来判断是否存在异常。
[0009]根据本专利技术的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被计算机执行时能够实现用于监测自助购物过程中的异常的方法，方法包括：利用检测模型对监测视频进行检测，输出包括所检测的顾客的动作以及商品的位置的监测视频中的每一帧的检测结果；针对监测视频中的每一帧，基于检测结果来确定顾客与每一个商品交互时表示商品的位置的商品框；基于商品框来生成包括商品的轨迹的轨迹集；基于轨迹集中的每条轨迹的长度与持续时间中的至少一个以及轨迹的方向来判断该轨迹是否为真实轨迹；基于真实轨迹以及所检测的顾客的动作确定商品扫描数；基于真实轨迹来确定商品数；以及基于商品扫描数与商品数来判断是否存在异常。
[0010]通过以下结合附图对本专利技术的优选实施方式的详细说明，本专利技术的这些以及其他优点将更加明显。
附图说明
[0011]为了进一步阐述本公开内容的以上和其它优点和特征，下面结合附图对本公开内容的具体实施方式作进一步详细的说明。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本公开内容的典型示例，而不应看作是对本公开内容的范围的限定。在附图中：
[0012]图1示出根据本专利技术实施方式的监测自助购物过程中的异常的方法的流程图；
[0013]图2示意性地示出图1中的步骤S103
‑
S104中的基于检测模型的检测结果生成轨迹的过程；
[0014]图3A
‑
图3C为示意性地示出图1中的步骤S105中的如何得到商品的移动方向的图；
[0015]图4示出根据本专利技术实施方式的自助购物异常监测装置的结构示意图；以及
[0016]图5是其中可以实现根据本专利技术的实施方式的方法和/或网络的通用个人计算机的示例性结构的框图。
具体实施方式
[0017]现在参考附图来更加充分地描述本公开内容。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。
[0018]提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。
[0019]在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开
关系不大的其他细节。
[0020]图1示出根据本专利技术实施方式的监测自助购物过程中的异常的方法的流程图。
[0021]在步骤S101中，方法100开始。
[0022]在步骤S102中，利用检测模型对输入的监测视频进行检测，输出视频中的每一帧的检测结果，其中检测结果包括顾客与商品交互的动作、以及在顾客与商品交互时的商品框、顾客框等，其中商品框反映商品的位置，顾客框反映顾客的位置，应认识到，检测出的顾客与商品交互的动作可以包括拿取和扫描等动作。
[0023]在步骤S103中，基于步骤S102的检测结果，针对监测视频中的每一帧，提取顾客对商品在进行拿取或扫描交互时的商品框。
[0024]在步骤S104中，基于提取的商品框来生成轨迹集，轨迹集为商品轨迹的集合，具体地，对监测视频中的所有商品框按照时间顺序进行排序，基于所述监测视频中的相邻两帧的商品框是否重叠来进行分组，并且通过连接每个分组中的商品框的中心来生成轨迹。
[0025]在步骤S105中，确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于监测自助购物过程中的异常的方法，包括：利用检测模型对监测视频进行检测，输出包括所检测的顾客的动作以及商品的位置的所述监测视频中的每一帧的检测结果；针对所述监测视频中的每一帧，基于所述检测结果来确定所述顾客与每一个商品交互时表示商品的位置的商品框；基于所述商品框来生成包括商品的轨迹的轨迹集；基于所述轨迹集中的每条轨迹的长度与持续时间中的至少一个以及轨迹的方向来判断该轨迹是否为真实轨迹；基于真实轨迹以及所检测的顾客的动作确定商品扫描数；基于所述真实轨迹来确定商品数；以及基于所述商品扫描数与所述商品数来判断是否存在异常。2.根据权利要求1所述的方法，其中基于所述商品框来生成轨迹集包括：对所述监测视频中的所有商品框按照时间顺序进行排序；基于所述监测视频中的相邻两帧的商品框是否重叠来进行分组；通过连接每一组中的商品框的中心来生成所述轨迹。3.根据权利要求1所述的方法，其中基于所述轨迹集中的每条轨迹的长度与持续时间中的至少一个以及轨迹的方向来判断该轨迹是否为真实轨迹包括：利用聚类方法对所述轨迹集中的每条轨迹的起点和终点进行分类；基于分类中的起点或终点的密集程度得到均值起点和均值终点；基于所述均值起点和所述均值终点来得到商品的移动方向；针对所述轨迹集中的每条轨迹，基于是否满足长度条件、持续时间条件中的至少一个以及所述轨迹的方向与商品的移动方向一致来判断该轨迹是否为真实轨迹。4.根据权利要求3所述的方法，其中所述长度条件为所述轨迹的长度大于或等于长度阈值。5.根据权利要求4所述的方法，其中所述持续时间条件为所述轨迹的持续时间大于或等于时间阈值。6.根据权利要求5所述的方法，其中在所述轨迹的长度小于所述长度阈值、所述轨迹的方向与所述商品的移动方向一致时，将所述轨迹与时序上最接近、并且方向与所述商品的移动方向一致的轨迹合并...

【专利技术属性】
技术研发人员：张雪，李斐，刘汝杰，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：