一种基于多目标跟踪的智能售货柜商品计数方法技术

一种基于多目标跟踪的智能售货柜商品计数方法涉及智能售货柜商品计数技术领域，基于计算机视觉的识别技术分为静态识别和动态识别。静态识别通过关键帧对比来识别商品，动态识别通过拍摄的视频识别商品。在视频中，商品会因为处于运动状态导致图像发生畸变，使得商品识别的准确率降低导致计数错误。所述方法通过使用多线检测器对多目标跟踪模型的跟踪结果进行分级计数，提高了计数的准确性。提高了计数的准确性。提高了计数的准确性。

【技术实现步骤摘要】
一种基于多目标跟踪的智能售货柜商品计数方法


[0001]本专利技术涉及智能售货柜商品计数
，尤其涉及基于目标检测和多目标跟踪技术的商品计数方法。

技术介绍

[0002]智能售货柜是新零售时代的一种重要技术，基于计算机视觉的识别技术分为静态识别和动态识别。静态识别通过关键帧对比来识别商品，动态识别通过拍摄的视频识别商品。在视频中，商品会因为处于运动状态导致图像发生畸变，使得商品识别的准确率降低导致计数错误。

技术实现思路

[0003]本专利技术的目的是针对现有计数方法存在的问题，提出一种高效的基于多目标跟踪的智能售货柜商品计数方法，所述方法通过使用多线检测器对多目标跟踪模型的跟踪结果进行分级计数，提高了计数的准确性。
[0004]本专利技术采用的技术方案如下：
[0005]S1.获取消费者购买售货柜内商品的图像数据并进行标注，将图像数据按照9：1的比例划分为训练集和验证集。
[0006]S2.通过所述训练集对YOLOX目标检测模型进行训练，通过验证集对模型进行参数调整和验证，得到完成训练和调参的模型。
[0007]S3.通过售货柜预设的摄像头获取消费者的购物视频，以帧差为3对视频进行关键帧采样，将关键帧输入完成训练和调参的目标检测模型，获得关键帧中消费者购买的商品的位置信息和对应的类别信息。
[0008]S4.将获取的商品位置信息、类别信息和关键帧输入在MSMT17数据集上完成预训练的多目标跟踪模型StrongSORT获得商品的ID和对应的位置信息、类别信息。
[0009]S5.将获得的商品ID和对应的位置信息、类别信息输入多线检测器进行检测，多线检测器输出到当前关键帧为止，各类别商品拿出、放回售货柜的计数结果。
[0010]上述方法中，基于目标检测、多目标跟踪和多线检测器的智能售货柜的商品计数利用检测模型检测商品位置、利用多目标跟踪模型对检测到的商品提取特征并进行ID匹配，多线检测器将跟踪ID和位置信息进行统计、对比和去重完成商品拿取和放回的计数。即使商品运动导致的图像畸变使得检测模型准确率降低，多线检测器使得该方法仍然能够完成准确计数。
[0011]优选的，步骤S1所述的商品的图像数据通过柜体上的摄像头按照预设帧率和分辨率获取连续的图像，摄像头帧率为25，分辨率为1920*1080。
[0012]优选的，步骤S1获取的商品的图像数据为40000张，其中36000张为训练集，4000张为测试集。
[0013]优选的，步骤S1所述的标注具体为对消费者拿取的商品进行标记，即标记出各个
商品的左上角坐标(x1，y1)和右下角坐标(X2，y2)。
[0014]优选的，步骤S5中所述多线检测器共设置5条检测线，分别为Y1：y＝470，Y2：y＝600，Y3：y＝700，Y4：y＝800，Y5：y＝900。5条检测线Y1、Y2、Y3、Y4和Y5分别将图像划分为6个区域，按照图像坐标，在图像中从上到下检测线和区域出现的顺序依次为区域1、Y1、区域2、Y2、区域3、Y3、区域4、Y4、区域5、Y5和区域6，并按照该顺序判断区域和直线是否相邻。多线检测器总共包含6个区域ID序列R1、R2、R3、R4、R5和R6分别对应6个区域，5个检测线结算序列L1、L2、L3、L4和L5分别对应5条检测线Y1、Y2、Y3、Y4和Y5，1个检测器结算序列AMR，1个区域总计ID序列IAR和1个检测线结算集合UC，1个商品拿出计数字典TO和1个商品放回计数字典PB。此处称R1和Y1、R2和Y2、R3和Y3、R4和Y4、R5和Y5为对应关系，称当前区域的相邻区域为纵坐标小于当前区域并且在图像上间隔一条检测线的区域。在开始检测一段视频之前，上述各序列和集合均初始化为空，计数字典的键值初始化为0。并根据如下步骤对多目标跟踪模型输出的商品ID信息、类别信息和位置信息进行操作：
[0015]S51.将商品的位置信息依次和检测线进行比较，并根据比较结果执行以下步骤。
[0016]S52.在S51的基础上当中心点坐标小于检测线时，则将当前商品ID加入检测线对应的区域的区域/D序列，并判断当前检测线是否为Y1。
[0017]S53.在S52的基础上，若是则判断该ID是否存在于R2内。
[0018]S54.在S53的基础上，若是则当前类商品放回计数加一，并将该ID从R2移除。
[0019]S55.在S52的基础上，若不是则判断该ID是否在当前检测线对应区域的相邻区域对应的区域ID序列内。
[0020]S56.在S55的基础上，若是则将当前ID移出S55中所述区域ID序列，将ID和类别信息以(ID，CLS)的形式加入检测器结算序列。
[0021]S57.在S51的基础上，若不小于检测线坐标时，则判断当前检测线是否为Y5。
[0022]S58.在S57的基础上，若是则判断当前ID是否在R6内，若不在则将ID加入R6并进行S59，若在则直接进行S59。
[0023]S59.判断ID是否在R5内，若在则移除R5，将(ID，CLS)加入L5。
[0024]S510.将R1、R2、R3、R4、R5和R6合并为一个序列IAR，遍历IAR中的ID，判断当前ID是否出现在跟踪器的输出中，若是则判断下一个ID，若不是则将ID从其存在区域ID序列中移除。
[0025]S511.初始化AMR序列，将检测线结算序列转换为集合并取并集，遍历之，并做如下操作：
[0026]S512.判断元素是否在AMR中出现，若出现执行S513否则执行S514。
[0027]S513.遍历L1、L2、L3、L4和L5，若元素存在则删除。
[0028]S514.对应类别商品拿出计数加1，并执行一次S513。
[0029]本专利技术基于计算机视觉技术，使用目标检测模型和多目标跟踪模型和多线检测器对消费者购买的智能售货柜商品进行技术，多线检测器有效降低了在视频数据中运动的商品导致的图像畸变对目标检测模型和多目标跟踪模型的负面影响，使得原有的目标检测模型和多目标跟踪模型能够对视频数据中的商品完成准确计数。
附图说明
[0030]图1为本专利技术方法的总流程图。
具体实施方式
[0031]下面结合附图和实施例对本专利技术的技术方做进一步的说明。
[0032]实施例
[0033]基于目标检测和多目标跟踪模型的商品计数方法，如图1所示，包括以下步骤：
[0034]S1.获取消费者购买售货柜内商品的图像数据并进行标注；图像数据由售货柜预设的摄像头按照分辨率1920*1080帧率25获取连续的图像。共计获取图像数据为40000张，其中36000张为训练集，4000张为测试集。对每张图像数据进行标注，即标记出每张图像上各个商品的左上角坐标(x1，y1)和右下角坐标(x2，y2)。
[0035]S2.使用S1中所述训练集对YOLOX目标检测模型进行训练，通过验证集对模型进行参数调整和验证，得到完本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目标跟踪的智能售货柜商品计数方法，其特征在于，包括以下步骤：S1.获取消费者购买售货柜内商品的图像数据并进行标注；图像数据由售货柜预设的摄像头按照分辨率1920*1080帧率25获取连续的图像；对每张图像数据进行标注，即标记出每张图像上各个商品的左上角坐标(x1，y1)和右下角坐标(x2，y2)；S2.使用S1中所述训练集对YOLOX目标检测模型进行训练，通过验证集对模型进行参数调整和验证，得到完成训练和调参的模型；训练模型阶段设定的训练的批次大小为128，采用多卡并行训练的方式，学习率为0.005，学习率采用余弦退火算法进行更新迭代，更新迭代周期为10次完整的训练集迭代，最小学习率为0；对模型进行200次完整的训练集迭代完成训练；S3.通过售货柜预设的摄像头获取消费者的购物视频，以帧差为3对视频进行关键帧采样，将关键帧输入完成训练的目标检测模型，获得关键帧中消费者购买的商品的位置信息和对应的类别信息；S4.将获取的商品的位置信息和对应的类别信息以及关键帧输入在MSMT17数据集上完成训练的StrongSORT多目标跟踪模型，多目标跟踪模型通过对比前后帧以及对检测出的商品的外观表征进行提取并计算相似性从而达到跟踪，最后多目标跟踪模型输出当前帧中商品的ID、位置信息和对应的类别；多目标跟踪模型的输出作为多线检测器的输入；S5.多线检测器是对多目标检测器输出结果进行的操作以及对操作过程中产生的数值发挥记录作用的属性所共同构成的，对于所述的属性包括：检测线Y1：y＝470，Y2：y＝600，Y3：y＝700，Y4：y＝800，Y5：y＝900，以及5条检测线对应的检测线结算序列L1、L2、L3、L4和L5，以及5条检测线Y1、Y2、Y3、Y4和Y5分别将图像划分为6个区域，这6个区域对应的区域ID序列R1、R2、R3、R4、R5和R6，还包括1个检测器结算序列AMR，1个区域总计ID序列IAR，1个检测线结算集合UC，1个商品拿出计数字典TO和1个商品放回计数字典PB，需要指明的是字典的记录形式为字典键名为商品名称，键值为商品拿出或放回数量；作为本步骤的约定：称R1和Y1、R2和Y2、R3和Y3、R4和Y4、R5和Y5为对应关系，称当前区域的相邻区域为纵坐标小于当前区域并且在图像上间隔一条检测线的区域；在开始检测一段视频之前，上述各序列和集合均初始化为空，计数字典各键值初始化为0；定义序列D为多目标跟踪模型的输出按顺序组成的序列，由D：＝{d1，d2，d3，...，d
n
}表示，n为序列长度，序列具体由商品类别ID、类别信息CLS、左上横坐标x1、左上角纵坐标y1、右下角横坐标x2、右下角纵坐标y2形式的元组构成，即D中任意元素的形式为(ID，CLS，x1，y1，x2，y2)，还需说明的是PB[CLS]指CLS类别的商品放回的数量，TO[CLS]指CLS类别的商品拿出的数量；考虑序列中的所有元素，遍历序列中的元素，设当前元素的索引为i，即当前元素为d
i
，y1和y2为d
i
中的左上角纵坐标和右下角纵坐标：S51.由公式(1)计算出d
i
对应的商品的中心点纵坐标Y
c
，在公式(1)计算出的Y
c
的基础上，遍历多线检测器设定的检测线，设当前检测线的索引为j，即当前检测线为Y
j
，j的取值范围为{1，2，3，4，5}，Y
j
的纵坐标为y
j
，比较y
j
和Y
c
的大小：S52.在S51的基础上，当y
j
≥Y
c
时，执行公式(2)更新R
j
，并判断当前检测线是...

【专利技术属性】
技术研发人员：李建强，陈柳乐，王瑾，李韫昱，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：