预测模型训练方法、装置、电子设备和计算机可读介质制造方法及图纸

本公开的实施例公开了预测模型训练方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取物品流转站点的视频帧序列；确定视频帧序列中每个视频帧中手部和物品之间的空间重叠度，得到重叠度序列；根据重叠度序列，对视频帧序列中的每个视频帧进行标注处理，得到标注信息序列，其中，标注信息序列中的标注信息包括视频帧和标签；利用标注信息序列对预测模型进行训练，得到接触预测模型，以及存储接触预测模型。该实施方式可以确定手物交互动作的开始时间和结束时间，从而提高了动作识别的完整性和动作识别的准确率，进而可以提高稽查的准确性。以提高稽查的准确性。以提高稽查的准确性。

【技术实现步骤摘要】
预测模型训练方法、装置、电子设备和计算机可读介质


[0001]本公开的实施例涉及计算机
，具体涉及预测模型训练方法、装置、电子设备和计算机可读介质。

技术介绍

[0002]接触预测模型可以识别手和物品之间的交互动作，从而在无人或少人的物品流转站点实现自助价值交换、稽查和安防任务。目前，在识别手物交互的动作时，通常采用的方式为：采用三维重建技术分析三维空间内手和物品的接触关系。
[0003]然而，当采用上述方式分析手物交互的动作时，经常会存在如下技术问题：
[0004]第一，三维重建技术是基于手和物品已经交互的前提下进行手物交互动作的分析，不能确定手物交互动作的开始时间和结束时间，会降低动作识别的完整性和动作识别的准确率，进而降低稽查的准确性；
[0005]第二，人工标注视频帧会消耗过多时间，降低视频帧的标注效率；
[0006]第三，仅用训练样本来训练预测模型，会造成接触预测模型对错误样本的过拟合，减小接触预测模型的适用范围；
[0007]第四，训练好的接触预测模型从视频帧中提取的特征图过于单一，判别效果较差。

技术实现思路

[0008]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0009]本公开的一些实施例提出了预测模型训练方法、装置、电子设备和计算机可读介质，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0010]第一方面，本公开的一些实施例提供了一种预测模型训练方法，该方法包括：获取物品流转站点的视频帧序列；确定上述视频帧序列中每个视频帧中手部和物品之间的空间重叠度，得到重叠度序列；根据上述重叠度序列，对上述视频帧序列中的每个视频帧进行标注处理，得到标注信息序列，其中，上述标注信息序列中的标注信息包括视频帧和标签；利用上述标注信息序列对预测模型进行训练，得到接触预测模型，以及存储上述接触预测模型。
[0011]在一些实施例中，在所述利用所述标注信息序列对预测模型进行训练，得到接触预测模型，以及存储所述接触预测模型之后，还包括：
[0012]获取目标视频帧的红绿蓝RGB图像和前景掩码图像，其中，所述目标视频帧是物品流转站点的视频帧序列中的任一视频帧；
[0013]对所述RGB图像和所述前景掩码图像进行裁剪处理，得到图像裁剪区域和掩码裁剪区域，其中，所述图像裁剪区域是包括目标物品边框和目标手部边框的RGB图像区域，所述掩码裁剪区域是包括所述目标手部的掩码、所述目标物品的边框、其他手部的掩码和其
他物品的边框的前景掩码区域；
[0014]将所述图像裁剪区域输入至第一子模型，得到第一特征图，其中，所述第一子模型包括至少一个卷积模块，所述卷积模块包括：3
×
3卷积层、激活函数ReLu层、归一化层和2
×
2的最大池化层；
[0015]将所述掩码裁剪区域输入至第二子模型，得到第二特征图，其中，所述第二子模型包括三个卷积层，每个卷积层与一个ReLu层连接；
[0016]将所述第一特征图和所述第二特征图进行拼接处理，得到第三特征图；
[0017]将所述第三特征图输入至第三子模型，得到接触概率值，其中，所述第三子模型包括：四个循环神经网络层、三个多层感知机层和激活函数sigmoid；
[0018]响应于确定所述接触概率值大于等于预设接触值，将所述视频帧的标签确定为所述第一标签；
[0019]响应于确定所述接触概率值小于所述预设接触值，将所述视频帧的标签确定为所述第二标签。
[0020]第二方面，本公开的一些实施例提供了一种预测模型训练装置，装置包括：获取单元，被配置成获取物品流转站点的视频帧序列；确定单元，被配置成确定上述视频帧序列中每个视频帧中手部和物品之间的空间重叠度，得到重叠度序列；标注处理单元，被配置成根据上述重叠度序列，对上述视频帧序列中的每个视频帧进行标注处理，得到标注信息序列，其中，上述标注信息序列中的标注信息包括视频帧和标签；训练单元，被配置成利用上述标注信息序列对预测模型进行训练，得到接触预测模型，以及存储上述接触预测模型。
[0021]第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
[0022]第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
[0023]本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的预测模型训练方法得到的接触预测模型，可以确定手部掩码区域和物品边框区域，然后通过确定手部掩码区域和物品边框区域的重叠度可以确定手物交互动作的开始时间和结束时间，提高了动作识别的完整性和动作识别的准确率，进而可以提高稽查的准确性。具体来说，造成稽查的准确性较低的原因在于：三维重建技术是基于手和物品已经交互的前提下进行手物交互动作的分析，不能确定手物交互动作的开始时间和结束时间，降低了动作识别的完整性和动作识别的准确率。基于此，本公开的一些实施例的预测模型训练方法，首先，获取物品流转站点的视频帧序列。然后，确定上述视频帧序列中每个视频帧中手部和物品之间的空间重叠度，得到重叠度序列。由此，可以确定视频帧中手部区域和物品边框区域的空间重叠度。之后，根据上述重叠度序列，对上述视频帧序列中的每个视频帧进行标注处理，得到标注信息序列，其中，上述标注信息序列中的标注信息包括视频帧和标签。由此，通过分析视频帧序列中每个视频帧中手部掩码区域和物体边框区域的重叠度，可以确定视频帧中手物交互动作的开始时间和结束时间，提高了动作识别的完整性和动作识别的准确率，进而可以提高稽查的准确性。最后，利用上述标注信息序列对预测模型进行训练，得到接触预测模型，以及存储上述接触预测模型。由此，可以得到训练好的接触预测模型。也因为通过分
析视频帧中手部区域和物品边框区域的空间重叠度，可以确定手物交互动作的开始时间和结束时间，提高了动作识别的完整性和动作识别的准确率，进而可以提高稽查的准确性。
附图说明
[0024]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0025]图1是本公开的一些实施例的预测模型训练方法的一个应用场景的示意图；
[0026]图2是根据本公开的预测模型训练方法的一些实施例的流程图；
[0027]图3是根据本公开的预测模型训练装置的一些实施例的结构示意图；
[0028]图4是适于用来实现本公开的一些实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预测模型训练方法，包括：获取物品流转站点的视频帧序列；确定所述视频帧序列中每个视频帧中手部和物品之间的空间重叠度，得到重叠度序列；根据所述重叠度序列，对所述视频帧序列中的每个视频帧进行标注处理，得到标注信息序列，其中，所述标注信息序列中的标注信息包括视频帧和标签；利用所述标注信息序列对预测模型进行训练，得到接触预测模型，以及存储所述接触预测模型。2.根据权利要求1所述的方法，其中，所述确定所述视频帧序列中每个视频帧中手部和物品之间的空间重叠度，得到重叠度序列，包括：将所述视频帧中手部的掩码区域确定为手部掩码区域；将所述视频帧中物品的边框区域确定为物品边框区域；确定所述手部掩码区域和所述物品边框区域之间的空间重叠度。3.根据权利要求2所述的方法，其中，所述根据所述重叠度序列，对所述视频帧序列中的每个视频帧进行标注处理，得到标注信息序列，包括：确定所述视频帧中的前景运动区域；将所述手部掩码区域中所述前景运动区域所占的比值确定为第一目标值；将所述物品边框区域中所述前景运动区域所占的比值确定为第二目标值；将所述视频帧中手部掩码区域和物品边框区域的移动向量之间的余弦相似度确定为第三目标值；响应于确定所述视频帧满足第一预设条件，将所述视频帧对应的标签确定为第一标签，其中，所述第一预设条件为所述视频帧对应的空间重叠度大于零、且所述第一目标值和所述第二目标值均大于等于第一预设阈值、且所述第三目标值大于等于第二预设阈值，所述第一标签表征所述视频中的手部和物品相接触；响应于确定所述视频帧满足第二预设条件，将所述视频帧对应的标签确定为第二标签，其中，所述第二预设条件是所述视频帧对应的空间重叠度等于零、或者所述第一目标值大于所述第一预设阈值且所述第二目标值小于所述第一预设阈值、或者所述第三目标值小于所述第二...

【专利技术属性】
技术研发人员：姜亚东，
申请(专利权)人：多点深圳数字科技有限公司，
类型：发明
国别省市：