动作打标签模型的构建、视频动作打标方法及装置制造方法及图纸

本发明专利技术实施例涉及一种动作打标签模型的构建、视频动作打标方法及装置，包括：将视频(i)输入至模型(i)中，以使模型(i)对视频(i)中的目标人物的动作执行打标签操作，输出携带有标签数据(2i‑1)的视频(i)，其中，i为大于等于1的正整数；对携带有标签数据(2i‑1)的视频(i)中的标签数据(2i‑1)执行校准操作，生成携带有标签数据(2i)的视频(i)；将携带有标签数据(2i)的视频(i)输入至模型(i)中进行训练，得到模型(i+1)；若模型(i+1)与模型(i)对应运算参数的相似度处于预设范围内，则将模型(i+1)作为动作打标签模型，由此方法，可以实现通过少量的样本数据得到更多数量的样本数据对模型进行训练。

【技术实现步骤摘要】
动作打标签模型的构建、视频动作打标方法及装置
本专利技术实施例涉及动作识别领域，尤其涉及一种动作打标签模型的构建、视频动作打标方法及装置。
技术介绍
在基于视觉的人体动作识别领域，现有的动作识别技术，首先需要前期的动作识别模型训练，模型训练通常需要人工打标大量的学习样本，然后根据这些样本先训练分类模型，利用分类模型，从视频中提取图像特征，人工再对得到的图像特征进行分类标记，但是为了保证后续模型识别人体动作的准确率，前期的样本集数量要达到十万以上，如此庞大的样本数量，使得人工处理起来耗时耗力。
技术实现思路
鉴于此，为解决上述传统模型训练前期需要人工标记大量样本数据的技术问题，本专利技术实施例提供一种动作打标签模型的构建、视频动作打标方法及装置。第一方面，本专利技术实施例提供一种动作打标签模型的构建方法，包括：将视频(i)输入至模型(i)中，以使所述模型(i)对所述视频(i)中的目标人物的动作执行打标签操作，输出携带有标签数据(2i-1)的所述视频(i)，其中，i为大于等于1的正整数；对携带有所述标签数据(2i-1)的所述视频(i)中的所述标签数据(2i-1)执行校准操作，生成携带有标签数据(2i)的所述视频(i)；将携带有所述标签数据(2i)的所述视频(i)输入至所述模型(i)中进行训练，得到模型(i+1)；若所述模型(i+1)与所述模型(i)对应运算参数的相似度处于预设范围内，则将所述模型(i+1)作为动作打标签模型。在一个可能的实施方式中，所述方法还包括：确定所述视频(i)中目标人物所产生动作对应的动作类型，以及每个所述动作类型对应的起止时间；基于所述动作类型，以及每个所述动作类型对应的起止时间对所述标签数据(2i-1)执行校准操作，修正所述标签数据(2i-1)中的类型误差和/或起止时间误差，生成携带有所述标签数据(2i)的所述视频(i)。在一个可能的实施方式中，所述方法还包括：若所述模型(i+1)与所述模型(i)对应运算参数的相似度未处于预设范围内，则通过调整所述模型(i+1)中的运算参数继续执行对所述模型(i+1)的训练步骤。第二方面，本专利技术实施例提供一种视频动作打标方法，包括：将待打标签的视频数据输入至动作打标签模型，以使所述动作打标签模型识别所述视频数据中目标人物的动作类型，以及每个所述动作类型对应的起止时间；所述动作打标签模型基于所述动作类型，以及每个所述动作类型对应的起止时间对所述目标人物的动作执行打标签操作，输出携带有标签数据的所述视频数据。在一个可能的实施方式中，所述方法还包括：将所述视频按照时序信息分割成多个帧图像；基于预设的包含所述目标人物运动变化的区域框，从多个所述帧图像中确定所述目标人物；从每个所述帧图像中提取所述目标人物对应的一组动作特征，得到多个所述帧图像对应的多组所述动作特征；对多组所述动作特征与动作特征数据库中存储的标准动作特征逐一进行匹配，将与所述动作特征的相似度超过设定阈值的所述标准动作特征对应的动作类型作为所述动作特征对应的动作类型；基于所述动作类型，对多个所述帧图像按照时序信息进行分组，得到多个动作类型对应的多组帧图像组成的多个视频片段；基于所述视频片段中的起止帧图像分别对应的起止时间，确定所述视频中的多个所述动作类型分别对应的起止时间。在一个可能的实施方式中，所述方法还包括：将所述动作类型，以及每个所述动作类型对应的起止时间以标签形式与所述视频数据共同输出。第三方面，本专利技术实施例提供一种动作打标签模型的构建装置，包括：获取模块，用于将视频(i)输入至模型(i)中，以使所述模型(i)对所述视频(i)中的目标人物的动作执行打标签操作，输出携带有标签数据(2i-1)的所述视频(i)；校验模块，用于对携带有所述标签数据(2i-1)的所述视频(i)中的所述标签数据(2i-1)执行校准操作，生成携带有标签数据(2i)的所述视频(i)；训练模块，用于将携带有所述标签数据(2i)的所述视频(i)输入至所述模型(i)中进行训练，得到模型(i+1)；确定模块，用于若所述模型(i+1)与所述模型(i)对应运算参数的相似度处于预设范围内，则将所述模型(i+1)作为动作打标签模型。第四方面，本专利技术实施例提供一种视频动作打标装置，包括：打标模块，用于将待打标签的视频数据输入至动作打标签模型，以使所述动作打标签模型识别所述视频数据中目标人物的动作类型，以及每个所述动作类型对应的起止时间；输出模块，用于所述动作打标签模型基于所述动作类型，以及每个所述动作类型对应的起止时间对所述目标人物的动作执行打标签操作，输出携带有标签数据的所述视频数据。第五方面，本专利技术实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的动作打标签模型的构建程序或视频动作打标程序，以实现上述第一方面中所述的动作打标签模型的构建方法或上述第二方面中所述的视频动作打标方法。第六方面，本专利技术实施例提供一种存储介质，包括：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中所述的动作打标签模型的构建方法或上述第二方面中所述的视频动作打标方法。本专利技术实施例提供的动作打标签模型的构建方法，通过将视频(i)输入至模型(i)中，以使所述模型(i)对所述视频(i)中的目标人物的动作执行打标签操作，输出携带有标签数据(2i-1)的所述视频(i)，其中，i为大于等于1的正整数；对携带有所述标签数据(2i-1)的所述视频(i)中的所述标签数据(2i-1)执行校准操作，生成携带有标签数据(2i)的所述视频(i)；将携带有所述标签数据(2i)的所述视频(i)输入至所述模型(i)中进行训练，得到模型(i+1)；若所述模型(i+1)与所述模型(i)对应运算参数的相似度处于预设范围内，则将所述模型(i+1)作为动作打标签模型，由此方法可以实现通过少量的样本数据得到更多数量的样本数据对模型进行训练，节省前期人工标记大量数据的时间，训练及优化后的模型可以重复利用，提升产线工艺动作检测工程的效率。附图说明图1为本专利技术实施例提供的一种动作打标签模型的构建方法的流程示意图；图2为本专利技术实施例提供的另一种动作打标签模型的构建方法的流程示意图；图3为本专利技术实施例提供的一种视频动作打标方法的流程示意图；图4为本专利技术实施例提供的另一种视频动作打标方法的流程示意图；图5为本专利技术实施例提供的一种动作打标签模型的构建装置的结构示意图；图6为本专利技术实施例提供的一种视频动作打标装置的结构示意图；图7为本专利技术实施例提供的一种计算机设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，本文档来自技高网...

【技术保护点】
1.一种动作打标签模型的构建方法，其特征在于，包括：/n将视频(i)输入至模型(i)中，以使所述模型(i)对所述视频(i)中的目标人物的动作执行打标签操作，输出携带有标签数据(2i-1)的所述视频(i)，其中，i为大于等于1的正整数；/n对携带有所述标签数据(2i-1)的所述视频(i)中的所述标签数据(2i-1)执行校准操作，生成携带有标签数据(2i)的所述视频(i)；/n将携带有所述标签数据(2i)的所述视频(i)输入至所述模型(i)中进行训练，得到模型(i+1)；/n若所述模型(i+1)与所述模型(i)对应运算参数的相似度处于预设范围内，则将所述模型(i+1)作为动作打标签模型。/n

【技术特征摘要】
1.一种动作打标签模型的构建方法，其特征在于，包括：
将视频(i)输入至模型(i)中，以使所述模型(i)对所述视频(i)中的目标人物的动作执行打标签操作，输出携带有标签数据(2i-1)的所述视频(i)，其中，i为大于等于1的正整数；
对携带有所述标签数据(2i-1)的所述视频(i)中的所述标签数据(2i-1)执行校准操作，生成携带有标签数据(2i)的所述视频(i)；
将携带有所述标签数据(2i)的所述视频(i)输入至所述模型(i)中进行训练，得到模型(i+1)；
若所述模型(i+1)与所述模型(i)对应运算参数的相似度处于预设范围内，则将所述模型(i+1)作为动作打标签模型。


2.根据权利要求1所述的方法，其特征在于，所述标签数据(2i-1)或所述标签数据(2i)包括：动作类型和所述动作类型对应的起止时间；
所述对携带有所述标签数据(2i-1)的所述视频(i)中的所述标签数据(2i-1)执行校准操作，生成携带有标签数据(2i)的所述视频(i)，包括：
确定所述视频(i)中目标人物所产生动作对应的动作类型，以及每个所述动作类型对应的起止时间；
基于所述动作类型，以及每个所述动作类型对应的起止时间对所述标签数据(2i-1)执行校准操作，修正所述标签数据(2i-1)中的类型误差和/或起止时间误差，生成携带有所述标签数据(2i)的所述视频(i)。


3.根据权利要求1所述的方法，其特征在于，若i＝1，则模型(1)为初始分类模型；
所述初始分类模型中存储有多个动作类型；
所述动作类型至少包括以下之一：
所述目标人物的取装风叶动作、装垫片动作、涂紧固胶动作和/或打螺母动作。


4.根据权利要求1所述的方法，其特征在于，若所述视频(i)中的i取不同值，则对应为相同场景下、目标人物的动作顺序不同的视频。


5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
若所述模型(i+1)与所述模型(i)对应运算参数的相似度未处于预设范围内，则通过调整所述模型(i+1)中的运算参数继续执行对所述模型(i+1)的训练步骤。


6.一种视频动作打标方法，其特征在于，包括：
将待打标签的视频数据输入至动作打标签模型，以使所述动作打标签模型识别所述视频数据中目标人物的动作类型，以及每个所述动作类型对应的起止时间；
所述动作打标签模型基于所述动作类型，以及每个所述动作类型对应的起止时间对所述目标人物的动作执行打标签操作，输出携带有标签数据的所述视频数据。


7.根据权利要求6所述的方法，其特征在于，所述动作打标签模型识别所述视频数据中目标人物的动作类型，以及每个所述动作类型对应的起止时间，包括：
将所述视频按照时序信息分割成多个...

【专利技术属性】
技术研发人员：周慧子，高宗，陈彦宇，马雅奇，谭龙田，刘欢，
申请(专利权)人：珠海格力电器股份有限公司，珠海联云科技有限公司，
类型：发明
国别省市：广东;44