产线作业管理与视频处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种产线作业管理与视频处理方法、装置、设备及存储介质。在本申请实施例中，针对生产线上包含生产动作的视频帧序列，从瞬时姿态估计和长时动作识别两个维度识别视频帧序列中视频帧的瞬时姿态特征和长时动作特征，基于视频帧的长时动作特征进行动作边界信息的识别，进而同时基于动作边界信息、瞬时姿态特征和长时动作特征针对视频帧序列进行动作分割，不仅可自动准确地识别出视频帧序列中出现的各类生产动作及其持续时长，而且结合动作边界信息的动作分割还能降低动作转换过程中容易出现动作误识别的概率，能够更好地修正动作分割中的过分割现象。地修正动作分割中的过分割现象。地修正动作分割中的过分割现象。

【技术实现步骤摘要】
产线作业管理与视频处理方法、装置、设备及存储介质


[0001]本申请涉及智能制造
，尤其涉及一种产线作业管理与视频处理方法、装置、设备及存储介质。

技术介绍

[0002]随着云计算、物联网、人工智能等技术的不断发展，涌现出越来越多的数字化工厂。数字化工厂能够实现产品从原料采购、产品设计以及生产加工等全生产链条的数字化处理；还能够按照柔性制造模式进行生产制造。其中，柔性制造模式是指通过系统结构、人员组织、运作方式和市场营销等方面的改革，使生产系统能对市场需求变化作出快速地适应，同时消除冗余无用的损耗，力求企业获得更大的效益。在柔性制造模式下，数字化工厂以消费者需求为核心，重构传统以产定销的生产模式，实现按需智造。
[0003]目前，在数字化生产过程中，有一些生产环节需要操作人员参与。例如，在服装智造领域中的车缝产线上，至少需要车缝工人手动执行以下几个车缝动作：取裁片并配对、抚平和/或移正压脚位、与其它各种配对裁片或附件合车、止口/线头修剪和放裁片等。由于车缝工人对生产工序动作的熟练程度不同，最终工序完成耗时与GTS标准工序时间也会有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频分割的产线作业管理方法，其特征在于，包括：获取生产线上包含生产动作的视频帧序列，所述视频帧序列包括多个视频帧；对所述多个视频帧分别进行瞬时姿态估计和长时动作识别，得到所述多个视频帧的瞬时姿态特征和长时动作特征；根据所述多个视频帧的长时动作特征识别所述多个视频帧中的动作边界信息；根据所述多个视频帧中的动作边界信息、瞬时姿态特征和长时动作特征对所述视频帧序列进行动作分割，得到所述视频帧序列中包含的各类生产动作及其持续时长；基于所述视频帧序列中包含的各类生产动作及其持续时长，生成产线作业引导信息，将所述产线作业引导信息输出至生产线上的显示终端，以指导产线人员的后续作业。2.根据权利要求1所述的方法，其特征在于，根据所述多个视频帧中的动作边界信息、瞬时姿态特征和长时动作特征对所述视频帧序列进行动作分割，得到所述视频帧序列中包含的各类生产动作及其持续时长，包括：根据所述多个视频帧的瞬时姿态特征和长时动作特征进行视频帧级别的动作分类，得到所述多个视频帧的初始动作分类结果；根据所述动作边界信息，采用自注意力机制对所述多个视频帧的初始动作分类结果进行修正，得到所述多个视频帧的目标动作分类结果；基于所述多个视频帧的目标动作分类结果对所述视频帧序列中属于同一动作类别的连续视频帧进行合并，得到所述视频帧序列中包含的各类生产动作及其持续时长。3.根据权利要求2所述的方法，其特征在于，根据所述多个视频帧的长时动作特征识别所述多个视频帧中的动作边界信息，包括：将所述多个视频帧的长时动作特征输入边界生成网络进行动作边界信息的置信度预测，得到所述多个视频帧的动作边界分类置信度，作为所述动作边界信息；相应地，根据所述动作边界信息，采用自注意力机制对所述多个视频帧的初始动作分类结果进行修正，得到所述多个视频帧的目标动作分类结果，包括：将所述动作边界信息和所述多个视频帧的初始动作分类结果输入池化层，在所述池化层中采用自注意力机制对相邻视频帧进行平滑池化操作，以得到所述多个视频帧的目标动作分类结果。4.根据权利要求3所述的方法，其特征在于，在所述池化层中采用自注意力机制对相邻视频帧进行平滑池化操作，以得到所述多个视频帧的目标动作分类结果，包括：根据所述多个视频帧的动作边界分类置信度与所述多个视频帧的初始动作分类结果生成自注意力权重，基于所述自注意力权重对所述多个视频帧的初始动作分类结果进行修正，得到所述多个视频帧的目标动作分类结果。5.根据权利要求3所述的方法，其特征在于，根据所述多个视频帧的姿态特征和长时动作特征进行视频帧级别的动作分类，得到所述多个视频帧的初始动作分类结果，包括：对于每个视频帧，将所述视频帧的姿态特征和长时动作特征拼接形成融合特征，将所述融合特征输入由n个子网络级联形成的级联网络对所述视频帧进行动作分类，得到所述视频帧的初始动作分类置信度；其中，前n
‑
1个子网络按照特征维度由大到小的顺序依次预测所述视频帧在不同特征维度上的动作分类置信度，第n个子网络用于融合前面n
‑
1个子网预测出的所述视频帧在不
同特征维度上的动作分类置信度，得到所述视频帧的初始动作分类置信度，n是≥2的正整数。6.根据权利要求5所述的方法，其特征在于，将所述融合特征输入由n个子网络级联形成的级联网络对所述视频帧进行动作分类，得到所述视频帧的初始动作分类置信度，包括：在前n
‑
1个子网络中的每个子网络内部，根据其上一子网络预测出的所述视频帧在上一特征维度上的动作分类置信度，调整针对所述视频帧使用的内部权重；根据调整后的内部权重，预测所述视频帧在当前特征维度上的动作分类置信度。7.根据权利要求6所述的方法，其特征在于，根据其上一子网络预测出的所述视频帧在上一特征维度上的动作分类置信度，调整针对所述视频帧使用的内部权重，包括：根据其上一子网络预测出的所述视频帧在上一特征维度上的动作分类置信度，识别出第一动作类别和/或第二动作类别；所...

【专利技术属性】
技术研发人员：任文婷，孙凯，苏吉普，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：