【技术实现步骤摘要】
本专利技术涉及车辆智能制造，更具体地说，涉及一种操作人员行为识别方法及系统。
技术介绍
1、制造业是国民经济的主要支柱，作为制造业的标杆，汽车行业的智能制造发展始终走在前列。随着人工智能技术的快速发展，其在汽车行业得到了广泛的应用，无论是从自动驾驶汽车还是汽车生产车间的无人机器人、产品质检等领域，都给汽车行业带来了巨大的技术提升和变革，提高了产业链效率。但在汽车生产车间，对于操作员工的生产行为动作标准，仍旧缺少有效的智能监督，导致不合格产品的流出，给企业品牌带来负面的影响。
技术实现思路
1、本专利技术为解决现有技术处理的缺陷和不足，提供一种操作人员行为识别方法及系统。
2、为实现上述目的，本专利技术采取的技术方案是一种操作人员行为识别方法，所述方法包括以下步骤：
3、s1：采集操作人员作业行为数据，建立操作行为标准表、行为检测模型以及目标检测模型；
4、s2：实时采集操作人员作业行为视频信息，将作业行为视频信息切分成小帧数行为视频信息，通过所述行为检测模型检测出小帧数行为视频信息的动作行为类型，并通过所述目标检测模型检测出小帧数行为视频信息的动作行为的起始状态帧数以及结束状态帧数，将所述动作行为类型与动作行为的起始状态帧数以及结束状态帧数相结合以得出精准的动作行为的起始状态帧数以及结束状态帧数，从而得出精准的行为视频帧区间，将精准的行为视频帧区间按序组合成精准作业行为视频信息；
5、s3：将所述精准作业行为视频信息与操作行为标准表上
6、优选的,所述s2中将所述动作行为类型与动作行为的起始状态帧数以及结束状态帧数相结合的步骤为:
7、s21:设所述行为检测模型检测的小帧数行为视频信息的置信度为conf1、权重为w1，所述目标检测模型检测的小帧数行为视频信息的置信度为conf2、权重为w2，权重w1、w2分别根据行为检测模型、目标检测模型的数据规模、测试精度进行取值，权重w1、w2的取值区间为(0,1)；
8、s22:将w1*conf1、w2*conf2进行大小比较，若w1*conf1的值大于w2*conf2 的值，则取所述行为检测模型检测的小帧数行为视频信息作为精准的行为视频帧区间，对应的置信度为w1*conf1+w2*conf2；反之，则取所述行为检测模型检测的小帧数行为视频信息的视频帧序列与所述目标检测模型检测的小帧数行为视频信息的视频帧序列的交集作为精准的行为视频帧区间。
9、优选的,所述s3包括以下步骤：
10、s31:通过所述目标检测模型确定作业的工件型号，并根据所述工件型号调取所述操作行为标准表对应的标准行为信息；
11、s32:将精准作业行为视频信息的行为信息与所述标准行为信息相比对以判断操作人员的动作行为是否标准。
12、优选的,所述行为信息包括动作行为的起始结束时间点、操作顺序、持续时间长度。
13、优选的,还包括s4:若动作的起始结束时间点与标准行为信息不一致，则生成警告信息发送至管理人员以进行复查及产线控制操作；
14、若动作行为的操作顺序与标准行为信息不一致，则生成警告信息发送至管理人员以进行复查及产线控制操作，并提醒操作人员；
15、若动作行为的持续时间长度与标准行为信息不一致，则通过操作显示屏显示并存储为异常事件。
16、本专利技术还提供了一种操作人员行为识别系统，用于实现以上所述的操作人员行为识别方法，包括采集模块、分析判断模块、显示模块、警告模块；
17、所述采集模块用于采集操作人员作业行为视频信息并发送至所述分析判断模块和显示模块；
18、所述分析判断模块用于分析判断所述作业行为视频信息中的动作行为是否标准，并将分析结果发送至所述显示模块；
19、所述显示模块用于显示动作行为，并发送动作行为异常信息至所述警告模块；
20、所述警告模块根据动作行为异常信息生成警告信息以提示管理人员与操作人员。
21、优选的,所述分析判断模块包括拆分模块、行为检测模块、目标检测模块、融合模块、比对判断模块、分析模块；
22、所述拆分模块用于将作业行为视频信息切分成小帧数行为视频信息；
23、所述行为检测模块用于检测出小帧数行为视频信息的动作行为类型；
24、所述目标检测模块用于检测出小帧数行为视频信息的动作行为的起始状态帧数、结束状态帧数以及判断作业的工件型号；
25、所述融合模块用于将所述动作行为类型与动作行为的起始状态帧数以及结束状态帧数相结合以得出精准的动作行为的起始状态帧数以及结束状态帧数，从而得出精准的行为视频帧区间，将精准的行为视频帧区间按序组合成精准作业行为视频信息；
26、所述比对判断模块用于将所述精准作业行为视频信息与操作行为标准表上的标准行为进行对比以判断操作人员的动作行为是否标准；
27、所述分析模块用于分析操作人员的动作行为的不标准类型，并将所述不标准类型发送至所述显示模块，所述显示模块向所述警告模块发出警告指示，所述警告模块对操作人员以及管理人员发出警告。
28、优选的,所述融合模块按如下方式工作：设所述行为检测模型检测的小帧数行为视频信息的置信度为conf1、权重为w1，所述目标检测模型检测的小帧数行为视频信息的置信度为conf2、权重为w2，权重w1、w2分别根据行为检测模型、目标检测模型的数据规模、测试精度进行取值，权重w1、w2的取值区间为 (0,1)；并将w1*conf1、w2*conf2进行大小比较，若w1*conf1的值大于w2*conf2 的值，则取所述行为检测模型检测的小帧数行为视频信息作为精准的行为视频帧区间，对应的置信度为w1*conf1+w2*conf2；反之，则取所述行为检测模型检测的小帧数行为视频信息的视频帧序列与所述目标检测模型检测的小帧数行为视频信息的视频帧序列的交集作为精准的行为视频帧区间。
29、优选的,所述比对判断模块通过所述目标检测模块确定行为视频信息作业的工件型号，并根据所述工件型号调取所述操作行为标准表对应的标准行为信息，将精准作业行为视频信息的行为信息与所述标准行为信息相比对以判断操作人员的动作是否标准。
30、优选的,所述分析模块分析操作人员的动作行为的不标准类型包括动作的起始结束时间点不标准、动作行为的操作顺序不标准、动作行为的持续时间长度不标准；
31、所述动作的起始结束时间点不标准为动作的起始结束时间点与标准行为信息不一致，若动作的起始结束时间点不标准，则所述警告模块生成警告信息发送至管理人员以进行复查及产线控制操作；
32、所述动作行为的操作顺序不标准为动作行为的操作顺序与标准行为信息不一致，若动作行为的操作顺序不标准，则所述警告模块生成警告信息发送至管理人员以进行复查及产线控制操作，并提醒操作人员；
3本文档来自技高网...
【技术保护点】
1.一种操作人员行为识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的操作人员行为识别方法，其特征在于，所述S2中将所述动作行为类型与动作行为的起始状态帧数以及结束状态帧数相结合的步骤为:
3.根据权利要求2所述的操作人员行为识别方法，其特征在于，所述S3包括以下步骤：
4.根据权利要求3所述的操作人员行为识别方法，其特征在于，所述行为信息包括动作行为的起始结束时间点、操作顺序、持续时间长度。
5.根据权利要求4所述的操作人员行为识别方法，其特征在于，还包括S4:若动作的起始结束时间点与标准行为信息不一致，则生成警告信息发送至管理人员以进行复查及产线控制操作；
6.一种操作人员行为识别系统，其特征在于，用于实现权利要求1-5所述的操作人员行为识别方法，包括采集模块(1)、分析判断模块(2)、显示模块(3)、警告模块(4)；
7.根据权利要求6所述的操作人员行为识别系统，其特征在于，所述分析判断模块(2)包括拆分模块(21)、行为检测模块(22)、目标检测模块(23)、融合模块(24)、比对
8.根据权利要求7所述的操作人员行为识别系统，其特征在于，所述融合模块(24)按如下方式工作：设所述行为检测模型检测的小帧数行为视频信息的置信度为conf1、权重为W1，所述目标检测模型检测的小帧数行为视频信息的置信度为conf2、权重为W2，权重W1、W2分别根据行为检测模型、目标检测模型的数据规模、测试精度进行取值，权重W1、W2的取值区间为(0,1)；并将W1*conf1、W2*conf2进行大小比较，若W1*conf1的值大于W2*conf2的值，则取所述行为检测模型检测的小帧数行为视频信息作为精准的行为视频帧区间，对应的置信度为W1*conf1+W2*conf2；反之，则取所述行为检测模型检测的小帧数行为视频信息的视频帧序列与所述目标检测模型检测的小帧数行为视频信息的视频帧序列的交集作为精准的行为视频帧区间。
9.根据权利要求8所述的操作人员行为识别系统，其特征在于，所述比对判断模块(25)通过所述目标检测模块(23)确定行为视频信息作业的工件型号，并根据所述工件型号调取所述操作行为标准表对应的标准行为信息，将精准作业行为视频信息的行为信息与所述标准行为信息相比对以判断操作人员的动作是否标准。
10.根据权利要求9所述的操作人员行为识别系统，其特征在于，所述分析模块(26)分析操作人员的动作行为的不标准类型包括动作的起始结束时间点不标准、动作行为的操作顺序不标准、动作行为的持续时间长度不标准；
...【技术特征摘要】
1.一种操作人员行为识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的操作人员行为识别方法，其特征在于，所述s2中将所述动作行为类型与动作行为的起始状态帧数以及结束状态帧数相结合的步骤为:
3.根据权利要求2所述的操作人员行为识别方法，其特征在于，所述s3包括以下步骤：
4.根据权利要求3所述的操作人员行为识别方法，其特征在于，所述行为信息包括动作行为的起始结束时间点、操作顺序、持续时间长度。
5.根据权利要求4所述的操作人员行为识别方法，其特征在于，还包括s4:若动作的起始结束时间点与标准行为信息不一致，则生成警告信息发送至管理人员以进行复查及产线控制操作；
6.一种操作人员行为识别系统，其特征在于，用于实现权利要求1-5所述的操作人员行为识别方法，包括采集模块(1)、分析判断模块(2)、显示模块(3)、警告模块(4)；
7.根据权利要求6所述的操作人员行为识别系统，其特征在于，所述分析判断模块(2)包括拆分模块(21)、行为检测模块(22)、目标检测模块(23)、融合模块(24)、比对判断模块(25)、分析模块(26)；
8.根据权利要求7所述的操作人员行为识别系统，其特征在于，所述融合模块(24)按如下方式工作：设所述行...
【专利技术属性】
技术研发人员：元月，汪南辉，
申请(专利权)人：深圳联友科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。