基于非固定位置的多工序同时作业的视觉报工方法及系统技术方案

本发明专利技术公开了一种基于非固定位置的多工序同时作业的视觉报工方法及系统，所述方法包括：通过场地的全局固定相机采集视频流，对视频流进行单帧目标检测，以确定多个目标框；通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标

【技术实现步骤摘要】
基于非固定位置的多工序同时作业的视觉报工方法及系统


[0001]本专利技术涉及图像处理
，尤其涉及一种基于非固定位置的多工序同时作业的视觉报工方法及系统
。

技术介绍

[0002]制造生产过程中，除了机加设备外，还存在大量无法进行自动化生产的任务需要由钳工进行手工作业
。
制造企业生产过程执行系统
(Manufacturing Execution System MES)
为了对这部分任务进行管控通常会采用刷卡报工的形式让钳工刷卡操作
。
而钳工工作的随机性比较高，计划性较低，通常以小组为单位协调完成整项任务
。
协同工作时，每位钳工会频繁调整其工作内容以解决实际任务中的具体问题
。
[0003]现有技术中，一种是强制规定每次任务变化后都要求钳工刷卡报工，需要钳工组长根据工作内容在任务分配初期根据任务的具体内容进行分解，为每个人员分配适当的工作，但这种方式对管理的要求非常高，需要钳工组长对任务有非常准确的判断，并且能够有效的约束钳工按时刷卡，如果任务分解的比较分散，会导致钳工频繁刷卡报工，影响工作效率；另一种是事后统计，通常以天为单位，每位钳工根据记忆统计当天完成的各项工作内容所花费的时间，但每天工作内容的统计过于凭借个人感官，通常存在较大误差
。
[0004]因此，如何在非固定位置的多工序同时作业条件下快速识别用户身份信息及工作类别信息成为一个亟待解决的问题
。
[0005]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术
。

技术实现思路

[0006]本专利技术的主要目的在于提供了一种基于非固定位置的多工序同时作业的视觉报工方法及系统，旨在解决如何在非固定位置的多工序同时作业条件下快速识别用户身份信息及工作类别信息的技术问题
。
[0007]为实现上述目的，本专利技术提供了一种基于非固定位置的多工序同时作业的视觉报工方法，所述基于非固定位置的多工序同时作业的视觉报工方法包括：通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框；通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标
ID
；基于变焦追踪策略从多个目标
ID
中选取待追踪对象
ID
；对所述待追踪对象
ID
进行变焦识别，获得用户身份信息；获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息；将所述用户身份信息与所述工作类别信息通过
API
接口上传至
MES
系统进行报工
。
[0008]可选地，所述对所述视频流进行单帧目标检测，以确定多个目标框的步骤，包括：
对所述视频流进行单帧目标检测，获得多个待确认识别框；分别确定各待确认识别框对应的置信度；基于所述置信度从多个待确认识别框中确定多个目标框
。
[0009]可选地，所述通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标
ID
的步骤，包括：通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；根据所述匹配分值结果确定多个目标
ID。
[0010]可选地，所述基于变焦追踪策略从多个目标
ID
中选取待追踪对象
ID
的步骤，包括：分别提取各目标
ID
对应的帧图像的目标框数据；根据所述目标框数据通过目标评分公式确定各目标
ID
的评分结果；基于各目标
ID
的评分结果从多个目标
ID
中选取待追踪对象
ID。
[0011]可选地，所述对所述待追踪对象
ID
进行变焦识别，获得用户身份信息的步骤，包括：将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；通过所述全局固定相机的追踪器获取历史目标框数据；对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象
ID
；计算所述待检测对象
ID
对应的用户目标框的位置与尺寸；基于所述用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；基于调整后的拍摄方向与焦距识别出所述待检测对象
ID
的用户目标框中的二维码或人脸信息，以获得用户身份信息
。
[0012]此外，为实现上述目的，本专利技术还提出一种基于非固定位置的多工序同时作业的视觉报工系统，所述基于非固定位置的多工序同时作业的视觉报工系统包括：处理模块，用于通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框；匹配模块，用于通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标
ID
；选取模块，用于基于变焦追踪策略从多个目标
ID
中选取待追踪对象
ID
；识别模块，用于对所述待追踪对象
ID
进行变焦识别，获得用户身份信息；所述处理模块，还用于获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息；传输模块，用于将所述用户身份信息与所述工作类别信息通过
API
接口上传至
MES
系统进行报工
。
[0013]可选地，所述处理模块，还用于对所述视频流进行单帧目标检测，获得多个待确认识别框；所述处理模块，还用于分别确定各待确认识别框对应的置信度；所述处理模块，还用于基于所述置信度从多个待确认识别框中确定多个目标框
。
[0014]可选地，所述匹配模块，还用于通过卡尔曼滤波的追踪器分别对多个目标框进行
匹配，获得匹配分值结果；所述匹配模块，还用于根据所述匹配分值结果确定多个目标
ID。
[0015]可选地，所述选取模块，还用于分别提取各目标
ID
对应的帧图像的目标框数据；所述选取模块，还用于根据所述目标框数据通过目标评分公式确定各目标
ID
的评分结果；所述选取模块，还用于基于各目标
ID
的评分结果从多个目标
ID
中选取待追踪对象
ID。
[0016]可选地，所述识别模块，还用于将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；所述识别模块，还用于将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；所述识别模块，还用于通过所述全局固定相机的追踪器获取历史目标框数据；所述识别模块，还用于对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象
ID
；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于非固定位置的多工序同时作业的视觉报工方法，其特征在于，所述基于非固定位置的多工序同时作业的视觉报工方法包括以下步骤：通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框；通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标
ID
；基于变焦追踪策略从多个目标
ID
中选取待追踪对象
ID
；对所述待追踪对象
ID
进行变焦识别，获得用户身份信息；获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息；将所述用户身份信息与所述工作类别信息通过
API
接口上传至
MES
系统进行报工
。2.
如权利要求1所述的方法，其特征在于，所述对所述视频流进行单帧目标检测，以确定多个目标框的步骤，包括：对所述视频流进行单帧目标检测，获得多个待确认识别框；分别确定各待确认识别框对应的置信度；基于所述置信度从多个待确认识别框中确定多个目标框
。3.
如权利要求2所述的方法，其特征在于，所述通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标
ID
的步骤，包括：通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；根据所述匹配分值结果确定多个目标
ID。4.
如权利要求1‑3任一项所述的方法，其特征在于，所述基于变焦追踪策略从多个目标
ID
中选取待追踪对象
ID
的步骤，包括：分别提取各目标
ID
对应的帧图像的目标框数据；根据所述目标框数据通过目标评分公式确定各目标
ID
的评分结果；基于各目标
ID
的评分结果从多个目标
ID
中选取待追踪对象
ID。5.
如权利要求1‑3任一项所述的方法，其特征在于，所述对所述待追踪对象
ID
进行变焦识别，获得用户身份信息的步骤，包括：将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；通过所述全局固定相机的追踪器获取历史目标框数据；对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象
ID
；计算所述待检测对象
ID
对应的用户目标框的位置与尺寸；基于所述用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；基于调整后的拍摄方向与焦距识别出所述待检测对象
ID
的用户目标框中的二维码或人脸信息，以获得用户身份信息
。6.

【专利技术属性】
技术研发人员：朱凌穹，胡建平，易平，李建军，
申请(专利权)人：武汉益模科技股份有限公司，
类型：发明
国别省市：