一种基于视频智能分析的工序流程检测方法及系统技术方案

本发明专利技术提供了一种基于视频智能分析的工序流程检测方法及系统。该基于视频智能分析的工序流程检测方法，包括：步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪；步骤3：基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系；步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上。通过检测关键物体的存在性及物体之间的几何关系，确认工作人员的各个流程动作是否实施到位、准确。准确。准确。

A process flow detection method and system based on video intelligent analysis

【技术实现步骤摘要】
一种基于视频智能分析的工序流程检测方法及系统


[0001]本专利技术涉及工序流程检测
，特别涉及一种基于视频智能分析的工序流程检测方法及系统。

技术介绍

[0002]制造业生产过程中，机器或部件的组装、装配需要多个安装和检查步骤。此流程由流水线工作人员实施，过程可分解为若干动作，且具有前后顺序规定。包括但不限于装配相关部件、检查关键零件安装是否正确、放置说明书或合格证明等文件、粘贴密封条、套装纸箱等操作。工作人员在流水线运转过程中，可能由于主观或客观原因将某些操作步骤遗漏，因此，有必要对工作人员的工序流程动作进行完备性视频监控。

技术实现思路

[0003]本专利技术提供一种基于视频智能分析的工序流程检测方法及系统，用以确认工作人员的各个流程动作均实施到位、准确。
[0004]本专利技术提供一种基于视频智能分析的工序流程检测方法，包括：
[0005]步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；
[0006]步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪；
[0007]步骤3：基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系；
[0008]步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上。
[0009]优选的，所述步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体，具体步骤包括：
[0010]步骤1.1：收集现场工作监控数据，获取感兴趣目标和对应的跟踪主体，并对所述感兴趣目标以及对应跟踪主体的生产时数据进行标注，获得标注数据；
[0011]步骤1.2：利用标注数据，训练目标检测模型，得到最终目标检测模型；
[0012]步骤1.3：将所述最终目标检测模型进行部署，读取现场监控图像后，送入所述最终目标检测模型推理计算，得到所述感兴趣目标和跟踪主体的第一检测结果。
[0013]优选的，所述步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪，具体步骤包括：
[0014]步骤2.1：根据跟踪主体的第一轮廓信息以及位置信息，创建相应的跟踪器；
[0015]步骤2.2：利用所述跟踪器对所述跟踪主体位置进行预测；
[0016]步骤2.3：将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配。
[0017]优选的，所述步骤3：基于检测结果以及目标跟踪结果，计算所述主体与对应感兴趣目标之间的几何关系，具体步骤包括：
[0018]步骤3.1：基于最终目标检测模型得到最新检测结果；
[0019]步骤3.2：根据所述最新检测结果，以及目标跟踪结果，计算各个跟踪主体与感兴趣目标之间的几何关系。
[0020]优选的，所述步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上，具体步骤包括：
[0021]根据距离关系对所述感兴趣目标的应装配跟踪主体进行第一判断；
[0022]根据角度关系对所述感兴趣目标的应装配跟踪主体进行第二判断；
[0023]根据面积交互情况对所述感兴趣目标的应装配跟踪主体进行第三判断；
[0024]所述第一判断、第二判断以及第三判断可任意灵活组合执行。
[0025]优选的，所述的一种基于视频智能分析的工序流程检测方法，步骤4之后，还包括：
[0026]步骤5：当所述跟踪主体离开当前工序警戒线的警戒范围时，如果检测到所述跟踪主体处于目标动作未完成状态，发出告警通知。
[0027]优选的，所述步骤2.3：将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配，包括：
[0028]基于所述跟踪器，预测多个跟踪主体位置获取第一预测结果，同时，获取第一检测结果；在所述跟踪器中选取任意一个作为待匹配跟踪器，从第一预测结果中获取所述待匹配跟踪器的预测结果为第二预测结果；
[0029]在所述第一检测结果中选取任意一个跟踪主体检测结果作为待匹配主体，从第一检测结果中获取所述待匹配主体的检测结果为第二检测结果；
[0030]获取所述待匹配跟踪器的第二预测结果矩形框的坐标为第一矩形框坐标，获取待匹配主体的第二检测结果矩形框坐标为第二矩形框坐标，若所述第一矩形框坐标与所述第二矩形框坐标之间的重叠面积大于预设重叠面积阈值，判断所述待匹配跟踪器与待匹配主体匹配成功；
[0031]否则，判断所述待匹配跟踪器与待匹配主体匹配不成功；计算所述待匹配跟踪器与第一检测结果中所有跟踪主体的匹配情况；
[0032]当与所述待匹配跟踪器匹配成功的跟踪主体只有一个时，判定所述待匹配跟踪器与所述跟踪主体最终匹配；
[0033]当与所述待匹配跟踪器匹配成功的跟踪主体不止一个时，获取全部与所述待匹配跟踪器匹配成功的跟踪主体，计算所述待匹配跟踪器与所有匹配成功的跟踪主体的交互面积，并对所述交互面积进行排序，若最大交互面积对应的跟踪主体未被最终匹配，判定所述待匹配跟踪器与所述最大交互面积对应的跟踪主体最终匹配；
[0034]若最大交互面积对应的跟踪主体已经被最终匹配，按照排序顺序依次查看，直到获得没有被最终匹配的跟踪主体，并判定所述待匹配跟踪器与所述没有被最终匹配的跟踪主体最终匹配；
[0035]若第一检测结果中存在无最终匹配跟踪主体，则利用该无最终匹配跟踪主体的第二检测结果，创建新的跟踪器；
[0036]对于具备最终匹配的跟踪器，获取其位置信息为待更新位置信息，从第一检测结果中获取所述待更新位置信息对应的跟踪器的最终匹配跟踪主体的第二检测结果，对所述待更新位置信息进行更新。
[0037]优选的，所述的一种基于视频智能分析的工序流程检测方法，还包括：
[0038]所述跟踪器上设有计时模块，当所述跟踪器在预设时间内没有最终匹配主体时，将所述跟踪器删除；
[0039]同时，对所述跟踪器的位置进行判断，当所述跟踪器到达出镜位置或预设画面中某边界位置时，将所述跟踪器删除。
[0040]优选的，所述的一种基于视频智能分析的工序流程检测方法，包括：步骤5.1：获取未执行目标动作的跟踪主体的当前位置，并将所述当前位置与第一警戒线位置以及第二警戒线位置进行比较；
[0041]步骤5.2：当所述当前位置在第一警戒线位置与第二警戒线位置之间时，判定所述失误为第一类型失误，并发出第一告警通知信号；
[0042]当所述当前位置在第二警戒线位置之后，判定所述失误为第二类型失误，并发出第二告警通知信号。
[0043]本专利技术提供一种基于视频智能分析的工序流程检测系统，包括：
[0044]目标获取模块，用于利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；
[0045]跟踪模块，用于基于流水线工序流程，对所述跟踪主体进行目标跟踪；
[0046]计算模块，用于基于检测结果以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频智能分析的工序流程检测方法，其特征在于，包括：步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪；步骤3：基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系；步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上。2.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法，其特征在于，所述步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体，具体步骤包括：步骤1.1：收集现场工作监控数据，获取感兴趣目标和对应的跟踪主体，并对所述感兴趣目标以及对应跟踪主体的生产时数据进行标注，获得标注数据；步骤1.2：利用标注数据，训练目标检测模型，得到最终目标检测模型；步骤1.3：将所述最终目标检测模型进行部署，读取现场监控图像后，送入所述最终目标检测模型推理计算，得到所述感兴趣目标和跟踪主体的第一检测结果。3.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法，其特征在于，所述步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪，具体步骤包括：步骤2.1：根据跟踪主体的第一轮廓信息以及位置信息，创建相应的跟踪器；步骤2.2：利用所述跟踪器对所述跟踪主体位置进行预测；步骤2.3：将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配。4.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法，其特征在于，所述步骤3：基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系，具体步骤包括：步骤3.1：基于最终目标检测模型得到最新检测结果；步骤3.2：根据所述最新检测结果以及目标跟踪结果，计算各个跟踪主体与感兴趣目标之间的几何关系。5.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法，其特征在于，所述步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上，具体包括：根据距离关系对所述感兴趣目标的应装配跟踪主体进行第一判断；根据角度关系对所述感兴趣目标的应装配跟踪主体进行第二判断；根据面积交互情况对所述感兴趣目标的应装配跟踪主体进行第三判断；所述第一判断、第二判断以及第三判断可任意灵活组合执行。6.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法，其特征在于，步骤4之后，还包括：步骤5：当所述跟踪主体离开当前工序警戒线的警戒范围时，如果检测到所述跟踪主体处于目标动作未完成状态，发出告警通知。7.根据权利要求4所述的一种基于视频智能分析的工序流程检测方法，其特征在于，包
括：所述步骤2.3：将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配，包括：基于所述跟踪器，预测多个跟踪主体位置获取第一预测结果，同时，获取第一检测结果；在所述...

【专利技术属性】
技术研发人员：朱新潮，曾国卿，许志强，孙昌勋，刘佳宁，李威，杨坤，
申请(专利权)人：北京容联易通信息技术有限公司，
类型：发明
国别省市：