一种工序的监测方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种工序的监测方法、装置、计算机设备和存储介质，该方法包括：面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；从所述目标图像数据中提取表征生产动作的目标图像区域；将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；校验所述工序是否符合所述产品的生产标准。在生产线一次性部署摄像头、在后端部署计算机设备即可实现了自动对监督技术人员的作业，硬件设备的成本比长期安排监督人员低，可降低长期监督的成本。

A process monitoring method, device, computer equipment and storage medium

The embodiment of the invention discloses a process monitoring method, device, computer equipment and storage medium, the method includes: collecting target video data for a station on the production line, producing products in the station of the target personnel, the target video data having multi frame target image data, extracting the target image region representing the production action from the target image data; Input the target image data into the process identification model to output the actions of the target image data and the target personnel in the production of the product; combine the actions into the processes of the target video data and the target personnel in the production of the product; verify whether the processes meet the production standards of the product. The cost of hardware equipment is lower than that of long-term supervision personnel, which can reduce the cost of long-term supervision.

【技术实现步骤摘要】
一种工序的监测方法、装置、计算机设备和存储介质
本专利技术实施例涉及生产技术，尤其涉及一种工序的监测方法、装置、计算机设备和存储介质。
技术介绍
技术人员在生产线上的固定位置进行作业，按照固定的工序生产相关的产品。工序的执行情况是影响产品质量的重要因素，如果遗漏了某个动作，将导致产品的质量下降，从而导致产品的合格率下降。为此，在生产线上一般安排监督人员监督技术人员的作业，但是，人工监督的成本较高，并且，监督人员相对于技术人员的数量较少，容易发生遗漏观察的情况。
技术实现思路
本专利技术实施例提供一种工序的监测方法、装置、计算机设备和存储介质，以解决人工监督的成本较高，容易发生遗漏观察的情况。第一方面，本专利技术实施例提供了一种工序的监测方法，包括：面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；从所述目标图像数据中提取表征生产动作的目标图像区域；将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；校验所述工序是否符合所述产品的生产标准。可选地，所述从所述目标图像数据中提取表征生产动作的目标图像区域，包括：从所述目标图像数据中检测人物所处的目标人物区域；对所述目标人物区域进行扩展，获得目标扩展区域；取所述目标扩展区域与所述目标图像数据之间的交集，获得目标交集区域；对所述目标交集区域进行填充处理，获得目标图像区域，以使所述目标图像区域的宽度和高度相等。可选地，所述将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序，包括：统计连续且相同的动作的数量；若所述数量小于预设的阈值，则确定所述动作无效；滤除无效的所述操作；若所述数量大于或等于预设的阈值，则确定所述动作有效；合并有效的所述动作，并按照时间顺序组合，获得所述目标视频数据中、所述目标人员在生产所述产品时执行的工序。可选地，所述校验所述工序是否符合所述产品的生产标准，包括：按照时间顺序将所述工序与用于生产所述产品的、标准工序进行比较；若所述工序与所述标准工序相同，则确定所述工序符合所述产品的生产标准；若所述工序与所述标准工序不同，则确定所述工序遗漏动作、不符合所述产品的生产标准。可选地，还包括：面向生产线上的工位采集样本视频数据，样本人员在所述工位中生产产品，所述样本视频数据具有多帧样本图像数据；标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，在所述样本视频数据中，所述动作组成标准工序；从所述样本图像数据中提取表征生产动作的样本图像区域；根据所述样本图像数据与所述动作训练工序识别模型。可选地，所述标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，包括：将所述样本视频数据划分为多段视频片段；对所述视频片段标记所述样本人员在生产所述产品时执行的动作；确定位于所述视频片段的所有所述样本图像数据中、所述样本人员在生产所述产品时执行所述动作。可选地，所述从所述样本图像数据中提取表征生产动作的样本图像区域，包括：从所述样本图像数据中检测人物所处的样本人物区域；对所述样本人物区域进行扩展，获得样本扩展区域；取所述样本扩展区域与所述样本图像数据之间的交集，获得样本交集区域；对所述样本交集区域进行填充处理，获得填充区域，以使所述填充区域的宽度和高度相等；将所述填充区域进行裁减至至少两种尺寸，获得样本图像区域。第二方面，本专利技术实施例还提供了一种工序的监测装置，包括：目标视频数据采集模块，用于面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；目标图像区域提取模块，用于从所述目标图像数据中提取表征生产动作的目标图像区域；动作识别模块，用于将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；工序组合模块，用于将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；生产标准校验模块，用于校验所述工序是否符合所述产品的生产标准。可选地，所述目标图像区域提取模块包括：目标人物区域检测子模块，用于从所述目标图像数据中检测人物所处的目标人物区域；目标扩展区域获得子模块，用于对所述目标人物区域进行扩展，获得目标扩展区域；目标交集区域获得子模块，用于取所述目标扩展区域与所述目标图像数据之间的交集，获得目标交集区域；目标图像区域获得子模块，用于对所述目标交集区域进行填充处理，获得目标图像区域，以使所述目标图像区域的宽度和高度相等。可选地，所述工序组合模块包括：数量统计子模块，用于统计连续且相同的动作的数量；有效确定子模块，用于若所述数量大于或等于预设的阈值，则确定所述动作有效；动作组合子模块，用于合并有效的所述动作，并按照时间顺序组合，获得所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；无效确定子模块，用于若所述数量小于预设的阈值，则确定所述动作无效；动作滤除子模块，用于滤除无效的所述操作。可选地，所述生产标准校验模块包括：工序比较子模块，用于按照时间顺序将所述工序与用于生产所述产品的、标准工序进行比较；符合确定子模块，用于若所述工序与所述标准工序相同，则确定所述工序符合所述产品的生产标准；遗漏确定子模块，用于若所述工序与所述标准工序不同，则确定所述工序遗漏动作、不符合所述产品的生产标准。可选地，还包括：样本视频数据采集模块，用于面向生产线上的工位采集样本视频数据，样本人员在所述工位中生产产品，所述样本视频数据具有多帧样本图像数据；动作标注模块，用于标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，在所述样本视频数据中，所述动作组成标准工序；样本图像区域提取模块，用于从所述样本图像数据中提取表征生产动作的样本图像区域；工序识别模型训练模块，用于根据所述样本图像数据与所述动作训练工序识别模型。可选地，所述动作标注模块包括：视频分段子模块，用于将所述样本视频数据划分为多段视频片段；视频片段标记子模块，用于对所述视频片段标记所述样本人员在生产所述产品时执行的动作；动作确定子模块，用于确定位于所述视频片段的所有所述样本图像数据中、所述样本人员在生产所述产品时执行所述动作。可选地，所述样本图像区域提取模块包括：样本人物区域检测子模块，用于从所述样本图像数据中检测人物所处的样本人物区域；样本扩展区域获得子模块，用本文档来自技高网...

【技术保护点】
1.一种工序的监测方法，其特征在于，包括：/n面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；/n从所述目标图像数据中提取表征生产动作的目标图像区域；/n将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；/n将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；/n校验所述工序是否符合所述产品的生产标准。/n

【技术特征摘要】
1.一种工序的监测方法，其特征在于，包括：
面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；
从所述目标图像数据中提取表征生产动作的目标图像区域；
将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；
将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；
校验所述工序是否符合所述产品的生产标准。


2.根据权利要求1所述的方法，其特征在于，所述从所述目标图像数据中提取表征生产动作的目标图像区域，包括：
从所述目标图像数据中检测人物所处的目标人物区域；
对所述目标人物区域进行扩展，获得目标扩展区域；
取所述目标扩展区域与所述目标图像数据之间的交集，获得目标交集区域；
对所述目标交集区域进行填充处理，获得目标图像区域，以使所述目标图像区域的宽度和高度相等。


3.根据权利要求1所述的方法，其特征在于，所述将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序，包括：
统计连续且相同的动作的数量；
若所述数量小于预设的阈值，则确定所述动作无效；
滤除无效的所述操作；
若所述数量大于或等于预设的阈值，则确定所述动作有效；
合并有效的所述动作，并按照时间顺序组合，获得所述目标视频数据中、所述目标人员在生产所述产品时执行的工序。


4.根据权利要求1所述的方法，其特征在于，所述校验所述工序是否符合所述产品的生产标准，包括：
按照时间顺序将所述工序与用于生产所述产品的、标准工序进行比较；
若所述工序与所述标准工序相同，则确定所述工序符合所述产品的生产标准；
若所述工序与所述标准工序不同，则确定所述工序遗漏动作、不符合所述产品的生产标准。


5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
面向生产线上的工位采集样本视频数据，样本人员在所述工位中生产产品，所述样本视频数据具有多帧样本图像数据；
标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，在所述样本视频数据中，所述动作组成...

【专利技术属性】
技术研发人员：黄劲，赵朋飞，康阳，
申请(专利权)人：盈盛智创科技广州有限公司，
类型：发明
国别省市：广东;44