本发明专利技术提供一种工序节拍监控方法及系统。监控方法包括步骤：对获取的目标工序开始状态下的每张工人操作图像进行处理以得到多个人体关键点坐标序列，进而确定相应的人体关键点坐标基准序列；对获取的目标工序结束状态下的每张工人操作图像采用相同的操作以确定相应的人体关键点坐标基准序列；实时且持续获取目标工序对应的工人操作图像，并基于上述两个人体关键点坐标基准序列确定其中的工序开始状态图像和工序结束状态图像，将每对相匹配的工序开始状态图像和工序结束状态图像的生成时间的间隔作为目标工序的工序节拍。监控系统包括对应实现上述各个步骤的各个功能模块。本发明专利技术能解决现有基于人工计时的工序节拍监控方法浪费人力、误差大的问题。误差大的问题。误差大的问题。
【技术实现步骤摘要】
一种工序节拍监控方法及系统
[0001]本专利技术属于流水线作业优化领域，更具体地，涉及一种工序节拍监控方法及系统。
技术介绍
[0002]随着我国制造业的蓬勃发展，同一领域下的制造企业间的竞争越来越激烈。在这一背景下，如何提高生产效率早已成为各个制造企业共同努力的方向。具体地，对于流水线式的制造过程，如何合理地设计安排每道工序的工序节拍，对整条产线的产能有着重要的影响。
[0003]目前，在电子产品的生产制造领域，尤其是手机等消费类电子产品的生产制造，其自动化程度已经非常高，某些机型甚至已经采用全自动化生产线。对于全自动化生产线，其各个工序的工序节拍可直接基于相应生产制造制备的相关参数来获取。而对于面向企业的电子产品，由于单批生产订单量小，且机型种类繁多，其生产制造并不适合采用全自动化生产线，而是更适合采用半自动化生产线或者全人工生产线。然而，对于非全自动化生产线，其人工完成工序的工序节拍无法如全自动化生产线一般基于相应生产制造制备的相关参数来获取，只能通过生产优化人员采用人工计时的方式来确定，而这种基于人工计时的工序节拍监控方法不仅浪费人力而且误差较大。
技术实现思路
[0004]本专利技术的目的在于解决现有技术中的基于人工计时的工序节拍监控方法浪费人力和误差大的问题。
[0005]为了实现上述目的，本专利技术提供一种工序节拍监控方法及系统。
[0006]根据本专利技术的第一方面，提供一种工序节拍监控方法，该方法包括以下步骤：
[0007]获取目标工序开始状态下的多张工人操作图像，对获取到的每张工人操作图像进行处理以得到相应的人体关键点坐标序列，并根据获取到的多个人体关键点坐标序列确定目标工序开始状态下的人体关键点坐标基准序列；
[0008]获取目标工序结束状态下的多张工人操作图像，对获取到的每张工人操作图像进行处理以得到相应的人体关键点坐标序列，并根据获取到的多个人体关键点坐标序列确定目标工序结束状态下的人体关键点坐标基准序列；
[0009]响应于工序节拍监控指令，实时且持续获取目标工序对应的工人操作图像，基于所述目标工序开始状态下的人体关键点坐标基准序列和所述目标工序结束状态下的人体关键点坐标基准序列确定其中的工序开始状态图像和工序结束状态图像，并将每对相匹配的工序开始状态图像和工序结束状态图像的生成时间的间隔作为目标工序的工序节拍。
[0010]作为优选的是，所述对获取到的每张工人操作图像进行处理以得到相应的人体关键点坐标序列包括：
[0011]根据目标工人操作图像，并采用基于深度学习的人体姿态估计算法提取预定的各个人体关键点在所述目标工人操作图像中的坐标，所述人体关键点为人体关节点；
[0012]将提取到的各个人体关键点的坐标整合为相应的人体关键点坐标序列。
[0013]作为优选的是，根据获取到的多个人体关键点坐标序列确定相应的人体关键点坐标基准序列具体为：
[0014]对所述多个人体关键点坐标序列进行数据标准化处理以得到相应的人体关键点坐标基准序列。
[0015]作为优选的是，目标工序开始状态下的工人操作图像为人工预先选定的；
[0016]或者，
[0017]目标工序开始状态下的工人操作图像的获取方式具体为：
[0018]对于预先获取的目标工序对应的多张工人操作图像，对每张工人操作图像进行处理以得到相应的工人手腕关节点坐标，并根据该工人手腕关节点坐标获取工人手腕关节点到该张工人操作图像的工件流入侧边缘的最小距离，若该最小距离不超出相应的距离设定值，则将该张工人操作图像判定为目标工序开始状态下的工人操作图像。
[0019]作为优选的是，目标工序结束状态下的工人操作图像为人工预先选定的；
[0020]或者，
[0021]目标工序结束状态下的工人操作图像的获取方式具体为：
[0022]对于预先获取的目标工序对应的多张工人操作图像，对每张工人操作图像进行处理以得到相应的工人手腕关节点坐标，并根据该工人手腕关节点坐标获取工人手腕关节点到该张工人操作图像的工件流出侧边缘的最小距离，若该最小距离不超出相应的距离设定值，则将该张工人操作图像判定为目标工序结束状态下的工人操作图像。
[0023]作为优选的是，所述工序开始状态图像的确定方法包括：
[0024]对待判断的工人操作图像进行处理以得到待判断的人体关键点坐标序列；
[0025]对所述待判断的人体关键点坐标序列进行归一化处理；
[0026]对所述目标工序开始状态下的人体关键点坐标基准序列进行归一化处理；
[0027]采用预定的匹配函数获取归一化的待判断的人体关键点坐标序列与归一化的目标工序开始状态下的人体关键点坐标基准序列的偏差，若该偏差不超出相应的偏差设定值，则将所述待判断的工人操作图像判定为工序开始状态图像。
[0028]作为优选的是，所述工序结束状态图像的确定方法包括：
[0029]对待判断的工人操作图像进行处理以得到待判断的人体关键点坐标序列；
[0030]对所述待判断的人体关键点坐标序列进行归一化处理；
[0031]对所述目标工序结束状态下的人体关键点坐标基准序列进行归一化处理；
[0032]采用所述匹配函数获取归一化的待判断的人体关键点坐标序列与归一化的目标工序结束状态下的人体关键点坐标基准序列的偏差，若该偏差不超出相应的偏差设定值，则将所述待判断的工人操作图像判定为工序结束状态图像。
[0033]作为优选的是，所述匹配函数为加权的范数求解函数。
[0034]作为优选的是，所述工序节拍监控方法还包括：
[0035]在获取目标工序的一个工序节拍的同时，将相应的工序开始状态图像对应的人体关键点坐标序列和工序结束状态图像对应的人体关键点坐标序列写入数据库，并分为两组；
[0036]响应于所述数据库中的一组人体关键点坐标序列的数量达到相应的数量设定值，
采用随机样本一致性算法排除该组人体关键点坐标序列中的异常离群点，在余下的群内点中提取用于修正所述匹配函数的人体关键点坐标序列，并基于该人体关键点坐标序列，采用最小二乘法对所述匹配函数的加权系数进行修正。
[0037]根据本专利技术的第二方面，提供一种工序节拍监控系统，该系统包括以下功能模块：
[0038]第一人体关键点坐标基准序列获取模块，用于获取目标工序开始状态下的多张工人操作图像，对获取到的每张工人操作图像进行处理以得到相应的人体关键点坐标序列，并根据获取到的多个人体关键点坐标序列确定目标工序开始状态下的人体关键点坐标基准序列；
[0039]第二人体关键点坐标基准序列获取模块，用于获取目标工序结束状态下的多张工人操作图像，对获取到的每张工人操作图像进行处理以得到相应的人体关键点坐标序列，并根据获取到的多个人体关键点坐标序列确定目标工序结束状态下的人体关键点坐标基准序列；
[0040]工序节拍获取模块，用于响应于工序节拍监控指令，实时且持续获取目标本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种工序节拍监控方法，其特征在于，包括：获取目标工序开始状态下的多张工人操作图像，对获取到的每张工人操作图像进行处理以得到相应的人体关键点坐标序列，并根据获取到的多个人体关键点坐标序列确定目标工序开始状态下的人体关键点坐标基准序列；获取目标工序结束状态下的多张工人操作图像，对获取到的每张工人操作图像进行处理以得到相应的人体关键点坐标序列，并根据获取到的多个人体关键点坐标序列确定目标工序结束状态下的人体关键点坐标基准序列；响应于工序节拍监控指令，实时且持续获取目标工序对应的工人操作图像，基于所述目标工序开始状态下的人体关键点坐标基准序列和所述目标工序结束状态下的人体关键点坐标基准序列确定其中的工序开始状态图像和工序结束状态图像，并将每对相匹配的工序开始状态图像和工序结束状态图像的生成时间的间隔作为目标工序的工序节拍。2.根据权利要求1所述的工序节拍监控方法，其特征在于，所述对获取到的每张工人操作图像进行处理以得到相应的人体关键点坐标序列包括：根据目标工人操作图像，并采用基于深度学习的人体姿态估计算法提取预定的各个人体关键点在所述目标工人操作图像中的坐标，所述人体关键点为人体关节点；将提取到的各个人体关键点的坐标整合为相应的人体关键点坐标序列。3.根据权利要求1所述的工序节拍监控方法，其特征在于，根据获取到的多个人体关键点坐标序列确定相应的人体关键点坐标基准序列具体为：对所述多个人体关键点坐标序列进行数据标准化处理以得到相应的人体关键点坐标基准序列。4.根据权利要求1所述的工序节拍监控方法，其特征在于，目标工序开始状态下的工人操作图像为人工预先选定的；或者，目标工序开始状态下的工人操作图像的获取方式具体为：对于预先获取的目标工序对应的多张工人操作图像，对每张工人操作图像进行处理以得到相应的工人手腕关节点坐标，并根据该工人手腕关节点坐标获取工人手腕关节点到该张工人操作图像的工件流入侧边缘的最小距离，若该最小距离不超出相应的距离设定值，则将该张工人操作图像判定为目标工序开始状态下的工人操作图像。5.根据权利要求1所述的工序节拍监控方法，其特征在于，目标工序结束状态下的工人操作图像为人工预先选定的；或者，目标工序结束状态下的工人操作图像的获取方式具体为：对于预先获取的目标工序对应的多张工人操作图像，对每张工人操作图像进行处理以得到相应的工人手腕关节点坐标，并根据该工人手腕关节点坐标获取工人手腕关节点到该张工人操作图像的工件流出侧边缘的最小距离，若该最小距离不超出相应的距离设定值，则将该张工人操作图像判定为目标工序结束状态下的工人操作图像。6.根据权利要求1所述的工序节拍监控方法，其特征在于，所述工序开始状态图像的确定方法包括：对待判...
【专利技术属性】
技术研发人员：顾鹏，汤锭，陈欢，
申请(专利权)人：上海祥承通讯技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。