一种面向智慧工厂的视频动作识别方法及系统技术方案

本申请涉及视频监控的领域，尤其是涉及一种面向智慧工厂的视频动作识别方法及系统，方法包括获取机器人单次运作视频，训练若干段机器人单次运作视频生成时序动作点位训练数据集；依据巡查命令获取机器人单次运作视频时长的机器人运作视频；从机器人运作视频中节取待识别动作视频；依据待识别动作视频获取与预设时序点组中的判断时序点对应的图像帧；处理图像帧生成判断点位坐标组；按时序依次匹配时序动作点位训练数据集中与判断时序点对应的基准时序点，判断判断点位坐标组是否与基准时序点对应的基准点位坐标组均一致，得到判断结果；依据判断结果确定机器人的视频动作识别结果。本申请具有便于及时发现工厂中出现故障的工业机器人的效果。工业机器人的效果。工业机器人的效果。

【技术实现步骤摘要】
一种面向智慧工厂的视频动作识别方法及系统


[0001]本申请涉及视频监控的领域，尤其是涉及一种面向智慧工厂的视频动作识别方法及系统。

技术介绍

[0002]随着工厂对产品加工制造效率要求的提升，现在工厂中大量引进了如六轴机器人等工业机器人。
[0003]工厂中一条生产线上会设置多个工业机器人，每个工业机器人负责不同节点的工作，如转运、包装、辅助加工以及封箱等。每个机器人的控制系统中均预先设置有机器人运作程序，在实际生产时，工业机器人基于机器人运作程序进行运作；为了防止工业机器人因为故障而停机过长，一般工厂中会设置专门的巡查人员定时对各个工业机器人进行巡查，从而便于尽早发现出现故障的工业机器人。
[0004]在实现本申请的过程中，发现上述技术至少存在以下问题：工厂中的工业机器人数量一般较多，巡查员人员仅是定时做一次巡查，而且单次巡查的时间较长；若某个工业机器人出现故障，则巡查人员有可能需要较差时间后才能发现；可见通过现有技术中难以及时发现工厂中出现故障的工业机器人。

技术实现思路

[0005]为了便于及时发现工厂中出现故障的工业机器人，本申请提供一种面向智慧工厂的视频动作识别方法及系统。
[0006]第一方面，本申请提供一种面向智慧工厂的视频动作识别方法，采用如下的技术方案：一种面向智慧工厂的视频动作识别方法，包括：获取若干段机器人单次运作视频，处理若干段所述机器人单次运作视频生成时序动作点位训练数据集，所述时序动作点位训练数据集包括基准时序点以及与基准时序点对应的基准点位坐标组；获取巡查命令，依据所述巡查命令获取时长至少为两倍所述机器人单次运作视频时长的机器人运作视频；从所述机器人运作视频中节取至少一段所述机器人单次运作视频，记为待识别动作视频；依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧；处理所述图像帧生成与对应的所述判断时序点对应的判断点位坐标组；按时序依次匹配所述时序动作点位训练数据集中与所述判断时序点对应的基准时序点，判断与所述判断时序点对应的所述判断点位坐标组是否与相匹配的所述基准时序点对应的基准点位坐标组均一致，得到判断结果；依据所述判断结果确定机器人的视频动作识别结果。
[0007]通过采用上述技术方案，先训练出时序动作点位训练数据集作为机器人对应时序点上自身各点位的坐标的判断基准，然后在需要对机器人进行巡查时，先拍摄对应的机器人运作视频，然后从中获取各个时序点上的机器人上各个点位的坐标，然后将获取各个时序点上的机器人上各个点位的坐标与时序动作点位训练数据集进行比较与判断，从而便于判断出机器人各个时序点上的点位坐标是否达到预设状态，从而便于实现机器人视频动作的识别，如此便于及时发现工厂中出现故障的工业机器人。
[0008]在一个具体的可实施方案中，所述处理若干段所述机器人单次运作视频生成时序动作点位训练数据集的步骤包括：依据预设间隔时间确定与每段所述机器人单次运作视频对应的所述基准时序点；获取与每个所述基准时序点对应的所述机器人单次运作视频中的图像帧；处理所述图像帧生成与若干预设基准点位对应的基准点位坐标组；依据所述基准时序点以及所述基准时序点对应的基准点位坐标组生成所述时序动作点位训练数据集。
[0009]通过采用上述技术方案，先从机器人单次运作视频中获取与基准时序点对应的图像帧，然后确定图像帧上机器人与各个预设点位对应的基准点位坐标组；最后依据基准时序点以及与基准时序点对应的基准点位坐标组得到时序动作点位训练数据集，如此便于得到一个判断机器人的视频动作是否达到预设状态的判定依据。
[0010]在一个具体的可实施方案中，所述处理所述图像帧生成与若干预设基准点位对应的基准点位坐标组后的步骤包括：获取所有所述机器人单次运作视频中相同所述基准时序点对应的基准点位坐标组；以所述基准点位坐标组是否一致为依据对所述基准点位坐标组进行分组，得到若干组基准点位坐标组；判断出数量最多的一组所述基准点位坐标组，将其中的基准点位坐标组作为与所述基准时序点对应的基准点位坐标组。
[0011]通过采用上述技术方案，将机器人上任意一个点位在一个基准时序点出现最多的基准点位坐标组作为与该基准时序点对应的基准点位坐标组，从而可使该基准点位坐标组作为判断基准更有说服力。
[0012]在一个具体的可实施方案中，所述依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧的步骤包括：依据所述预设时间间隔确定与所述待识别动作视频对应的时序点组，所述时序点组包含若干判断时序点，相邻所述判断时序点之间的时间间隔为所述预设时间间隔；获取与所述判断时序点对应的图像帧组，所述图像帧组中包含若干所述图像帧；计算所述图像帧组中每张所述图像帧的模糊度，按照所述模糊度对所述图像帧组中的中的所述图像帧进行排序，获取所述模糊度最低的图像帧作为与所述判断时序点一一对应的图像帧。
[0013]通过采用上述技术方案，获取图像最清楚的一个图像帧作为与判断时序点对应的图像帧，便于提升确定该图像帧上判断点位坐标准确度与便利性。
[0014]在一个具体的可实施方案中，所述处理所述图像帧生成与对应的所述判断时序点
对应的判断点位坐标组的步骤包括：从与所述判断时序点对应的所述图像帧中分割出与机器人对应的机器人图像；计算所述机器人图像中各预设点位的坐标，生成判断点位坐标组。
[0015]通过采用上述技术方案，将机器人图像从图像帧中分割出，从而便于防止图像帧中的其他事物图像对判断点坐标的计算造成不利影响。
[0016]在一个具体的可实施方案中，所述从与所述判断时序点对应的所述图像帧中分割出与机器人对应的机器人图像的步骤包括：计算所述图像帧中各个像素点的灰度值；计算所述像素点与相邻像素点之间灰度值的差值，记为灰度差；确定与所述灰度差大于预设灰度差阈值对应的所述像素点，记为边缘像素点；依据所述边缘像素点确定所述机器人图像的轮廓线；依据所述轮廓线分割所述图像帧得到机器人图像。
[0017]通过采用上述技术方案，便于通过计算灰度差，并将计算出灰度差与预设灰度差阈值比较的方式确定轮廓线，然后进一步依据轮廓下分割出机器人图像，从而杜绝了图像帧中的其他食物对机器人图像的影响，进而便于提升计算出机器人上判断点位坐标的速度。
[0018]第二方面，本申请提供一种面向智慧工厂的视频动作识别系统，采用如下的技术方案：一种面向智慧工厂的视频动作识别系统，包括：时序动作点位训练数据集生成模块，用于获取若干段机器人单次运作视频，处理若干段所述机器人单次运作视频生成时序动作点位训练数据集，所述时序动作点位训练数据集包括基准时序点以及与基准时序点对应的基准点位坐标组；机器人运作视频获取模块，用于获取巡查命令，依据所述巡查命令获取时长至少为两倍所述机器人单次运作视频时长的机器人运作视频；图像帧获取模块，用于从所述机器人运作视频中节取至少一段所述机器人单次运作视频，记为待识别动作视频；依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧；图像处理模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向智慧工厂的视频动作识别方法，其特征在于：包括：获取若干段机器人单次运作视频，处理若干段所述机器人单次运作视频生成时序动作点位训练数据集，所述时序动作点位训练数据集包括基准时序点以及与基准时序点对应的基准点位坐标组；获取巡查命令，依据所述巡查命令获取时长至少为两倍所述机器人单次运作视频时长的机器人运作视频；从所述机器人运作视频中节取至少一段所述机器人单次运作视频，记为待识别动作视频；依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧；处理所述图像帧生成与对应的所述判断时序点对应的判断点位坐标组；按时序依次匹配所述时序动作点位训练数据集中与所述判断时序点对应的基准时序点，判断与所述判断时序点对应的所述判断点位坐标组是否与相匹配的所述基准时序点对应的基准点位坐标组均一致，得到判断结果；依据所述判断结果确定机器人的视频动作识别结果。2.根据权利要求1所述的面向智慧工厂的视频动作识别方法，其特征在于：所述处理若干段所述机器人单次运作视频生成时序动作点位训练数据集的步骤包括：依据预设间隔时间确定与每段所述机器人单次运作视频对应的所述基准时序点；获取与每个所述基准时序点对应的所述机器人单次运作视频中的图像帧；处理所述图像帧生成与若干预设基准点位对应的基准点位坐标组；依据所述基准时序点以及所述基准时序点对应的基准点位坐标组生成所述时序动作点位训练数据集。3.根据权利要求2所述的面向智慧工厂的视频动作识别方法，其特征在于：所述处理所述图像帧生成与若干预设基准点位对应的基准点位坐标组后的步骤包括：获取所有所述机器人单次运作视频中相同所述基准时序点对应的基准点位坐标组；以所述基准点位坐标组是否一致为依据对所述基准点位坐标组进行分组，得到若干组基准点位坐标组；判断出数量最多的一组所述基准点位坐标组，将其中的基准点位坐标组作为与所述基准时序点对应的基准点位坐标组。4.根据权利要求2所述的面向智慧工厂的视频动作识别方法，其特征在于：所述依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧的步骤包括：依据所述预设时间间隔确定与所述待识别动作视频对应的时序点组，所述时序点组包含若干判断时序点，相邻所述判断时序点之间的时间间隔为所述预设时间间隔；获取与所述判断时序点对应的图像帧组，所述图像帧组中包含若干所述图像帧；计算所述图像帧组中每张所述图像帧的模糊度，按照所述模糊度对所述图像帧组中的中的所述图像帧进行排序，获取所述模糊度最低的图像帧作为与所述判断...

【专利技术属性】
技术研发人员：张世联，王培栋，王洪伟，王俊，张锋知，
申请(专利权)人：江苏智慧工场技术研究院有限公司，
类型：发明
国别省市：