一种机械臂动作识别方法、系统、终端及存储介质技术方案

本发明专利技术提供一种机械臂动作识别方法、系统、终端及存储介质，包括：采集机械臂合法动作与非法动作视频，对视频进行灰度处理和降噪处理；通过二值化阈值处理判断机械臂动作是否静止；利用Conv3D进行模型训练，生成原级模型，并通过推理证明所述原级模型可用；利用OpenVINO套件对原始模型进行优化，并送入嵌入式设备中进行推理得到最优模型。本发明专利技术通过Conv3D模型训练，对取自在同一场景下机械臂不同动作的灰度视频进行卷积计算并使用全连接层来将不同动作进行分类，最终做出机械臂动作合法性判断。

【技术实现步骤摘要】
一种机械臂动作识别方法、系统、终端及存储介质
本专利技术属于动作识别或视频分类
，具体涉及一种机械臂动作识别方法、系统、终端及存储介质。
技术介绍
在当今世界的产业发展，越来越多的企业以及工厂离不开工业自动化。在自动化以及智能制造普遍应用的背景下，因自动化设备（如机械臂、机器人、自动化流水线等）大多处于无人监管状态，而且如果人去监督管理或者操作，危险系数很大。同时工厂机械臂在运行时难免会因程序逻辑不严密或者电压不足或过高而引发机械臂动作异常，造成一系列不必要的损失和浪费，甚至可能损坏机械臂；如果附近有人员通过或者驻留，还有可能造成严重的安全事故。针对这种情况，可以使用人工智能深度学习里的计算机视觉进行机械臂动作合法性的判断，这样在机械臂本身具有保护装置的情形下，再通过外置摄像头拍摄机械臂通过嵌入式网关视觉推理来处理进行机械臂合法动作的判断，嵌入式网关根据情形和需要将指令自动反馈给机械臂，对机械臂进行父级控制，严重时会执行紧急措施例如断电等，形成二次保障，进一步保证了机械臂的正常运行，避免更多不必要的损失和麻烦。同时减轻人力，保障从业人员安本文档来自技高网...

【技术保护点】
1.一种基于Conv3D的机械臂动作识别方法，其特征在于，包括：/n采集机械臂合法动作与非法动作视频，对视频进行灰度处理和降噪处理；/n通过二值化阈值处理判断机械臂动作是否静止；/n利用Conv3D进行模型训练，生成原级模型，并通过推理证明所述原级模型可用；/n利用OpenVINO套件对原始模型进行优化，并送入嵌入式设备中进行推理得到最优模型。/n

【技术特征摘要】
1.一种基于Conv3D的机械臂动作识别方法，其特征在于，包括：
采集机械臂合法动作与非法动作视频，对视频进行灰度处理和降噪处理；
通过二值化阈值处理判断机械臂动作是否静止；
利用Conv3D进行模型训练，生成原级模型，并通过推理证明所述原级模型可用；
利用OpenVINO套件对原始模型进行优化，并送入嵌入式设备中进行推理得到最优模型。


2.根据权利要求1所述的一种机械臂动作识别方法，其特征在于，所述对视频进行灰度处理和降噪处理，包括：
并将视频中的彩色图像转化为灰度图像；
通过高斯滤波算法将图像信息进行降噪处理。


3.根据权利要求1所述的一种机械臂动作识别方法，其特征在于，所述通过二值化阈值处理判断机械臂动作是否静止包括：
通过计算当前帧和上一帧的帧差对采集的视频进行二值化阈值处理；
将处理后的视频数据压缩一维向量且统计值为255的像素数量；
通过静止时间是否达到预设阈值来判断当前帧是否为静止动作。


4.根据权利要求1所述的一种机械臂动作识别方法，其特征在于，所述利用Conv3D进行模型训练，生成原级模型，包括：
在第一层Conv3D中在卷积核大小为4*4*4的情况下得到(None,10,224,224,8),共520个参数；
再加入一层MaxPooling3D进行池化，得到(None,3,74,74,8)，共0个参数；
再加入一层Conv3D，卷积核大小为3*3*3，输出为(None,3,74,74,16)，共3472个参数；
再加入MaxPooling3D进行池化得到(None,1,37,37,16)；
加入Flatten层将数据压缩为一维化，得到(None，21904)；
进行第一次全连接Dense得到(None,128)；
重复加入Dropout层进行全连接处理，输出(None，2)的原级模型。


5.根据权利要求1所述的一种机械臂动作识别方法，其特征在于，所述利用...

【专利技术属性】
技术研发人员：杨清波，冷建材，徐舫舟，郑力文，冯厚强，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：山东;37