工业自动化扫描监控方法、系统、终端设备和存储介质技术方案

本发明专利技术提供一种工业自动化扫描监控方法、系统、终端设备和存储介质，方法包括：采用深度相机获取监控画面，在监控画面中将待检测区域运行的范围进行划定得到检测区域；提取背景深度图；将当前帧的深度图与所述背景深度图做差分获取差分深度图；对所述差分深度图进行进二值化，得到二值化图像；对所述二值化图像进行形态学处理；提取被测物的外接轮廓；计算被测物的轮廓与检测区域的交集并计算交集对应的像素面积；如果像素面积大于面积阈值则确定被测物进入所述检测区域，如果像素面积小于面积阈值则确定检测区域无被测物。减少了环境干扰，简化了算法实现，占用内存小，提高了系统的可集成性；减少了硬件数量，降低了硬件成本，提高安全性。高安全性。高安全性。

【技术实现步骤摘要】
工业自动化扫描监控方法、系统、终端设备和存储介质


[0001]本专利技术涉及工业自动化扫描监控
，尤其涉及一种工业自动化扫描监控方法、系统、终端设备和存储介质。

技术介绍

[0002]随着经济和科学技术的发展，在工业领域中越来越多的场景使用自动化技术。在使用自动化技术的同时，人们对于工业自动化过程中人员和财产的安全也越来越重视。由于工业自动化扫描过程中使用了工业机械臂，机械臂自动运行速度快又没有自动防碰撞功能，一旦发生意外后果不堪设想，所以研究工业自动化扫描工作区域的安全监控以及与系统的集成变得非常有意义。
[0003]要实现工业自动化扫描区域的安全监控系统，可以采用物理和虚拟的方法实现。物理的方法是通过电子围栏设置物理障碍实现区域监控与报警。虚拟的方法是利用相机拍摄视频监控自动化运行的区域，然后利用图像处理算法判断是否有人或其他被测物进入。利用的图像处理算法主要有基于传统的图像处理算法和基于深度学习的图像处理算法。基于传统的图像处理方法主要是背景差法提取前景，然后利用帧差来判断是否进入区域；基于深度学习的方法来进行检测，有的是直接检测人，有的是检测人体关键点如脚踝关键点等。基本流程都是通过收集数据集训练相应的神经网络模型，然后将对应的模型部署到客户端。
[0004]使用电子围栏的方法会将整个工作区域围起来，起到了防止人员进入的作用，但是对于自动化扫描过程中的零件替换等工作不方便。电子围栏一般由电子围栏主机、前端配件、后端控制系统组成，在与工业自动化扫描系统进行集成时导致软硬件系统过多，提高了集成部署的复杂度。
[0005]基于视频监控的方法目前使用的相机主要是基于亮度的普通相机或者温度的红外相机，此类相机容易受到光照、温度的影响。而为了克服光照、温度的影响，算法复杂度又会增加。基于传统图像处理算法的算法需要不断的更新背景，更新需要时间而机械臂自动运行速度较快，如果背景更新过慢则容易造成人员与财产的损害。基于深度学习的图像处理方法在训练深度学习模型需要大量的数据才能训练出符合检测精度的深度学习模型，但在实际应用中很难拥有大量的实际数据。由于在工业环境中会有各种各样的环境，每当工作环境改变时都需要重新训练调优深度学习模型，因此导致鲁棒性较差，时间成本较高。
[0006]上述方法都需要自己独立的主机，而自动扫描系统及设备也需要独立的主机，这样造成了硬件资源的浪费。另一方面上述方法主要是进行防御和报警，在自动化扫描设备运行期间如果有人进入，工业机械臂还会继续运行导致人员和财产的损失。
[0007]以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。

技术实现思路

[0008]本专利技术为了解决现有的问题，提供一种工业自动化扫描监控方法、系统、终端设备和存储介质。
[0009]为了解决上述问题，本专利技术采用的技术方案如下所述：
[0010]一种工业自动化扫描监控方法，包括如下步骤：S1：采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；S2：提取背景深度图；S3：将当前帧的深度图与所述背景深度图做差分获取差分深度图；S4：对所述差分深度图进行进二值化，得到二值化图像；S5：对所述二值化图像进行形态学处理；S6：提取被测物的外接轮廓；S7：计算所述被测物的轮廓与所述检测区域的交集并计算所述交集对应的像素面积；如果所述像素面积大于面积阈值则确定所述被测物进入所述检测区域，如果所述像素面积小于面积阈值则确定所述检测区域无所述被测物。
[0011]优选地，还包括：S8：根据是否有所述被测物进入所述检测区域控制机械臂自动扫描过程的暂停和恢复。
[0012]优选地，通过发出信号控制所述机械臂自动扫描过程的暂停和恢复。
[0013]优选地，发出的信号包括暂停信号和取消暂停信号；根据如下规则发出信号：每一帧所述深度图检测到所述检测区域有所述被测物则返回1，否则返回0；统计当前连续多帧所述深度图检测结果的和，并与之前相同帧数的所述深度图检测结果的和比较，如果相同则不发送信号；如果不同且当前和为所述帧数相同则发送暂停信号；如果不同且当前和为0则发送取消暂停信号；其余情况不发送信号。
[0014]优选地，对所述差分深度图进行进二值化的阈值通过以下公式确定：
[0015]threshold＝Diff_img
max
*coeff
[0016]其中，Diff_img
max
为差分深度图最大值，coeff为比例系数。
[0017]优选地，采用如下公式对所述二值化图像进行形态学处理：
[0018]Open_image＝dilate(erode(Diff_image,element))
[0019]Close_image＝erode(dilate(Open_image,element))
[0020]其中，在形态学处理中膨胀dilate是求局部最大值的操作，腐蚀erode是求局部最小值的操作，Open_image为形态学开操作；Close_image为形态学闭操作，element为使用的模板尺寸，Throd_image为二值化后的差分深度图。
[0021]优选地，通过如下公式计算所述被测物的轮廓Obj_Area与检测区域Orgin_Area的交集Judge_Area：
[0022]Judge_Area＝Obj_Area∩Orgin_Area
[0023]所述面积阈值为根据所述深度相机的分辨率设置的固定值。
[0024]本专利技术还提供一种工业自动化扫描监控系统，包括：第一单元：用于采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；第二单元：用于提取背景深度图；第三单元：用于将当前帧的深度图与所述背景深度图做差分获取差分深度图；第四单元：用于用于对所述差分深度图进行进二值化，得到二值化图像；第五单元：对所述二值化图像进行形态学处理；第六单元：用于提取被测物的外接轮廓；第七单元：用于计算所述被测物的轮廓与所述检测区域的交集并计算所述交集对应的像素面积；如果所述像素面积大于面积阈值则确定所述被测物进入所述检测区域，如果所述像素面积小于面积
阈值则确定所述检测区域无所述被测物。
[0025]本专利技术又提供一种工业自动化扫描监控终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述方法的步骤。
[0026]本专利技术再提高一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
[0027]本专利技术的有益效果为：提供一种工业自动化扫描监控方法、系统、终端设备和存储介质，通过深度相机的深度信息进行监控，减少了环境干扰，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业自动化扫描监控方法，其特征在于，包括如下步骤：S1：采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；S2：提取背景深度图；S3：将当前帧的深度图与所述背景深度图做差分获取差分深度图；S4：对所述差分深度图进行进二值化，得到二值化图像；S5：对所述二值化图像进行形态学处理；S6：提取被测物的外接轮廓；S7：计算所述被测物的轮廓与所述检测区域的交集并计算所述交集对应的像素面积；如果所述像素面积大于面积阈值则确定所述被测物进入所述检测区域，如果所述像素面积小于面积阈值则确定所述检测区域无所述被测物。2.如权利要求1所述的工业自动化扫描监控方法，其特征在于，还包括：S8：根据是否有所述被测物进入所述检测区域控制机械臂自动扫描过程的暂停和恢复。3.如权利要求2所述的工业自动化扫描监控方法，其特征在于，通过发出信号控制所述机械臂自动扫描过程的暂停和恢复。4.如权利要求3所述的工业自动化扫描监控方法，其特征在于，发出的信号包括暂停信号和取消暂停信号；根据如下规则发出信号：每一帧所述深度图检测到所述检测区域有所述被测物则返回1，否则返回0；统计当前连续多帧所述深度图检测结果的和，并与之前相同帧数的所述深度图检测结果的和比较，如果相同则不发送信号；如果不同且当前和为所述帧数相同则发送暂停信号；如果不同且当前和为0则发送取消暂停信号；其余情况不发送信号。5.如权利要求1所述的工业自动化扫描监控方法，其特征在于，对所述差分深度图进行进二值化的阈值通过以下公式确定：threshold＝Diff_img
max
*coeff其中，Diff_img
max
为差分深度图最大值，coeff为比例系数。6.如权利要求5所述的工业自动化扫描监控方法，其特征在于，采用如下公式对所述二值化图像进行形态学处理：Open_image＝dilate(...

【专利技术属性】
技术研发人员：任茂栋，王晓鹏，乔根，赵建博，
申请(专利权)人：新拓三维技术深圳有限公司，
类型：发明
国别省市：