远距离多工位物体检测方法、系统及存储介质技术方案

本发明专利技术公开了远距离多工位物体检测方法、系统及存储介质，方法包括以下步骤：通过Jetson‑Nano发出图像获取请求指令；通过POE交换机将图像获取请求指令发送至POE摄像头；根据图像获取请求指令，通过POE摄像头实时获取图像，并将获取到的图像发送至Jetson‑Nano；通过Jetson‑Nano对图像进行检测，根据检测结果生成控制指令；Jetson‑Nano通过外部IO接口将控制指令发送到外部报警设备，完成物体检测周期。本发明专利技术的设备部署成本低，降低了现场电路布线的复杂度，适用于复杂环境检测，可广泛应用于包装产线技术领域。

Method, system and storage medium of remote multi station object detection

【技术实现步骤摘要】
远距离多工位物体检测方法、系统及存储介质
本专利技术涉及包装产线
，尤其是远距离多工位物体检测方法、系统及存储介质。
技术介绍
名词解释：Jetson-Nano:嵌入式AI设备，采用四核64位ARMCPU和128核集成NVIDIAGPU，可提供472GFLOPS的计算性能。主要为各种复杂的深度神经网络模型提供实时计算机视觉推理，具有集成度高，能耗低等特点。POE交换机：与普通交换机的区别是，可以通过网线为具有POE功能的设备进行供电。POE监控摄像头：与普通监控摄像头不同的是它是通过网线进行供电，而且数据传输距离最多达到250m。在包装产线上，流水线工人需要将不同的零部件放进指定的包装盒子里面，然后送到最终的打包设备进行打包。而在这个过程中，很容易出现漏放、多放或者错放的情况。这时候就需要检测包装盒子里面的零部件在种类和数量上是否正确，根据检测的结果反馈到执行机构去做相应的处理。目前最流行的两种方案如下：方案一：一台工控机配合多个工业相机部署到每个工位上，然后利用普通的图像处理方法去检测，把检测结果返回到工控机，然后通过工控机把结果反馈到执行机构。方案二：每一个工位部署一个智能相机，所谓智能相机就是相机里面本身已经集成了基本的IO口和系统，可以说是一个小型的工控机与相机的组合设备。同样的，智能相机通过普通的图像处理方法把检测结果直接反馈到执行机构。上述这两种方法有以下几点缺点：(1)对于方案一来说，工控机的体积很大，占用的地方较大，不利于在流水线上进行安装部署。此外，普通的工业相机它的最大数据传输距离只有五米，超过五米会出现数据丢失情况，这限制了相机的与工控机的部署距离，在多工位的流水线上往往需要每隔五米就需要多加一台工控机，导致了成本的大大增加。最后是每一个普通的工业相机需要外接电源，这就需要在每一个工位上提供一个电源给相机用，无疑增加了线路的部署成本和复杂程度。(2)对于方案二来说，虽然智能相机集成度很高，但是价格比较昂贵，比普通的工业相机贵四倍以上，如果在多工位的流水线上部署的话会大大增加了成本。此外，每一台智能相机都需要外接电源，进一步加大了设备成本。(3)无论是方案一还是方案二，从图像处理检测方法上来看都是运用一般的图像处理算法，这类算法有一个很大的不足就是对光照要求比较高，当光照发生一点改变往往导致检测的结果不同。此外，目前的图像处理检测方法不适用于光照复杂度较高的场景。
技术实现思路
有鉴于此，本专利技术实施例提供一种成本低且适用范围广的，远距离多工位物体检测方法、系统及存储介质。第一方面，本专利技术实施例提供了一种远距离多工位物体检测方法，包括以下步骤：通过Jetson-Nano发出图像获取请求指令；通过POE交换机将图像获取请求指令发送至POE摄像头；根据图像获取请求指令，通过POE摄像头实时获取图像，并将获取到的图像发送至Jetson-Nano；通过Jetson-Nano对图像进行检测，根据检测结果生成控制指令；Jetson-Nano通过外部IO接口将控制指令发送到外部报警设备，完成物体检测周期。进一步，还包括构建检测模型的步骤。进一步，所述构建检测模型的步骤包括以下步骤：采集样本图像；标记每张样本图像的物体类型，根据物体类型对应的图像坐标以及图像类别生成标记文件；将样本图像和标记文件输入R-FCN目标检测网络中进行训练，输出权重模型文件，得到检测模型；其中，R-FCN目标检测网络中的特征提取网络采用ResNet-50网络。进一步，所述将样本图像和标记文件输入R-FCN目标检测网络中进行训练，输出权重模型文件，得到检测模型这一步骤，包括以下步骤：将样本图像作为输入单元输入到特征提取网络ResNet-50中进行特征提取，获得一系列特征图；通过损失函数来计算每个样本图像的损失值；确定所有样本图像的损失值总和大于预设阈值后，通过梯度下降法对权值进行更新，并返回执行将样本图像作为输入单元输入到特征提取网络ResNet-50中进行特征提取，获得一系列特征图的步骤，直至所有样本图像的损失值总和小于或者等于预设阈值。进一步，所述通过Jetson-Nano对图像进行检测，根据检测结果生成控制指令这一步骤，包括以下步骤：载入检测模型，提取检测模型中的权重信息，并初始化ResNet-50网络；将获取到的图像输入ResNet-50网络进行预测，得到检测结果。进一步，所述将获取到的图像输入ResNet-50网络进行预测，得到检测结果这一步骤，包括以下步骤：通过拉普拉斯滤波算法对获取到的图像进行预处理；将预处理后的图像作为输入变量，计算输入变量的预测值。第二方面，本专利技术实施例还提供了一种远距离多工位物体检测系统，包括：请求模块，用于通过Jetson-Nano发出图像获取请求指令；通讯模块，用于通过POE交换机将图像获取请求指令发送至POE摄像头；获取模块，用于根据图像获取请求指令，通过POE摄像头实时获取图像，并将获取到的图像发送至Jetson-Nano；检测模块，用于通过Jetson-Nano对图像进行检测，根据检测结果生成控制指令；报警模块，用于Jetson-Nano通过外部IO接口将控制指令发送到外部报警设备，完成物体检测周期。进一步，还包括训练模块；所述训练模块具体包括：采集单元，用于采集样本图像；标记单元，用于标记每张样本图像的物体类型，根据物体类型对应的图像坐标以及图像类别生成标记文件；训练单元，用于将样本图像和标记文件输入R-FCN目标检测网络中进行训练，输出权重模型文件，得到检测模型；其中，R-FCN目标检测网络中的特征提取网络采用ResNet-50网络。第三方面，本专利技术实施例还提供了一种远距离多工位物体检测系统，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的远距离多工位物体检测方法。第四方面，本专利技术实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的远距离多工位物体检测方法。上述本专利技术实施例中的一个或多个技术方案具有如下优点：本专利技术基于Jetson-Nano来实现远距离的多工位物体检测，本专利技术首先通过Jetson-Nano发出图像获取请求指令；接着通过POE交换机将图像获取请求指令发送至POE摄像头；然后根据图像获取请求指令，通过POE摄像头实时获取图像，并将获取到的图像发送至Jetson-Nano；并通过Jetson-Nano对图像进行检测，根据检测结果生成控制指令；最后Jetson-Nano通过外部IO接口将控制指令发送到外部报警设备，完成物体检测周期；本专利技术的设备部署成本低，仅需Jetson-N本文档来自技高网...

【技术保护点】
1.远距离多工位物体检测方法，其特征在于：包括以下步骤：/n通过Jetson-Nano发出图像获取请求指令；/n通过POE交换机将图像获取请求指令发送至POE摄像头；/n根据图像获取请求指令，通过POE摄像头实时获取图像，并将获取到的图像发送至Jetson-Nano；/n通过Jetson-Nano对图像进行检测，根据检测结果生成控制指令；/nJetson-Nano通过外部IO接口将控制指令发送到外部报警设备，完成物体检测周期。/n

【技术特征摘要】
1.远距离多工位物体检测方法，其特征在于：包括以下步骤：
通过Jetson-Nano发出图像获取请求指令；
通过POE交换机将图像获取请求指令发送至POE摄像头；
根据图像获取请求指令，通过POE摄像头实时获取图像，并将获取到的图像发送至Jetson-Nano；
通过Jetson-Nano对图像进行检测，根据检测结果生成控制指令；
Jetson-Nano通过外部IO接口将控制指令发送到外部报警设备，完成物体检测周期。


2.根据权利要求1所述的远距离多工位物体检测方法，其特征在于：还包括构建检测模型的步骤。


3.根据权利要求2所述的远距离多工位物体检测方法，其特征在于：所述构建检测模型的步骤包括以下步骤：
采集样本图像；
标记每张样本图像的物体类型，根据物体类型对应的图像坐标以及图像类别生成标记文件；
将样本图像和标记文件输入R-FCN目标检测网络中进行训练，输出权重模型文件，得到检测模型；其中，R-FCN目标检测网络中的特征提取网络采用ResNet-50网络。


4.根据权利要求3所述的远距离多工位物体检测方法，其特征在于：所述将样本图像和标记文件输入R-FCN目标检测网络中进行训练，输出权重模型文件，得到检测模型这一步骤，包括以下步骤：
将样本图像作为输入单元输入到特征提取网络ResNet-50中进行特征提取，获得一系列特征图；
通过损失函数来计算每个样本图像的损失值；
确定所有样本图像的损失值总和大于预设阈值后，通过梯度下降法对权值进行更新，并返回执行将样本图像作为输入单元输入到特征提取网络ResNet-50中进行特征提取，获得一系列特征图的步骤，直至所有样本图像的损失值总和小于或者等于预设阈值。


5.根据权利要求4所述的远距离多工位物体检测方法，其特征在于：所述通过Jetson-Nano对图像进行检测，根据检测结果生成控制指令这一步骤，包括以下步骤：
载入检测模型，提取检测模型中的权重信息，并初始化ResNet-50网络；...

【专利技术属性】
技术研发人员：关日钊，肖盼，林健发，陈宣瑾，黄冠成，
申请(专利权)人：佛山缔乐视觉科技有限公司，
类型：发明
国别省市：广东;44