【技术实现步骤摘要】
本专利技术涉及康复训练，尤其涉及一种具有图像识别与深度学习能力的自主可控plc控制方法。
技术介绍
1、可编程逻辑控制器是一种具有微处理器的用于自动化控制的数字运算控制器，可以将控制指令随时载入内存进行储存与执行，广泛应用于钢铁、石油、化工等领域，图像识别通常涉及对图像或视频数据进行处理和分析，以识别和理解其中的特定对象、形状、颜色等。目标检测作为一种图像识别领域的方法，能够找出图像中所有感兴趣的目标，确定它们的类别和位置。
2、plc作为一种可用于自动化控制的数字运算控制器，本身不具备图像识别和深度学习能力，但随着工业自动化的发展，越来越多的工农业领域迫切需要plc系统具有实时的自动化产品识别和智能分拣能力，因此，如何使plc系统具备图像识别与深度学习能力，以解决诸如果实识别、采摘与分拣等问题，成为新兴的研究热点，同时，传统的目标检测方法的网络参数过多，这会导致算法产生较大的时延与计算资源，不利于现实场景的应用，且传统的方法不能考虑图像中不同维度目标的异同，对其采用统一的识别方法，会导致识别准确性不够高。
3、所以，需要设计一种具有图像识别与深度学习能力的自主可控plc控制方法来解决上述问题。
技术实现思路
1、本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种具有图像识别与深度学习能力的自主可控plc控制方法。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种具有图像识别与深度学习能力的自主可控plc控制方
4、步骤1：制作目标检测数据集，收集与农业采摘相关的图像，确保数据集涵盖各种场景和光照条件，使用专业工具对图像进行标注，包括目标的边界框和类别信息，通过旋转、翻转、缩放等数据增强技术，扩充数据集，提高模型的泛化能力；
5、步骤2：改进并训练实现了深度可分离卷积和归一化空间加权融合的yolov4目标检测网络，将其嵌入到plc的目标检测模块中；
6、步骤3：在自主可控的plc控制系统内，部署图像采集模块、目标检测模块和控制采摘模块，并且在大型plc的可信cpu模块中设计以上三个模块的外部接口，实现各个模块的嵌；
7、步骤4：plc图像采集模块使用两台摄像机拍摄图像，确保摄像机能够提供足够的视野和深度信息，并将拍摄完成的图像传入plc；
8、步骤5：图像采集模块拍摄的图片输入到plc目标检测模块实现目标定位与分类，保证在实时系统中对目标检测的实时性要求，确保采摘操作能够快速而准确地响应检测结果；
9、步骤6：plc控制采摘模块根据图像采集模块采集的图像、以及目标检测模块预测的结果，plc指导机械臂进行目标采摘和分拣，使用三维定位法来精确地定位目标位置，确保机械臂能够准确抓取目标，通过plc控制机械臂的动作，包括抓取、移动和释放，确保采摘和分拣的效率和精度。
10、作为本专利技术的一种优选技术方案，所述步骤1包括以下步骤：
11、步骤1.1：数据采集：通过拍摄不同角度、颜色、大小、光照、成熟程度、果实遮挡程度等的图片，模拟实际采摘场景的多样性，确保数据集的全面性和多样性。
12、步骤1.2：标注过程：使用目标检测标注软件，例如labelimg，对采集的图片进行手动标注。标注过程中，为每个目标(果实)绘制矩形框，同时为每个矩形框添加类别标签，分为三类：
13、primary：果实饱满、着色度好、无外表缺陷。
14、worst：果实较不饱满、着色度较差、有轻微外表缺陷。
15、immaturity：果实未成熟。
16、步骤1.3：数据集划分：将标注完成的数据集按照7:2:1的比例划分为训练集、验证集和测试集，以确保模型在不同数据集上的泛化性能。这样的比例分配通常是为了保证足够的训练数据，有效验证模型的性能，并在最后的测试集上评估模型的泛化能力。
17、作为本专利技术的一种优选技术方案，所述步骤2包括以下步骤：
18、步骤2.1：先由输入端对步骤1中制作的目标检测数据集进行mosaic数据增强操作；
19、步骤2.2：主干网络(backbone)对图像进行特征提取，主干网络的基本结构使用resnet-50网络，改进为由分别包含1、2、8、8、4个残差块的5个cspx模块堆叠而成，其中，每个cspx又由cpbm模块构成，cpbm模块则是由深度卷积、点卷积、bn层、mish激活层组成，使用深度可分离卷积减少模型参数和网络计算量，在主干网络中，每经过一个cspx模块，特征图就提取为原来特征图像大小的1/2，经过主干网络提取完毕的特征图是原特征图大小的1/32；
20、步骤2.3：颈部网络(neck)获得不同尺度的特征，将上述特征图经过cpbl模块和spp模块上采样，并将主干网络中未经过csp4模块的特征图经过cpbl模块处理，处理完毕后将两者进行拼接，将拼接完成的特征图经过6个cpbl模块与上采样，并将主干网络中未经过最后两步csp8和csp4模块的特征图进行cpbl模块的处理，再将两者进行拼接，经过cpbl模块得到可预测较小目标的特征图layer1，将特征图经过cpbl模块，与前面未经过上采样的模块中的特征图进行拼接，再经过5个cpbl模块，得到能预测稍大目标的特征图layer2，特征图大小为layer1的1/2，同理，可得可预测较大目标的特征layer3，特征图大小为layer1的1/4，layer2的1/2，再将三个尺度的特征图通过归一化加权融合的方法，分别通过深度可分离卷积、上采样和下采样的方法统一到相同尺度，再进行融合，分别得到三个尺度的融合特征图，这样能够整合不同空间的特征信息，提高不同尺度果实预测的准确性，其中，cpbl模块是由深度卷积、点卷积、bn层、leakyrelu激活层组成，使用深度可分离卷积可以减少模型参数和网络计算量；
21、步骤2.4：预测输出网络(prediction)实现目标框和成熟与否分类的预测，将三个尺度的特征图分别经过cpbl模块和深度可分离卷积层得到yolo_head1、yolo_head2、yolo_head3三个预测头，维度大小分别为76×76×24、38×38×24、19×19×24，从小到大实现不同尺度大小的预测输出，改进了图像中可能由于果实目标过小而存在的准确度低下的问题，其中，维度为24是由于特征图上每个特征点预测3个先验框，而每个先验框需要3个类别预测，1个置信度预测和4个位置预测，因此需要的维度为(3+1+4)×3＝24维，其中，cpbl模块是由深度卷积、点卷积、bn层、leakyrelu激活层组成；
22、步骤2.5：进行损失函数优化，对于目标检测的损失：
23、lciou＝1-ciou
24、其中，
25、
26、
27、
28、其中，d为预测框与真实框中心点的距离，c为预测框与真实框最小外接矩形的本文档来自技高网...
【技术保护点】
1.一种具有图像识别与深度学习能力的自主可控PLC控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种具有图像识别与深度学习能力的自主可控PLC控制方法，其特征在于，所述步骤1包括以下步骤：
3.根据权利要求1所述的一种具有图像识别与深度学习能力的自主可控PLC控制方法，其特征在于，所述步骤2包括以下步骤：
4.根据权利要求1所述的一种具有图像识别与深度学习能力的自主可控PLC控制方法，其特征在于，PLC目标检测模块将步骤4中拍摄的已经过接口传入PLC的图像的维度调整为608×608×3，利用PLC内目标检测模块进行预测，将算法输出的三个不同尺度(76×76×24、38×38×24、19×19×24)的预测特征图得到的预测结果经过SoftNMS，过滤掉多余的预测框，输出该图像中果实的预测框标定，以及框内物品的类别，即primary、worst或immaturity，进行果实品质的分类。
5.根据权利要求1所述的一种具有图像识别与深度学习能力的自主可控PLC控制方法，其特征在于，所述步骤6包括以下步骤：
【技术特征摘要】
1.一种具有图像识别与深度学习能力的自主可控plc控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种具有图像识别与深度学习能力的自主可控plc控制方法，其特征在于，所述步骤1包括以下步骤：
3.根据权利要求1所述的一种具有图像识别与深度学习能力的自主可控plc控制方法，其特征在于，所述步骤2包括以下步骤：
4.根据权利要求1所述的一种具有图像识别与深度学习能力的自主可控plc控制方法，其特征在于，plc目标检测模块将步骤4中拍摄的已...
【专利技术属性】
技术研发人员：张博，焦志鹏，
申请(专利权)人：傲拓科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。