一种基于目标检测的茶枝柑位姿检测方法技术

本发明专利技术公开了一种基于目标检测的茶枝柑位姿检测方法，包括以下步骤：S1、将摄像头安装在固定位置上采集茶枝柑各种摆放姿态的图像；S2、建立轻量级快速目标检测模型；S3、用迁移学习的方法对S2中的网络进行训练；S4、使用步骤S3中训练好的模型，基于摄像头采集的RGB视频流进行目标检测，实现对茶枝柑的本体及其果柄的目标检测；S5、对获取的茶枝柑本体及其果柄的预测框边界信息进行判定，检测茶枝柑位姿是否正确。本发明专利技术提出了一种基于目标检测的茶枝柑摆放位姿检测方法，解决开皮设备开皮前茶枝柑是否果柄朝上正放的位姿判定问题。柑是否果柄朝上正放的位姿判定问题。柑是否果柄朝上正放的位姿判定问题。

【技术实现步骤摘要】
一种基于目标检测的茶枝柑位姿检测方法


[0001]本专利技术涉及计算机视觉、深度学习领域，具体涉及一种基于目标检测的茶枝柑位姿检测方法。

技术介绍

[0002]茶枝柑为广东省江门市新会区特产，主要用于制作新会广陈皮，由于新会陈皮产业规模的增长，许多工厂开始建立自动化陈皮生产线。现市面上已经有了成熟的茶枝柑半自动开皮机，但是半自动开皮机对茶枝柑的摆放位姿有要求，必须果柄朝上正放，这就需要对茶枝柑的摆放位姿进行检测和校准，如专利(CN113753530A)公开的茶枝柑姿态调整装置包括运送系统、视觉定位系统和茶枝柑姿态调整系统；所述茶枝柑姿态调整系统包括定位驱动轮、驱动电机、定位装置支架、控制器、电机驱动器，定位装置支架固定安装在工作架上且位于视觉定位系统的正下方，一组四个定位驱动轮倾斜安装在定位装置支架的外表面，每个定位驱动轮都有对应的驱动电机。茶枝柑姿态调整装置调整到位的信号来自于图像检测结果，必须兼顾实时性和准确性。现有的物体6d位姿估计方法多采用RGB
‑
D相机获取三维信息进行姿态估计，能够精确计算物体当前所有的三维位姿信息，然而6d位姿估计方法对设备计算能力要求较高，鲁棒性和实时性表现不佳，且在茶枝柑位姿检测中并不需要完整的物体三维位姿信息，只需要判断茶枝柑是否果柄朝上正放即可。
[0003]因此需要寻找一种简单快速、准确的茶枝柑位姿检测方法来判断茶枝柑是否果柄朝上正放。

技术实现思路

[0004]为了克服现有物体6d位姿检测技术存在的实时性和鲁棒性不足的缺点，本专利技术提供一种基于单阶段目标检测的茶枝柑位姿检测方法，通过建立一种运行速度快的单阶段目标检测网络，利用其输出的茶枝柑本体和果柄的目标检测预测框信息对茶枝柑开皮前的位姿进行判别，实现了茶枝柑位姿的快速检测，保证了生产活动中的低成本和高实时性。
[0005]本专利技术的目的通过以下技术方案实现。
[0006]一种基于目标检测的茶枝柑位姿检测方法，包括以下步骤：
[0007]S1、设置摄像头位置，利用摄像头采集茶枝柑放置在调整装置上的RGB图片，并且在茶枝柑果柄朝上正放时能拍到果柄；
[0008]S2、建立两个数据集，其中第一数据集为用于目标检测训练的数据集；第二数据集为用于位姿检测的数据集；
[0009]S3、采用标注工具labelImg对两个数据集进行标注，其中只标注两类样本，分别为茶枝柑本体和茶枝柑果柄；
[0010]S4、建立单阶段目标检测模型并进行预训练，获得目标检测网络的权值；
[0011]S5、使用标注好的第一数据集在预训练完成的模型上继续训练，获得最终需要的目标检测网络；
[0012]S6、获取第二数据集中的茶枝柑本体和果柄的目标检测真实框数据，得到茶枝柑本体和果柄的真实框相对位置，确定茶枝柑果柄朝上正放时本体和果柄真实框的相对位置范围，并通过判别算法判断检测样本的相对位置是否落在相对位置范围内；
[0013]S7、用训练好的目标检测模型处理茶枝柑摆放位姿图像数据，获得目标检测结果，提取茶枝柑本体和果柄的预测框信息结合判别算法进行判别茶枝柑是否果柄朝上正放。
[0014]进一步地，所述调整装置是用于调整茶枝柑摆放位姿的机械装置，采用底部摩擦的方式让茶枝柑具有空间转动自由度，使茶枝柑能在固定点位上调整摆放位姿。
[0015]进一步地，所述摄像头位置位于茶枝柑固定支撑位置的侧面，正对茶枝柑拍摄。
[0016]进一步地，所述目标检测模型为使用基于CNN的主干网络模型实现端到端的目标检测，输出分类信息的同时也输出分类物体预测框的信息。
[0017]进一步地，第一数据集的采集方式为手动放置不同的茶枝柑样本随机置于不同位姿状态进行样本图片采集；第二数据集的采集方式为手动放置不同的茶枝柑样本并果柄朝上正放，其中所有样本的正放程度由人为判断，保证数据集中的所有样本都能满足开皮装置的位姿摆放要求。
[0018]进一步地，在步骤S4中，建立基于YOLOv5n的目标检测模型，以使用CSPDarknet53作为骨干网络，引入基于FPN的多尺度特征融合和基于Anchor
‑
Free的检测，以实现快速目标检测。
[0019]进一步地，采用迁移学习的方式对模型进行训练，使用大型通用物体检测数据集预训练目标检测模型。
[0020]进一步地，在步骤S6中，茶枝柑果柄朝上正放时本体和果柄真实框的相对位置范围通过以下步骤确定：
[0021]S61、设定茶枝柑本体真实框的左上角为坐标原点，横轴为真实框顶部边界，正方向为向右，纵轴为真实框左端边界，正方向为向下；
[0022]S62、设果柄真实框中心点坐标为(x0,y0)，即果柄真实框中心点到茶枝柑本体真实框到左端边界距离为x0,到上端边界距离为为y0,设茶枝柑本体真实框宽度为w,高度为h，则横轴方向上果柄真实框中心点到本体真实框左端边界相对位置定义为pos
x
＝x0/w,纵轴方向上果柄真实框中心点到本体真实框上端边界相对位置定义为pos
y
＝y0/h；
[0023]S63、统计第二数据集中所有样本的pos
x
和pos
y
，分别作为横纵坐标，绘制成散点图，根据拉依达准则除去偏离横坐标或纵坐标3倍标准差的异常点后，在散点图中取矩形区域作为可行相对位置范围，即m≤pos
x
≤n,j≤pos
y
≤k，其中m和n分别为矩形框的左右边界，j和k分别为矩形框的上下边界。
[0024]进一步地，在步骤S7中，目标检测结果为输入图像中包含茶枝柑本体或果柄的预测框信息，反映输入图像中目标预测框的位置。
[0025]进一步地，在步骤S7中，所述判别算法为直接判断检测样本的相对位置是否落在可行相对范围m≤pos
x
≤n,j≤pos
y
≤k内，是则判断茶枝柑果柄朝上正放，否则判断茶枝柑未果柄朝上正放。
[0026]本专利技术与现有技术相比，具有如下优点和有益效果：
[0027]本专利技术通过利用目标检测算法输出的预测框信息，可实现对茶枝柑的位姿的快速检测判别而无需计算茶枝柑完整的三维姿态信息，能满足工厂流水线上的实时性、低成本
要求，该方法是典型的端到端模型，整个位姿检测过程中无需额外的人工操作，大大提升了检测效率。
附图说明
[0028]图1为本专利技术实施例一种基于目标检测的茶枝柑位姿检测方法的流程图；
[0029]图2为本专利技术实施例一种基于目标检测的茶枝柑位姿检测方法的实施场景的示意图；
[0030]图3为本专利技术实施例获取目标检测真实框的示意图；
[0031]图中，1、调整装置；2、茶枝柑；3、摄像头；4、支架。
具体实施方式
[0032]本部分将详细描述本专利技术的具体实施例，本专利技术之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的茶枝柑位姿检测方法，其特征在于，包括以下步骤：S1、设置摄像头位置，利用摄像头采集茶枝柑放置在调整装置上的RGB图片，并且在茶枝柑果柄朝上正放时能拍到果柄；S2、建立两个数据集，其中第一数据集为用于目标检测训练的数据集；第二数据集为用于位姿检测的数据集；S3、采用标注工具labelImg对两个数据集进行标注，其中只标注两类样本，分别为茶枝柑本体和茶枝柑果柄；S4、建立单阶段目标检测模型并进行预训练，获得目标检测网络的权值；S5、使用标注好的第一数据集在预训练完成的模型上继续训练，获得最终需要的目标检测网络；S6、获取第二数据集中的茶枝柑本体和果柄的目标检测真实框数据，得到茶枝柑本体和果柄的真实框相对位置，确定茶枝柑果柄朝上正放时本体和果柄真实框的相对位置范围，并通过判别算法判断检测样本的相对位置是否落在相对位置范围内；S7、用训练好的目标检测模型处理茶枝柑摆放位姿图像数据，获得目标检测结果，提取茶枝柑本体和果柄的预测框信息结合判别算法进行判别茶枝柑是否果柄朝上正放。2.根据权利要求1所述的一种基于目标检测的茶枝柑位姿检测方法，其特征在于：所述调整装置是用于调整茶枝柑摆放位姿的机械装置，采用底部摩擦的方式让茶枝柑具有空间转动自由度，使茶枝柑能在固定点位上调整摆放位姿。3.根据权利要求1所述的一种基于目标检测的茶枝柑位姿检测方法，其特征在于：所述摄像头位置位于茶枝柑固定支撑位置的侧面，正对茶枝柑拍摄。4.根据权利要求1所述的一种基于目标检测的茶枝柑位姿检测方法，其特征在于：所述目标检测模型为使用基于CNN的主干网络模型实现端到端的目标检测，输出分类信息的同时也输出分类物体预测框的信息。5.根据权利要求1所述的一种基于目标检测的茶枝柑位姿检测方法，其特征在于：第一数据集的采集方式为手动放置不同的茶枝柑样本随机置于不同位姿状态进行样本图片采集；第二数据集的采集方式为手动放置不同的茶枝柑样本并果柄朝上正放，其中所有样本的正放程度由人为判断，保证数据集中的所有样本都能满足开皮装置的位姿摆放要求。6.根据权利要求1所述的一种基于目标检测的茶枝柑位姿检测方法，其特征在于：在步骤S4中，建立基于YOLOv5n的目标检测模型，以使用CS...

【专利技术属性】
技术研发人员：魏武，邹扬忠，柳雄顶，李雨妮，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：