【技术实现步骤摘要】
本申请涉及基于深度学习的计算机视觉，具体而言，涉及一种果实姿态识别方法、装置、电子设备及存储介质。
技术介绍
1、果园实际作业环境较为复杂，呈现非结构化和不确定性，采集到的水果图像中果实姿态多变，主要包括自然光照不均匀、枝叶遮挡、果实重叠等影响，严重制约着目标果实的识别效率和精度，因此实现复杂环境下水果的精准识别与定位成为视觉系统研究的关键所在。
2、目前大多利用手工制作颜色、纹理以及形状等特征识别了各特定场景下水果，但是传统图像处理方法在复杂自然环境中的性能仍然受到限制，人工设计的特征难以应对多种场景混杂的情况。近年来深度卷积神经网络广泛应用于目标检测领域，在复杂环境下的水果目标识别方面已经有了很多研究。
3、由于果园环境复杂，且叶、枝及果实有时只会遮挡目标果实较少部分，果实生长形态间的差异较小，原始图像归一化尺寸后目标果实被遮挡部分就会更小，由于卷积神经网络的浅层特征具有更多的局部信息，经多次卷积操作后易造成深层特征图丢失果实遮挡部分的关键信息，从而造成果实生长形态误识别。
4、同时，自然环境下果实重叠的生长形态较多，检测网络在对重叠果实进行识别时容易出现将重叠程度较大的两个水果识别为一个的情况，从而造成被遮挡果实的漏检。而且目前水果识别算法大部分都将未遮挡、枝叶遮挡及果实遮挡等不同生长形态下的水果识别为一类，当水果采摘机器人采摘果实时，就无法获得水果生长形态的具体分类信息，不能对枝、果实遮挡等果实采取特定的采摘方式，从而可能导致机械臂及末端执行器因碰到树枝而造成损伤。且只能得到水果的中心
5、以苹果果实为例，在相关技术中，比如赵德安等(赵德安，吴任迪，刘晓洋，等.基于yolo深度卷积神经网络的复杂背景下机器人采摘苹果定位[j].农业工程学报，2019，35(3)：164-173.)将yolov3深度卷积神经网络应用于全天候复杂环境下苹果的识别，识别准确率为97％，平均每幅图像识别时间为16.69ms。
6、再比如，武星等(武星，齐泽宇，王龙军，等.基于轻量化yolov3卷积神经网络的苹果检测方法[j].农业机械学报，2020，51(8)：17-25.)将轻量化卷积神经网络light-yolov3模型应用在嵌入式开发板上，识别精度为94.69％，识别速度为7.59帧/s，能够同时满足识别速度和准确率的要求。
7、再比如，jia等(jia w,tian y,luo r,et al.detection and segmentation ofoverlapped fruits based on optimized mask r-cnn application in appleharvesting robot[j].computers and electronics in agriculture,2020,172:105380)将残差网络与密集连接卷积网络相结合用作改进mask r-cnn的主干网络，识别准确率达到97.31％。
8、再比如，杨福增等(杨福增，雷小燕，刘志杰，等.基于centernet的密集场景下多苹果目标快速识别方法[j].农业机械学报，2022，53(2)：265-273.)利用centernet的无锚框识别算法解决远距离密集场景下图像中苹果尺寸小、遮挡更为突出等问题，识别准确率为93.63％，平均每幅图像识别时间为69ms。
9、另外，对于复杂果园环境下的苹果识别算法，大部分都将未遮挡、枝叶遮挡及果实遮挡等不同生长形态下的苹果识别为一类，当苹果采摘机器人采摘果实时，就无法获得苹果生长形态的具体分类信息，不能对枝、果实遮挡等果实采取特定的采摘方式，从而可能导致机械臂及末端执行器因碰到树枝而造成损伤。
10、针对这一问题，在相关技术中，比如lv等(lv j,xu h,han y,et al.a visualidentification method for the apple growth forms in the orchard[j].computersand electronics in agriculture,2022,197:106954.)将yolov5应用于多个苹果组成的生长形态整体分类识别，平均识别准确率为98.45％，识别速度为71帧/s，但该算法未对单一苹果生长状态进行识别。
11、在相关技术中，再比如gao等(gao f,fu l,zhang x,et al.multi-class fruit-on-plant detection for apple in snap system using faster r-cnn[j].computersand electronics in agriculture,2020,176:105634.)利用faster r-cnn实现密叶果树多类苹果识别，4类图像的平均识别精度为87.9％，平均识别速度为241ms。
12、再比如，yan等(yan b,fan p,lei x,et al.a real-time apple targetsdetection method for picking robot based on improved yolov5[j].remote sensing(basel,switzerland),2021,13(9):1619.)基于改进yolov5s将苹果分为可抓性和不可抓性两类，平均识别准确率为86.75％，平均每幅图像识别时间为15ms，但存在枝遮挡苹果被漏采的问题。
13、再比如，闫彬等(闫彬，樊攀，王美茸，等.基于改进yolov5m的采摘机器人苹果采摘方式实时识别[j].农业机械学报，2022，53(9)：28-38，59.)将改进yolov5m应用于不同枝干遮挡情形下的苹果识别，识别准确率为81％，平均每幅图像识别时间为25ms，为实现枝干遮挡下的苹果采摘提供了可能。虽然这类算法可以实现苹果生长形态分类识别，但只能得到苹果的中心位置，不能准确识别出苹果的姿态，无法使末端执行器以合适的方式采摘果实。
14、对于苹果姿态的识别，在相关技术中已经有了一定的研究，比如王丹丹等(王丹丹，徐越，宋怀波，等.基于平滑轮廓对称轴法的苹果目标采摘点定位方法[j].农业工程学报，2015(5)：167-174.)通过转动惯量特性获取未遮挡苹果的对称轴，平均角度误差为4.542°，识别时间为7.5ms。
15、再比如，niu等(niu l,zhou w,wang d,et al.extracting the symmetry axesof partially occluded single apples in natural scene using convex hull theoryand shape context algorithm[j].multimedia tools and applications,2017,76(12)本文档来自技高网...
【技术保护点】
1.一种果实姿态识别方法，包括：
2.根据权利要求1所述的果实姿态识别方法，其特征在于：
3.根据权利要求1所述的果实姿态识别方法，其特征在于：
4.根据权利要求3所述的果实姿态识别方法，其特征在于：
5.根据权利要求4所述的果实姿态识别方法，其特征在于：
6.根据权利要求1至5任意一项所述的果实姿态识别方法，其特征在于：
7.根据权利要求1所述的果实姿态识别方法，其特征在于：
8.一种基于深度学习的果实姿态识别装置，包括：
9.一种电子设备，包括：
10.一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法。
【技术特征摘要】
1.一种果实姿态识别方法，包括：
2.根据权利要求1所述的果实姿态识别方法，其特征在于：
3.根据权利要求1所述的果实姿态识别方法，其特征在于：
4.根据权利要求3所述的果实姿态识别方法，其特征在于：
5.根据权利要求4所述的果实姿态识别方法，其特征在于：
6.根据权利要求1至5...
【专利技术属性】
技术研发人员：陈青，殷程凯，赵志鹏，王金鹏，郭自良，胡皓若，周宏平，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。