一种基于神经网络和模糊决策的果树剪枝方法及系统技术方案

本发明专利技术涉及果树剪枝技术领域，尤其涉及一种基于神经网络和模糊决策的果树剪枝方法及系统，包括：通过AR眼镜采集果树枝干图像；对果树枝干图像进行对暗光增强和曝光纠正；采用ShuffleNetV2的基本单元及网络结构，卷积层部分融入ResNet101的层级分割，对图像进行枝干分割，输出影响果树剪枝决策的特征；将果树剪枝决策的特征输入TSK模糊神经网络，输出枝条的类别。本发明专利技术克服了艰难的地形带来的影响，保证在地势险要的地方仍然能够正常作业，灵活完成AR智能识别剪枝点；还克服了一般深度学习神经网络模型需要大量训练集、计算量大、对计算机硬件要求高，识别精度不够高缺点。识别精度不够高缺点。识别精度不够高缺点。

【技术实现步骤摘要】
一种基于神经网络和模糊决策的果树剪枝方法及系统


[0001]本专利技术涉及果树剪枝
，尤其涉及一种基于神经网络和模糊决策的果树剪枝方法及系统。

技术介绍

[0002]在果实的生长周期中，需要进行修冠及整形这两个步骤，这两个步骤看似简单，却在果树的生长周期内，扮演举足轻重的角色，需要专业的技术和经验才能完成。
[0003]目前农业上虽有整形剪枝机器人的应用，但是都具有一定的局限性，采购及维护成本颇高，使用条件的及地形限制。
[0004]AR(增强现实)相关技术，能将虚拟的信息应用到真实世界，其在现实生活中被广泛应用到旅游和导览、娱乐和商业、装配和装修等领域，未来农业技术和AR交互技术必然会有良好的发展空间和前景。
[0005]深度学习算法发展迅速，但是其计算资源需求太大和内存消耗严重使得成本较高，而轻量化网络它能尽可能保证模型精度的前提下，降低模型的计算复杂度和空间复杂度，从而使得深度神经网络可以被部署在计算性能和存储空间有限的嵌入式边缘设备上。
[0006]Mask R
‑
CNN是一个两阶段的实例分割模型，虽然具有分割准确、结构简单等优点，但是网络模型过于复杂会产生较大的参数量和计算量，可能会导致网络的速度很慢。

技术实现思路

[0007]针对现有算法的不足，本专利技术系统克服了艰难的地形带来的影响，保证在地势险要的地方仍然能够正常作业，灵活完成AR智能识别剪枝点；还克服了一般深度学习神经网络模型需要大量训练集、计算量大、对计算机硬件要求高，识别精度不够高缺点。
[0008]本专利技术所采用的技术方案是：一种基于神经网络和模糊决策的果树剪枝方法及系统包括以下步骤：
[0009]步骤一、通过AR眼镜采集果树枝干图像；
[0010]步骤二、对果树枝干图像进行对暗光增强和曝光纠正；
[0011]进一步的，暗光增强和曝光纠正是通过一个逆映射函数F,将sRGB图像映射到对应的raw
‑
RGB空间上，通过调整ISP过程中的关键参数，动态调整图像亮度。
[0012]进一步的，关键参数包括：gamma数值、白平衡和相关色彩矩阵；
[0013]步骤三、采用ShuffleNetV2的基本单元及网络结构，卷积层部分融入ResNet101的层级分割，对图像进行枝干分割，输出影响果树剪枝决策的特征；
[0014]进一步的，采用ShuffleNetV2的基本单元及网络结构，卷积层部分融入ResNet101的层级分割具体包括：六个卷积层，分别为1、9、12、69、9、1个卷积；其中，第六卷积层包含一个1x1卷积，用来混合通道特征，将特征图尺寸相同的层进行整合，将卷积层输出特征分成五个阶段。
[0015]进一步的，果树剪枝决策的特征包括：树枝纵向高度Δh，树枝径向长度Δr，树枝
生长角度Δα，树枝平均直径树枝弯曲度ρ。
[0016]进一步的，步骤三还包括：将ShuffleNetV2
‑
ResNet结构的S3、S4中用于下采样模块的左侧分支3x3深度卷积替换成卷积核为3x3、扩张率为2的深度空洞卷积，左右分支步长均为2；将S5中下采样模块左侧分支也使用空洞卷积代替了原来的3x3卷积，左右分支步长均为1。
[0017]步骤四、将果树剪枝决策的特征输入TSK模糊神经网络，输出枝条的类别；
[0018]进一步的，TSK模糊神经网络的模糊规则为：
[0019]IF x
1 is A
1k
∩x
2 is A
2k
∩...∩x
d is A
dk
[0020]Then f(x)＝p
0k
+p
1k
x1+...+p
dk
x
d
[0021]k＝1，2，...，K
[0022]其中，IF语句为模糊规则的前件部分，THEN语句为模糊规则的后件部分，K表示TSK模糊规则规则库的模糊规则数量，A
ik
表示在第k条规则中第i个特征对应的一个模糊子集；∩为模糊规则中的合取操作，p表示模糊规则的后件参数；
[0023]进一步的，枝条的类别包括：背上枝、向心枝和竞争枝。
[0024]基于神经网络和模糊决策的果树剪枝方法的系统，包括：视觉系统、AR显示屏、集成线路单元、主控装置和通信模块，主控装置通过集成线路单元分别与视觉系统、AR显示屏连接，主控装置还与通信模块连接，视觉系统用于农业生产者所观察画面中果树枝干场景图像的采集；AR显示屏用于显示视觉系统所采集的图像和果树剪枝点的决策结果；集成线路单元用于连接主控装置、视觉系统、AR显示屏和通信模块；主控装置用于控制AR智能眼镜设备的运行与启停；通信模块用于AR智能眼镜设备和剪枝决策的数据传输。
[0025]进一步的，还包括：图像识别处理模块和果树剪枝点决策模块，图像识别处理模块用于对视觉系统采集的图像进行预处理和分割，使得图像中只剩下果树枝干图像并计算出果树枝干的特征；果树剪枝点决策模块根据图像识别处理模块得到的果树枝干特征判断枝条类别并标出剪枝点。
[0026]本专利技术的有益效果：
[0027]1、克服地形影响，保证在地势险要的地方仍然能够正常作业，灵活完成AR智能识别,同时方便部署在计算性能和存储空间有限的嵌入式边缘设备上；
[0028]2、克服一般深度学习神经网络模型需要大量训练集、计算量大、计算时间长、对计算机硬件要求高，识别精度不够高等缺点，使用轻量化网络结构，大大减少了模型训练的参数量；
[0029]3、使用AR眼镜系统来实时决策果树剪枝点，应用AR的作用原理和果树剪枝规则，将这两项相互配合，实现人机相辅相成，相互协助，能更智能、高效的执行剪枝这一目的；
[0030]4、完成对果树枝干暗光增强和曝光纠正，将非正常光照下摄影得到的图像，通过逆映射函数F,将sRGB图像映射到其对应的raw
‑
RGB空间上，使最终的预测图像接近正常光照环境下的摄影图像；
[0031]5、将5个桃树枝干形态特征值的输入层，10个节点的隐藏层，1个节点的输出层的TSK模糊神经网络模型，判断出需要剪的枝条类型，TSK模糊神经网络模型具有强大的学习能力和较好的可解释性的。
附图说明
[0032]图1是本专利技术的系统连接图；
[0033]图2中(a)是shufflenetv2和resnet结合后的结构中S3和S4的下采样模块；图2(b)是shufflenetv2和resnet结合后的结构中S5中下采样模块；
[0034]图3是本专利技术的TSK型模糊系统框架示意图。
具体实施方式
[0035]下面结合附图和实施例对本专利技术作进一步说明，此图为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。
[0036]如图1所示，一种基于神经网络和模糊决策的果树剪枝系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络和模糊决策的果树剪枝方法，其特征在于，包括以下步骤：步骤一、通过AR眼镜采集果树枝干图像；步骤二、对果树枝干图像进行对暗光增强和曝光纠正；步骤三、采用ShuffleNetV2的基本单元及网络结构，卷积层部分融入ResNet101的层级分割，对图像进行枝干分割，输出影响果树剪枝决策的特征；步骤四、将果树剪枝决策的特征输入TSK模糊神经网络，输出枝条的类别。2.根据权利要求1所述的基于神经网络和模糊决策的果树剪枝方法，其特征在于，暗光增强和曝光纠正是通过一个逆映射函数F,将sRGB图像映射到对应的raw
‑
RGB空间上，通过调整ISP过程中的关键参数，动态调整图像亮度。3.根据权利要求2所述的基于神经网络和模糊决策的果树剪枝方法，其特征在于，关键参数包括：gamma数值、白平衡和相关色彩矩阵。4.根据权利要求1所述的基于神经网络和模糊决策的果树剪枝方法，其特征在于，采用ShuffleNetV2的基本单元及网络结构，卷积层部分融入ResNet101的层级分割具体包括：六个卷积层，分别为1、9、12、69、9、1个卷积；其中，第六卷积层包含一个1x1卷积，用来混合通道特征，将特征图尺寸相同的层进行整合，将卷积层输出特征分成五个阶段。5.根据权利要求4所述的基于神经网络和模糊决策的果树剪枝方法，其特征在于，果树剪枝决策的特征包括：树枝纵向高度Δh，树枝径向长度Δr，树枝生长角度Δα，树枝平均直径树枝弯曲度ρ。6.根据权利要求1所述的基于神经网络和模糊决策的果树剪枝方法，其特征在于，步骤三还包括：将ShuffleNetV2
‑
ResNet结构的S3、S4中用于下采样模块的左侧分支3x3深度卷积替换成卷积核为3x3、扩张率为2的深度空洞卷积，左右分支步长均为2；将S5中下采样模块左侧分支也使用空洞卷积代替了原来的3x3卷积，左右分支步长均为1。7.根据权利要求1所述的基于神经网络和模糊决策的果树...

【专利技术属性】
技术研发人员：吕继东，王凌云，顾玉宛，孙晓琴，牛亮亮，邹凌，戎海龙，
申请(专利权)人：常州大学，
类型：发明
国别省市：