一种面向自然场景的果实采收区域自动定位方法技术

本发明专利技术涉及一种面向自然场景的果实采收区域自动定位方法，包括如下步骤：提取训练数据中的荔枝果实区域，统计其加权三原色亮度分布特征作为客观亮度基准，采用迭代式Retinex算法增强加权三原色亮度分量；结合修正色差图、阈值化处理和数学形态学方法提取亮度增强后的果实区域；通过局部邻域像素的位置关系和色调信息重构HSI色彩空间中的色调分量，根据色调分布特征提取枝条区域；采用细化算法提取枝条骨架，通过角点检测和角点邻域像素的模式分布规则提取骨架上的关键角点，结合果实与枝条的相对位置约束和关键角点的空间分布特性，自动定位荔枝果实采收区域。本发明专利技术可以提高自然场景中荔枝果实采收区域自动定位的自适应性和准确性。

【技术实现步骤摘要】
一种面向自然场景的果实采收区域自动定位方法
本专利技术涉及农业信息化、精细农业、机器视觉与图像处理
，具体涉及一种面向自然场景的果实采收区域自动定位方法。
技术介绍
现代果园逐渐出现管理成本不断递增、人工劳动力不断递减的现状，以劳动力密集型为基础的果实采摘方式，逐渐呈现出可持续发展性降低的趋势(GongalA.,AmatyaS.,KarkeeM.,etal,2015.Sensorsandsystemsforfruitdetectionandlocalization.Comput.Electron.Agric.116,8-19)。果实的智能化采收装备是一种改变传统人工方式的自动化作业装备，通常包括移动平台、操控系统、林果检测与末端执行器等关键部件，目前已逐步投入到多种山区林果的自动采收作业中，它面临的一个主要问题是自然成像条件下果实区域的可靠检测与采收点/区域的准确定位。果实检测与采收点/区域定位通常采用机器视觉和图像处理技术。针对自然场景中林果区域成像质量易受光照条件的影响，Xu等(XuL.M.,LvJ.D.,2018.RecognitionmethodforapplefruitbasedonSUSANandPCNN.Multimed.ToolsAppl.77(6),7205-7219)采用同态滤波方法处理光照较弱情况下采集的果实图像。Wang等(WangC.L.,LeeW.S,ZouX.J.,etal,2018.DetectionandcountingofimmaturegreencitrusfruitbasedontheLocalBinaryPatterns(LBP)featureusingillumination-normalizedimages.PrecisionAgric.17(6),678-697)采用基于双边滤波的Retinex算法提高了图像中果实区域的整体亮度。但上述方法均未考虑输入图像光照性质的智能辨识，处理亮度较高或亮度分布较为均匀的图像容易出现“过度曝光”现象或改变果实区域的原有色调信息，可能影响后续果实区域检测与采收点/区域定位的准确性，所以并不适合于自动处理自然场景下的林果图像。Zhuang等(ZhuangJ.J.,LuoS.M.,HouC.J.,etal,2018.Detectionoforchardcitrusfruitsusingamonocularmachinevision-basedmethodforautomaticfruitpickingapplications.Comput.Electron.Agric.152,64-73)采用局部分块同态滤波方法自动处理了果实区域图像的光照不均匀问题，但该方法包含较多调节参数，当环境因素显著改变时可能需要重新调整，处理过程较为繁琐。Wang等(WangC.L.,ZouX.J.,TangY.C.,etal,2016.Localisationoflitchiinanunstructuredenvironmentusingbinocularstereovision.Biosyst.Eng.145,39-51)结合K-均值聚类法和基于标签模板的配准方法提取双目视觉图像序列中的红色荔枝果实区域，对背景色彩差异较小的林果图像有较好的检测效果。针对风动环境下的荔枝采收点定位问题，Xiong等(XiongJ.T.,HeZ.L.,LinR.,etal,2018.Visualpositioningtechnologyofpickingrobotsfordynamiclitchiclusterswithdisturbance.Comput.Electron.Agric.151,226-237)基于荔枝果实区域的色调分布知识，采用聚类算法从HSI图像的色调分量中提取成熟荔枝果实区域及其质心，通过钟摆准则从双目视觉图像中估计出采收点，但自动定位误差较大，适合于剪枝作业范围较宽的末端执行器。为避免环境因素对荔枝采收点定位精度的影响，Xiong等(XiongJ.T.,LinR.,LiuZ.,etal,2018.Therecognitionoflitchiclustersandthecalculationofpickingpointinanocturnalnaturalenvironment.Biosyst.Eng.166,44-57)采用基于LED定向补光的夜间成像系统，通过模糊C均值聚类法滤除夜间场景图像中的非林果和干扰枝干区域，结合Otsu阈值分割和Harris角点检测法定位出荔枝果实的采收点，该方法主要用于处理前背景差异较为显著的夜间林果图像。尽管目前基于机器视觉和图像处理技术的荔枝果实采收点/区域自动定位方法已经取得了一定的成效，但是在环境因素不断变化的自然场景中，更可靠、更准确的采收点或采收区域自动定位方法仍需要进一步的探索。
技术实现思路
本专利技术为了克服上述现有技术所述的至少一种缺陷(不足)，提供一种面向自然场景的果实采收区域自动定位方法，旨在改善基于机器视觉技术的果实检测与采收区域定位系统的自适应性和准确性。为实现本专利技术的目的，采用以下技术方案予以实现：一种面向自然场景的果实采收区域自动定位方法，包括以下步骤：(1)提取当前RGB图像I的加权三原色亮度分量V，利用修正RX色差图(ModifiedRedandGreen/Blue(X)ChromaticMapping,MRXCM)方法从I中生成修正RX(Red&Green/Blue)色差图Cm，从Cm中提取局部果实区域RoIs(RegionsofInterest)，计算RoIs亮度分布的统计特征，根据统计特征以迭代方式采用Retinex算法处理V并重构I，当迭代过程终止时通过颜色空间转换模型输出亮度增强后的RGB图像I′；(2)通过MRXCM方法从中提取修正RX色差图Cm′，对Cm′执行图像阈值化分割得到Cm＂，并利用数学形态学算法处理Cm＂，从中提取潜在成熟或未成熟果实区域Of；(3)提取I′的色调分量H′，衡量局部邻域像素与邻域中心的位置关系，衡量局部邻域像素与邻域中心的色调信息差异，建立局部邻域对中心像素色调值的权重分配模型，通过隔离受噪声污染的邻域中心像素、以加权均值的方式重构色调分量H′c，对H′c执行图像阈值化分割得到Hc＂，从中提取潜在的棕褐色枝条区域Os；(4)提取Os的骨架Qs′，检测Qs′上的角点并提取与枝条分叉属性相关的关键角点，利用重力作用下Of和Qs′的相对位置约束和关键角点的空间分布特性，定位果实采收点分布区间。进一步地，步骤(1)所述提取当前RGB图像I的加权三原色亮度分量V，具体为，用变量R、G和B分别表示I的红、绿和蓝颜色通道的像素灰度值，按照下式计算加权三原色亮度分量V：V＝αR+βG+γB进一步地，步骤(1)所述利用修正RX色差图(ModifiedRedandGreen/Blue(X)ChromaticMapping,MRXCM)方法从I中生成修正RX(Red&Green/Blue)色差图Cm，具体为，根据果实区域表现出的红色调或绿色调，计算R与G或R与B的单色比值作为比例因子，并加权到常规的红绿色差图或红蓝色差图中，生成修正的本文档来自技高网...

【技术保护点】
1.一种面向自然场景的果实采收区域自动定位方法，其特征在于，包括以下步骤：(1)提取当前RGB图像I的加权三原色亮度分量V，利用修正RX色差图(Modified Red and Green/Blue(X)Chromatic Mapping,MRXCM)方法从I中生成修正RX(Red&Green/Blue)色差图Cm，从Cm中提取局部果实区域RoIs(Regions of Interest)，计算RoIs亮度分布的统计特征，根据统计特征以迭代方式采用Retinex算法处理V并重构I，当迭代过程终止时通过颜色空间转换模型输出亮度增强后的RGB图像I′；(2)通过MRXCM方法从中提取修正RX色差图Cm′，对Cm′执行图像阈值化分割得到Cm＂，并利用数学形态学算法处理Cm＂，从Cm＂中提取潜在成熟或未成熟果实区域Of；(3)提取I′的色调分量H′，衡量局部邻域像素与邻域中心的位置关系，衡量局部邻域像素与邻域中心的色调信息差异，建立局部邻域对中心像素色调值的权重分配模型，通过隔离受噪声污染的邻域中心像素、以加权均值的方式重构色调分量Hc′，对Hc′执行图像阈值化分割得到Hc＂，从中提取潜在的棕褐色枝条区域Os；(4)提取Os的骨架Qs′，检测Qs′上的角点并提取与枝条分叉属性相关的关键角点，利用重力作用下Of和Qs′的相对位置约束和关键角点的空间分布特性，定位果实采收点分布区间。...

【技术特征摘要】
1.一种面向自然场景的果实采收区域自动定位方法，其特征在于，包括以下步骤：(1)提取当前RGB图像I的加权三原色亮度分量V，利用修正RX色差图(ModifiedRedandGreen/Blue(X)ChromaticMapping,MRXCM)方法从I中生成修正RX(Red&Green/Blue)色差图Cm，从Cm中提取局部果实区域RoIs(RegionsofInterest)，计算RoIs亮度分布的统计特征，根据统计特征以迭代方式采用Retinex算法处理V并重构I，当迭代过程终止时通过颜色空间转换模型输出亮度增强后的RGB图像I′；(2)通过MRXCM方法从中提取修正RX色差图Cm′，对Cm′执行图像阈值化分割得到Cm＂，并利用数学形态学算法处理Cm＂，从Cm＂中提取潜在成熟或未成熟果实区域Of；(3)提取I′的色调分量H′，衡量局部邻域像素与邻域中心的位置关系，衡量局部邻域像素与邻域中心的色调信息差异，建立局部邻域对中心像素色调值的权重分配模型，通过隔离受噪声污染的邻域中心像素、以加权均值的方式重构色调分量Hc′，对Hc′执行图像阈值化分割得到Hc＂，从中提取潜在的棕褐色枝条区域Os；(4)提取Os的骨架Qs′，检测Qs′上的角点并提取与枝条分叉属性相关的关键角点，利用重力作用下Of和Qs′的相对位置约束和关键角点的空间分布特性，定位果实采收点分布区间。2.根据权利要求1所述的面向自然场景的果实采收区域自动定位方法，其特征在于，步骤(1)所述提取当前RGB图像I的加权三原色亮度分量V，具体为，用变量R、G和B分别表示I的红、绿和蓝颜色通道的像素灰度值，按照下式计算加权三原色亮度分量V：V＝αR+βG+γB3.根据权利要求1所述的面向自然场景的果实采收区域自动定位方法，其特征在于，步骤(1)所述利用修正RX色差图(ModifiedRedandGreen/Blue(X)ChromaticMapping,MRXCM)方法从I中生成修正RX(Red&Green/Blue)色差图Cm，具体为，根据果实区域表现出的红色调或绿色调，计算R与G或R与B的单色比值作为比例因子，并加权到常规的红绿色差图或红蓝色差图中，生成修正的色差图Cm。4.根据权利要求1所述的面向自然场景的果实采收区域自动定位方法，其特征在于，步骤(1)所述从Cm中提取局部果实区域RoIs(RegionsofInterest)，计算RoIs亮度分布的统计特征，具体为，对Cm执行阈值分割和腐蚀运算得到二值图像，提取局部果实区域RoIs作为掩模图像，并计算该掩模图像在V中所覆盖区域的平均亮度值MRoIs。5.根据权利要求4所述的面向自然场景的果实采收区域自动定位方法，其特征在于，步骤(1)所述根据统计特征以迭代方式采用Retinex算法处理V并重构I，当迭代过程终止时通过颜色空间转换模型输出亮度增强后的RGB图像I′，具体为，提取多个训练图像的三原色加权亮度分量，统计果实区域的平均亮度值Mtrain，并执行以下步骤：S1.判断是否MRoIs≥Mtrain，若是则执行步骤S2，若否则执行步骤S3；S2.将I作为亮度增强后的RGB图像I′并...

【专利技术属性】
技术研发人员：庄家俊，唐宇，骆少明，侯超钧，郭琪伟，苗爱敏，陈亚勇，张恒涛，刘泽锋，孙胜，朱耀宗，高升杰，程至尚，
申请(专利权)人：仲恺农业工程学院，
类型：发明
国别省市：广东,44