一种基于高光谱和深度学习的肥城桃内外品质检测方法技术

本发明专利技术涉及水果品质无损检测领域，具体来说是一种基于高光谱和深度学习的肥城桃内外品质检测方法。该方法首先采集肥城桃样本的高光谱数据与理化指标并进行高光谱图像校准，然后通过蒙特卡罗偏最小二乘法剔除光谱数据异常值并采用光谱理化值共生距离法进行样本划分，再使用多种变量选择算法识别可溶性固形物含量与硬度的敏感特征波长，同时通过分析样本与背景光谱差值优选高光谱图像，利用深度学习YOLOv3算法进行目标框选与预测框尺寸面积提取，最后，建立特征波长光谱数据和可溶性固形物、硬度的回归预测模型，以及像素尺寸、面积和真实尺寸、重量的回归模型，实现肥城桃可溶性固形物、硬度、果径、重量的快速无损检测与内部品质空间分布可视化。

【技术实现步骤摘要】
一种基于高光谱和深度学习的肥城桃内外品质检测方法
本专利技术涉及水果品质无损检测领域，具体来说是一种基于高光谱和深度学习的肥城桃内外品质检测方法。
技术介绍
肥城桃，又名“佛桃”，个大质优，外形美观，营养物质丰富，被誉为“群桃之冠”，已有1000多年种植历史。但是，目前肥城桃生产水平较低，果品检测分级技术落后，远不能满足人们“优质精品”水果的消费需求，进行肥城桃果实品质快速分级对实现优果优价和提升产业发展至关重要。然而水果分级涉及多项理化指标，目前肥城桃鲜果分级主要依靠果农传统经验，对包括颜色、尺寸重量、质地、成分等做出判断，这些方法虽然取得较好效果，但往往是破坏性的，且操作繁琐费时，因此，如何快速、准确的检测肥城桃内外品质成为亟需解决的问题。本专利技术结合高光谱与深度学习技术提出了一种快速、无损、准确的肥城桃内外品质检测方法，为肥城桃产业的高质量发展提供了技术支撑。
技术实现思路
本专利技术针对上述问题及技术需求，提出了一种基于高光谱与深度学习的肥城桃内外品质检测方法，此方法可实现肥城桃内部品质(可溶性固形物、硬度等)与外部品质(果径、重量等)的快速无损检测，并将内部品质以伪彩色图像的形式直观显示。本专利技术的目的通过以下的技术方案实现：一种基于高光谱与深度学习的肥城桃内外品质检测方法，包括以下步骤：步骤一：采集肥城桃样本在400-1000nm范围内的高光谱图像，并测量包括可溶性固形物含量、硬度值、果实最大横径、重量在内的理化指标，对高光谱图像进行黑白校准并通过掩膜选取整个肥城桃样品为兴趣区，获取样本的高光谱图像和兴趣区平均光谱数据立方体。步骤二：结合光谱数据和理化指标进行异常值剔除与光谱数据集样本划分。步骤三：对样本原始光谱数据进行预处理，并通过三种变量选择算法选取可溶性固形物、硬度的敏感特征波长。步骤四：对高光谱图像进行样本与背景偏差光谱值分析，在光谱维中寻找样本与背景区分最为明显的波段，此波段下图像特征提取最为简单。步骤五：使用深度学习目标框选技术提取样本的像素尺寸、面积。步骤六：依据理化指标与步骤三所选特征波长，分别建立可溶性固形物、硬度的偏最小二乘回归(PLSR)、支持向量回归(SVR)、多元线性回归(MLR)预测模型，预测模型的输入数据为特征光谱，输出数据为可溶性固形物含量、硬度值。步骤七：依据步骤六所建最优模型预测高光谱图像上像素点的可溶性固形物含量与硬度值，并绘制其伪彩色分布图，完成内部品质分布的可视化。步骤八：依据理化指标与步骤五提取的像素尺寸与面积，分别建立果径与重量的预测模型，预测模型的输入数据为像素尺寸、面积，输出数据为果径、重量。步骤九：将待测样本的特征波段光谱数据与像素尺寸面积输入所建预测模型即可获得肥城桃的糖度、硬度、果径、重量信息与可视化图像。优选的，所述步骤二中剔除异常值方法为蒙特卡罗偏最小二乘法(MCPLS)，该方法通过计算所有样本的预测残差平均值(Mean)和预测残差方差(STD)，判定较高预测残差平均值和预测残差方差的样本为异常样本。优选的，步骤二中样本集划分方法为光谱理化值共生距离(SPXY)法，该方法能兼顾样本的光谱数据与理化指标，使数据集的划分更合理，其距离公式：其中，dx(p，q)为光谱距离；dy(p，q)为理化指标特征距离。优选的，所述步骤三中采用多元散射校正(MSC)对光谱数据进行预处理，以消除球形果实表面漫反射的影响。优选的，步骤三中采用竞争性自适应权重取样法(CARS)、连续投影算法(SPA)、CARS-SPA方法进行特征波长选取。其中，CARS使用蒙特卡洛抽样选择建模集以建立偏最小二乘模型，从而计算所有波长的回归系数，然后使用自适应重加权抽样和指数递减函数选择回归系数较大的关键波长，最后通过交叉验证获得具有最小均方根误差的波长子集；SPA利用向量的投影分析，选取含有最小冗余度和最小共线性的有效波长，通过比较波段投影向量大小，将最大投影量波段列为有效波段，并根据校正模型确定最佳的特征波段。优选的，所述步骤五中深度学习目标框选的具体方法为：利用迁移学习迁移已经在大数据集上预训练的YOLOv3模型；改变模型语义层面的参数，使用步骤四选取的肥城桃高光谱图像完成对模型的精确训练；以预测框、真实范围的交集和并集的比值IOU评价预测框的准确性，其计算公式为：其中，Intersection为预测范围与真实范围的交集，Union为预测范围与真实范围的并集；预测框为样本最小外接矩形，预测像素尺寸为：X＝ymax-ymin(3)预测框面积为：S＝(xmax-xmin)(ymax-ymin)(4)其中，x，y为同步生成检测文件中预测框的像素坐标。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术只需将待测样本特征光谱数据与预测框尺寸、面积输入检测模型即可获得肥城桃的可溶性固形物、硬度、果径、重量信息，实现内外品质的综合、无损检测，且检测精度高、检测速度快。2、本专利技术对比分析了多种特征波长选取方法，建立了多种回归模型，可根据实际情况优选最佳组合。3、本检测方法可实现内部品质的可视化，以伪彩色图像形式直观显示可溶性固形物与硬度的空间分布。附图说明图1为本专利技术方法流程图；图2为全样本感兴趣区域的平均光谱；图3为多元散射校正效果图；图4为YOLOv3模型训练过程IOU曲线；图5为样本目标框选图；图6为可溶性固形物与硬度的最优模型预测散点图。具体实施方式为了更好的理解本专利技术的技术方案，下面结合附图详细描述本专利技术提供的实施例，但本专利技术的实施方式不限于此。如图1所示，一种基于高光谱和深度学习的肥城桃内外品质检测方法，包括以下步骤：步骤一：采集肥城桃样本在400-1000nm范围内的高光谱图像，并测量包括可溶性固形物含量、硬度值、果实最大横径、重量在内的理化指标，对高光谱图像进行黑白校准并通过掩膜选取整个肥城桃样品为兴趣区，获取样本的高光谱图像和兴趣区平均光谱数据立方体，全样本感兴趣区域的平均光谱如图2所示。步骤一中，高光谱图像采集系统组成主要包括高光谱成像仪(GaiaField-V10E)、成像镜头(HSIA-OL23)、专用光源(HSIA-LS-T-200W)、标准白板(HSIA-CT-150×150)、三脚架(HSIA-TP-S)及装有高光谱数据采集软件(SpecView)的专用计算机，系统参数设置为：成像距离为47cm，曝光时间为15ms；采集样本高光谱图像时应采集有最大投影面积时的样品图像，共采集150个样本的高光谱数据。步骤一中，肥城桃硬度使用指针式水果硬度计测定，取五个不同位置测量结果平均值作为样本的硬度值；可溶性固形物含量使用数显折射仪测定，在每个样本五个硬度测试点处分别取1cm3果肉，榨汁后滴到数显折射仪镜面窗口，取五次测定本文档来自技高网...

【技术保护点】
1.一种基于高光谱和深度学习的肥城桃内外品质检测方法，其特征在于，包括以下步骤：/n步骤一：采集肥城桃样本在400-1000nm范围内的高光谱图像，并测量包括可溶性固形物含量、硬度值、果实最大横径、重量在内的理化指标，对高光谱图像进行黑白校准并通过掩膜选取整个肥城桃样品为兴趣区，获取样本的高光谱图像和兴趣区平均光谱数据立方体。/n步骤二：结合光谱数据和理化指标进行异常值剔除与光谱数据集样本划分。/n步骤三：对样本原始光谱数据进行预处理，并通过三种变量选择算法选取可溶性固形物、硬度的敏感特征波长。/n步骤四：对高光谱图像进行样本与背景偏差光谱值分析，在光谱维中寻找样本与背景区分最为明显的波段，此波段下图像特征提取最为简单。/n步骤五：使用深度学习目标框选技术提取样本的像素尺寸、面积。/n步骤六：依据理化指标与步骤三所选特征波长，分别建立可溶性固形物、硬度的偏最小二乘回归(PLSR)、支持向量回归(SVR)、多元线性回归(MLR)预测模型，预测模型的输入数据为特征光谱，输出数据为可溶性固形物含量、硬度值。/n步骤七：依据步骤六所建最优模型预测高光谱图像上像素点的可溶性固形物含量与硬度值，并绘制其伪彩色分布图，完成内部品质分布的可视化。/n步骤八：依据理化指标与步骤五提取的像素尺寸与面积，分别建立果径与重量的预测模型，预测模型的输入数据为像素尺寸、面积，输出数据为果径、重量。/n步骤九：将待测样本的特征波段光谱数据与像素尺寸面积输入所建预测模型即可获得肥城桃的糖度、硬度、果径、重量信息与可视化图像。/n...

【技术特征摘要】
1.一种基于高光谱和深度学习的肥城桃内外品质检测方法，其特征在于，包括以下步骤：
步骤一：采集肥城桃样本在400-1000nm范围内的高光谱图像，并测量包括可溶性固形物含量、硬度值、果实最大横径、重量在内的理化指标，对高光谱图像进行黑白校准并通过掩膜选取整个肥城桃样品为兴趣区，获取样本的高光谱图像和兴趣区平均光谱数据立方体。
步骤二：结合光谱数据和理化指标进行异常值剔除与光谱数据集样本划分。
步骤三：对样本原始光谱数据进行预处理，并通过三种变量选择算法选取可溶性固形物、硬度的敏感特征波长。
步骤四：对高光谱图像进行样本与背景偏差光谱值分析，在光谱维中寻找样本与背景区分最为明显的波段，此波段下图像特征提取最为简单。
步骤五：使用深度学习目标框选技术提取样本的像素尺寸、面积。
步骤六：依据理化指标与步骤三所选特征波长，分别建立可溶性固形物、硬度的偏最小二乘回归(PLSR)、支持向量回归(SVR)、多元线性回归(MLR)预测模型，预测模型的输入数据为特征光谱，输出数据为可溶性固形物含量、硬度值。
步骤七：依据步骤六所建最优模型预测高光谱图像上像素点的可溶性固形物含量与硬度值，并绘制其伪彩色分布图，完成内部品质分布的可视化。
步骤八：依据理化指标与步骤五提取的像素尺寸与面积，分别建立果径与重量的预测模型，预测模型的输入数据为像素尺寸、面积，输出数据为果径、重量。
步骤九：将待测样本的特征波段光谱数据与像素尺寸面积输入所建预测模型即可获得肥城桃的糖度、硬度、果径、重量信息与可视化图像。


2.如权利要求1所述的一种基于高光谱和深度学习的肥城桃内外品质检测方法，其特征在于，所述步骤二中剔除异常值方法为蒙特卡罗偏最小二乘法(MCPLS)，该方法通过计算所有样本的预测残差平均值(Mean)和预测残差方差(STD)，判定较高预测残差平均值和预测残差方差的样本为异常样本。


3.如权利要求1所述的一种基于高光谱和深度学习的肥城桃内外品质检测方法，其特征在...

【专利技术属性】
技术研发人员：玄冠涛，高冲，邵园园，王永贤，王凯丽，韩军伟，张涛，刘艺，
申请(专利权)人：山东农业大学，
类型：发明
国别省市：山东;37