基于多模态融合的荔枝品质无损检测方法及系统技术方案

本发明专利技术公开了一种基于多模态融合的荔枝品质无损检测方法及系统，方法包括：获取多组不同角度的荔枝RGB图像和荔枝深度图像，构建荔枝数据集；建立改进型CenterNet网络模型，采用多模态数据融合策略；基于荔枝数据集对改进型CenterNet网络模型进行分布式训练，并优化训练过程；将拍摄的图像流输入训练好的改进型CenterNet模型中，实现荔枝品质无损检测。解决了传统果实品质检测方法效率低下、实时性不强、精度不够的问题，且本发明专利技术更加聚集图像局部关键区域，快速捕获图像中的关键信息，为荔枝品质在线无损检测技术与装备的研究提供理论支撑。论支撑。论支撑。

【技术实现步骤摘要】
基于多模态融合的荔枝品质无损检测方法及系统


[0001]本专利技术涉及计算机视觉及智慧农业
，更具体的说是涉及基于多模态融合的荔枝品质无损检测方法及系统。

技术介绍

[0002]荔枝作为中国南方地区重要的经济作物之一，对当地经济和农民收入具有重要的推动作用。荔枝成熟果期一般在5
‑
8月份，此时需要实时监测荔枝品质状态以在最好的时间采摘。
[0003]传统的荔枝果园果实品质监测主要依赖果农主观判断，不仅耗时耗力、效率低下，还造成了荔枝后续估产和采摘工序的时滞和繁琐。随着计算机视觉和智慧农业的快速发展，迫切需要专利技术一种荔枝品质无损检测方法，帮助果农自动化监测荔枝品质，促进荔枝产业的智能化发展，提高农民的经济效益和生活质量。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于多模态融合的荔枝品质无损检测方法及系统，解决了传统果实品质检测方法效率低下、实时性不强、精度不够的问题，且本专利技术更加聚集图像局部关键区域，快速捕获图像中的关键信息，为荔枝品质在线无损检测技术与装备的研究提供理论支撑。
[0005]为了实现上述目的，本专利技术采用如下技术方案：
[0006]一种基于多模态融合的荔枝品质无损检测方法，包括：
[0007]获取多组不同角度的荔枝RGB图像和荔枝深度图像，构建荔枝数据集；
[0008]建立改进型CenterNet网络模型，采用多模态数据融合策略；
[0009]基于荔枝数据集对融合后的改进型CenterNet网络模型进行分布式训练，并优化训练过程；
[0010]将拍摄的图像流输入训练好的改进型CenterNet模型中，实现荔枝品质无损检测。
[0011]优选地，建立改进型CenterNet网络模型，采用多模态数据融合策略包括：
[0012]将CenterNet作为荔枝品质无损检测模型的基础框架；
[0013]将轻量级网络ConvNeXt
‑
tiny作为荔枝品质无损检测模型的纯卷积架构主干网络；
[0014]在纯卷积架构主干网络末端添加CFP集中金字塔模块；
[0015]将同一角度的荔枝RGB图像和荔枝深度进行图像配准且像素位宽一致，并将单通道的荔枝深度图像编码为三通道的HHA图像；
[0016]将配准后的RGB图像和HHA图像作为三通道输入，分别通过一个ConvNeXt
‑
tiny纯卷积架构主干网络进行特征提取，并在中间层对两种特征进行特征信息融合，且以并联嵌套的方式输入CFP集中金字塔模块中，实现多模态数据融合。
[0017]优选地，轻量级网络ConvNeXt
‑
tiny特征提取过程为：
[0018]轻量级网络ConvNeXt
‑
tiny首先对输入图像进行预处理，包括一次层标准化LN和大小为4步长为4的卷积，输出通道数为96；
[0019]依次通过4个通道数为(96,192,384,768)、对应堆叠比例为[3，3，9，3]的阶段，第一阶段包括ConvNeXt Block1模块，第二阶段包括下采样层和ConvNeXt Block2模块，第三阶段包括下采样层和ConvNeXt Block3模块，第四阶段包括下采样层和ConvNeXt Block4模块，ConvNeXt Block1模块、ConvNeXt Block2模块、ConvNeXt Block3模块和ConvNeXt Block4模块均包括一个7
×
7深度可分离卷积层、两个多层感知器MLP和两个1
×
1卷积层，两个1
×
1卷积层中采用高斯误差线性单元激活函数GELU，下采样层包括一个LN层和一个卷积核大小为2步长为2的卷积层。
[0020]优选地，将荔枝RGB图像和荔枝深度图像进行图像配准，具体包括：
[0021]将荔枝RGB图像的像素表示为(u
R
,v
R
,z
R
)
T
,荔枝深度图像的像素表示为(u
L
,v
L
,z
L
)
T
，其中，u，v，z分别表示图像的横坐标，纵坐标和相机坐标系下的深度值，T表示转置，配准公式如下：
[0022][0023]W是一个4
×
4矩阵，表示为：
[0024][0025]其中，RR为双目相机标定的高清摄像头内参矩阵，LR为双目相机标定的深度相机内参矩阵，M为两个相机光心的外参矩阵，r11～r44为计算得到的参数。
[0026]将所述配准公式展开，将深度像素点配准到RGB像素点的对应位置上，表示为：
[0027][0028][0029]z
R
≈z
L
[0030]优选地，多模态数据融合具体包括：
[0031]配准后的RGB图像和HHA图像大小为640
×
640，将其分别输入ConvNeXt
‑
tiny纯卷积架构主干网络进行特征提取，ConvNeXt
‑
tiny纯卷积架构主干网络包含4个阶段conv，得到4个不同阶段的特征图的大小分别为160
×
160、80
×
80、40
×
40、20
×
20；
[0032]构建中间层特征融合网络进行特征信息融合，中间层融合网络采用add和1
×
1的卷积核进行特征信息融合；
[0033]除第一阶段外，将第二阶段conv得到的RGB图像深度特征图和HHA图像深度特征图通过中间层特征融合网络后，输入CFP集中金字塔模块的layer3；
[0034]将第三阶段conv得到的RGB图像深度特征图和HHA图像深度特征图通过中间层特征融合网络后，输入CFP集中金字塔模块的layer4；
[0035]将第四阶段conv得到的RGB图像深度特征图和HHA图像深度特征图通过中间层特征融合网络后，经过2倍下采样后输入CFP集中金字塔模块的layer1；
[0036]CFP集中金字塔模块对不同阶段的输入特征图进行融合，结合上一单元传入的特征数据进行运算，得到最终的特征表示，实现了多模态数据特征融合。
[0037]优选地，优化训练过程具体包括：
[0038]将配准RGB图像和HHA图输入改进型CenterNet网络模型中同步训练；
[0039]采用SGD+Momentum优化器进行目标优化；
[0040]采用DDP模式且引入梯度裁剪防止梯度爆炸。
[0041]优选地，构建荔枝数据集具体包括：
[0042]通过车上搭载的高清摄像头和深度相机，高清摄像头和深度相机构成双目相机，对荔枝园里的荔枝树进行多角度拍摄，每棵荔枝树有多组不同角度的荔枝RGB图像和荔枝深度图像；
[0043]通过人工本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的荔枝品质无损检测方法，其特征在于，包括：获取多组不同角度的荔枝RGB图像和荔枝深度图像，构建荔枝数据集；建立改进型CenterNet网络模型，采用多模态数据融合策略；基于荔枝数据集对融合后的改进型CenterNet网络模型进行分布式训练，并优化训练过程；将拍摄的图像流输入训练好的改进型CenterNet模型中，实现荔枝品质无损检测。2.根据权利要求1所述的一种基于多模态融合的荔枝品质无损检测方法，其特征在于，建立改进型CenterNet网络模型，采用多模态数据融合策略包括：将CenterNet作为荔枝品质无损检测模型的基础框架；将轻量级网络ConvNeXt
‑
tiny作为荔枝品质无损检测模型的纯卷积架构主干网络；在纯卷积架构主干网络末端添加CFP集中金字塔模块；将同一角度的荔枝RGB图像和荔枝深度进行图像配准且像素位宽一致，并将单通道的荔枝深度图像编码为三通道的HHA图像；将配准后的RGB图像和HHA图像作为三通道输入，分别通过一个ConvNeXt
‑
tiny纯卷积架构主干网络进行特征提取，并在中间层对两种特征进行特征信息融合，且以并联嵌套的方式输入CFP集中金字塔模块中，实现多模态数据融合。3.根据权利要求2所述的一种基于多模态融合的荔枝品质无损检测方法，其特征在于，轻量级网络ConvNeXt
‑
tiny特征提取过程为：轻量级网络ConvNeXt
‑
tiny首先对输入图像进行预处理，包括一次层标准化LN和大小为4步长为4的卷积，输出通道数为96；依次通过4个通道数为(96,192,384,768)、对应堆叠比例为[3，3，9，3]的阶段，第一阶段包括ConvNeXt Block1模块，第二阶段包括下采样层和ConvNeXt Block2模块，第三阶段包括下采样层和ConvNeXt Block3模块，第四阶段包括下采样层和ConvNeXt Block4模块，ConvNeXt Block1模块、ConvNeXt Block2模块、ConvNeXt Block3模块和ConvNeXt Block4模块均包括一个7
×
7深度可分离卷积层、两个多层感知器MLP和两个1
×
1卷积层，两个1
×
1卷积层中采用高斯误差线性单元激活函数GELU，下采样层包括一个LN层和一个卷积核大小为2步长为2的卷积层。4.根据权利要求2所述的一种基于多模态融合的荔枝品质无损检测方法，其特征在于，将荔枝RGB图像和荔枝深度图像进行图像配准，具体包括：将荔枝RGB图像的像素表示为(u
R
,v
R
,z
R
)
T
,荔枝深度图像的像素表示为(u
L
,v
L
,z
L
)
T
，其中，u，v，z分别表示图像的横坐标，纵坐标和相机坐标系下的深度值，T表示转置，配准公式如下：W是一个4
×
4矩阵，表示为：
其中，RR为双目相机标定的高清摄像头内参矩阵，LR为双目相机标定的深度相机内参矩阵，M为两个相机光心的外参矩阵，r11～r44为计算得到的参数；将所述配准公式展开，将深度像素点配准到RGB像素点的对应位置上，表示为：将所述配准公式展开，将深度像素点配准到RGB像素点的对应位置上，表示为：z
...

【专利技术属性】
技术研发人员：谢家兴，陈诗云，李君，华佳俊，余振邦，吴佩文，王嘉鑫，申济源，潘越，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：