多模态牧草图像特征提取与识别系统技术方案

本发明专利技术公开了多模态牧草图像特征提取与识别系统，涉及牧草图像识别处理技术领域，具体为多模态牧草图像特征提取与识别系统，包括以下步骤，

【技术实现步骤摘要】
多模态牧草图像特征提取与识别系统


[0001]本专利技术涉及牧草图像识别处理
，具体为多模态牧草图像特征提取与识别系统
。

技术介绍

[0002]智慧草业是指构建以草业为互联网门户的智慧平台，建立线上线下一体化综合服务，从而构建数字经济新业态，实现草业链多方共赢，努力成为降本增效的好帮手
。
智慧草业将进一步发挥数据的价值，充分挖掘大数据，构建中国草业大数据应用模式，为企业
、
行业
、
政府提供数据支撑，实现草业的智能化
、
智慧化
。
真正为内蒙古牧民提供信息化的科技助力
。
草地是农业行业的一个重要领域，构建面向草地生态系统现代化管理平台，计算机技术
、
网络通信技术
、
人工智能技术
、
大数据
、
云计算与草业科学
、
地理学
、
生态学等多种基础学科，对草地生态系统的环境要素
、
生物要素以及经济要素进行检测
、
管理与控制
。“智慧草业”研究是信息技术应用于草地生态系统管理的新兴研究方向，具有重要的理论研究和实践应用价值
。
[0003]草地图像是“智慧草业”的一个主要来源，其包括可见光图像
、
高光谱图像和遥感图像等，从海量图像中提取主要的草地信息，用于的数字化平台建设，是草地数字化最重要的环节
。
目前，利用图像识别和模式识别技术实现“智慧草地”的研究工作相对较少，方法也较为单一
。
研究人员主要利用遥感图像与地理信息技术对草地资源与生态环境的宏观调查与动态监测，实现草地作物产量的预测
、
草地病虫害的预警以及草地退化的监测等
。
基于遥感技术的草原数字化研究，具有宏观性
、
可重复性和客观性等特点，可以对草地资源与生态遥感监测，直接获取草地数据，利用大数据技术分析其经济效益
。
然而，遥感技术主要有三方面不足，第一，图像的获取方式，遥感图像主要通过卫星或航空飞机远距离拍摄，所以图像采集成本较高，普及程度较低
、
解读性较差，仅是草地研究海量数据库中极小一部分，难以利用云计算和大数据处理技术
。
第二，遥感图像不能从微观角度捕获草地信息，例如单株牧草的生长状况，群落牧草的成分分析等，不能构建完整的“智慧草地”系统
。
第三，遥感图像所需存储空间极大，数据中存在大量冗余信息，在图像存储
、
处理
、
传输
、
显示等环节皆受限制
。
因此，凭单一技术实现“智慧草地”具有一定的局限性和片面性
。
[0004]基于牧草图像的识别常用到的有可见光图像
、
高光谱图像
、
遥感图像等其中一种模式图像完成对牧草的识别
、
分类和监测
。
利用图像采集设备获取一幅或多幅目标图像，然后让计算机模拟人的视觉功能，从中提取信息，进行处理
、
分析和测量，并对测量结果进行定性分析，给出定量结果，做出相应决策的一门新兴技术
。
近年来，机器视觉发展迅速，在农业领域已有大量研究，如杂草分类
、
病虫害控制
、
农作物生长监控
、
农产品质量监测
、
植被覆盖度检测等
。
计算机视觉成功应用于上述研究方面，实现精准农业
。
这些研究的对象是利用数码相机
、
摄像头等日益普及的数码设备获取到的数字图像，其低成本
、
精度高
、
效率高等优点
。
其中较为典型的研究有：
[0005]江苏大学的毛罕平教授团队在对植物叶片病虫害识别诊断进行研究，使用数码摄
像机采集棉花田间图片，经过背景分割，提取特征进行杂草识别，以此为依据给出施药信息与策略，提高了棉田自动化管理水平与生产效率
。2020
年8月
15
日，毛罕平教授围绕加速项目实施进度，强化关键核心技术攻关，加强成果凝练，在短期内尽快产出标志性成果，同时做好成果转化与推广
。
[0006]浙江工业大学芦亚亚等人利用计算机视觉系统对自然场景下果蔬图像进行分割识别，解决果蔬在自然光照
、
阴影
、
被遮挡以及背景色相似的情况下的果实中心点定位的问题，为实现机器人自动采摘奠定基础
。
[0007]韩安太等人运用压缩感知理论进行农业害虫分类，利用害虫训练样本构造训练样本矩阵，通过求解
L1
范数意义下的最优化问题实现害虫测试样本的稀疏分解，由于稀疏分解结果中包含了明确的分类信息，可直接用于害虫分类
.
，利用该方法对
12
类储粮害虫和
110
类常见害虫进行分类，在4种不同试验条件下，分类准确率分别达到
92.9418
％
、98.2877
％
、78.8651
％和
61.5938
％
。
[0008]Paarth
等人将迁移学习应用于
AlexNet
卷积神经网络，对病害叶片和健康叶片共
10
种类别的番茄叶片进行分类研究
。
使用
14529
张番茄叶片病害图像作为验证集，对
AlexNet
卷积神经网络模型结构进行迁移，利用在
Imagenet
图像数据集上训练成熟的
AlexNet
模型和其参数对番茄叶片病害识别
。
采用迁移学习所建立的病害分类模型对
10
种类别的番茄叶片分类，平均准确率可达到
95.62
％
。
[0009]郭小倩等人基于卷积神经网络提出一种多尺度识别模型，结合番茄病害叶片图像特点，去除局部响应归一化层
、
修改全连接层
、
设置不同尺度卷积核提取特征，该模型对番茄叶部病害及每种病害早中晚期的平均识别准确率达到
92.7
％，能够满足生产实践中病害图像识别需求
。
[0010]Moru
等人利用机器视觉技术对针芽形绿茶外形观品质进行定量评审
。
提取成品茶图像的9个颜色特征和6个纹理特征，然后通过与专家感官评分进行关联分析，明确了与感官品质显著相关的特征变量
。
采用偏最小二乘法
(PLS)、
极限学习机
(ELM)
和强预测器集成算法
(ELM
‑
Ad本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
多模态牧草图像特征提取与识别系统，其特征在于：包括以下步骤，
S1
：确定研究区域，确定草地实验样地；
S2
：采集可见光图像；
S2.1
：图像预处理，通过数码相机拍摄牧草草地的可见光图像；
S2.2
：形态
、
颜色
、
纹理特征提取；
S3
：采集高光谱图像；
S3.1
：
ROI
提取平均光谱反射率；
S3.2
：高光谱数据预处理，采用
PTU
‑
D48E
高光谱仪器对牧草草地进行高光谱采集；高光谱图像大小为
1004
×
1944
像素，数据采用6个像元混合，得出
125
个波段，曝光时间设置为
3ms
，波长范围
400nm
～
1000nm
；
S4
：研究区域多时相遥感影像；
S4.1
：图像剪裁
、
预处理；
S4.2
：形态
、
颜色
、
纹理特征提取；通过无人机获取到研究区域多时相遥感影像，样本为无芒雀麦
、
光穗冰草
、
沙芦草
、
老芒麦和豆科苜蓿共五种；在不同生长阶段，牧草的物理形态差异性很大，群落图像的差异就更为明显，采集的范围可从不足1米延伸至几百米，增加相机和被照植株的固定装置
、
光源设计附属装置，收集
S2、S3、S4
中图像，根据牧草的特点，建立和完善的图像数据库，该数据库中包括单株牧草图像数据库
、
实验样方的牧草图像数据库
、
草原上牧草群落图像数据库，这些图像数据用于分类识别实验，可见光图像包括5类共
12
种牧草，每种
1000
张，共
12000
张图片，高光谱图像用
ENVI
软件以每张选取感兴趣区域
ROI
，校正集的样本个数选取
300
个，预测集的样本个数选取
200
个，总共
500
个样本；
S5
：构建多尺度
、
多空间
、
多角度关键特征集；
S5.1
：可见光图像分割采用不确定性云模型；
S5.2
：底层特征提取，牧草的形态结构特征差异尤为明显，以牧草外形为例，图像中包括外形的长
、
宽
、
面积
、
叶子锯齿的形状以及倾斜方向，这些特征都可以用来识别不同种类的牧草，获取这些参数需要确定图像中的关键点，如牧草的起始点
、
结束点
、
特殊的拐点，高光谱图像采用
ENVI
打开，获取高光谱图像，进行
ROI
提取，大小在
50
个像素点左右，计算其平均反射光谱数据保存为“txt”文档，测量的光谱范围在
400nm
～
1000nm
之间，采集图片有
750
个波段，采集过程中6个波段进行压缩至
125
个波段，采集过程中避免不了外界干扰，需要对其进行预处理
、
降维处理
、
底层特征提取；
S5.3
：多模态多角度多层次特征融合，这些特征称之为底层特征，研究不同空间
、
不同层次
、
不同视角的特征信息对牧草的显著的可区分性，寻找特征之间的相关性，去除冗余特征，通过迭代方式融合与选择最优特征，实现多模态特征融合算法；采用小波和尺度不变特性相结合的算法提取牧草图像的尺度不变
、
光照不变和颜色不变的特征，
S6
：利用信息共享优化深度学习模型；
S6.1
：准备训练数据；
S6.2
：接受命令行参数，深度学习需要调整优化
Hyperparameter
，调整优化算法
、
模型层数和不同模型，
TensorFlow
底层使用
python
‑
gflags
项目，接口封装成
tf.app.flags
，提前定义命令行参数，简化
Hyperparameter
调优；
S6.3
：定义神经网络，创建多个
Variable
且每个都有独立的名字，同时绑定
CPU
，便于修改隐层节点数和网络层数，
TensorFlow
默认使用
GPU
，可能会引起参数更新慢问题，
S6.4
：使用不同的优化算法，选择
Sgd、Rmsprop、Adagrad
和
Ftrl
，
Optimizer
优化模型参数，选用正确的优化算法完成对比实验；
S6.5
：在线数据不断优化，
TensorFlow
通过
tf.train.Saver()
保存和恢复模型，使用
Python
加载模型文件，不断接受在线请求数据，更新模型参数用于下一...

【专利技术属性】
技术研发人员：郜晓晶，杨昊，潘新，张俊敏，郜晓倩，李伟，
申请(专利权)人：内蒙古农业大学，
类型：发明
国别省市：