多模态牧草图像特征提取与识别系统技术方案

本发明专利技术公开了多模态牧草图像特征提取与识别系统，涉及牧草图像识别处理技术领域，具体为多模态牧草图像特征提取与识别系统，包括以下步骤，

【技术实现步骤摘要】
多模态牧草图像特征提取与识别系统


[0001]本专利技术涉及牧草图像识别处理
，具体为多模态牧草图像特征提取与识别系统
。

技术介绍

[0002]智慧草业是指构建以草业为互联网门户的智慧平台，建立线上线下一体化综合服务，从而构建数字经济新业态，实现草业链多方共赢，努力成为降本增效的好帮手
。
智慧草业将进一步发挥数据的价值，充分挖掘大数据，构建中国草业大数据应用模式，为企业
、
行业
、
政府提供数据支撑，实现草业的智能化
、
智慧化
。
真正为内蒙古牧民提供信息化的科技助力
。
草地是农业行业的一个重要领域，构建面向草地生态系统现代化管理平台，计算机技术
、
网络通信技术
、
人工智能技术
、
大数据
、
云计算与草业科学
、
地理学
、
生态学等多种基础学科，对草地生态系统的环境要素
、
生物要素以及经济要素进行检测...

【技术保护点】

【技术特征摘要】
1.
多模态牧草图像特征提取与识别系统，其特征在于：包括以下步骤，
S1
：确定研究区域，确定草地实验样地；
S2
：采集可见光图像；
S2.1
：图像预处理，通过数码相机拍摄牧草草地的可见光图像；
S2.2
：形态
、
颜色
、
纹理特征提取；
S3
：采集高光谱图像；
S3.1
：
ROI
提取平均光谱反射率；
S3.2
：高光谱数据预处理，采用
PTU
‑
D48E
高光谱仪器对牧草草地进行高光谱采集；高光谱图像大小为
1004
×
1944
像素，数据采用6个像元混合，得出
125
个波段，曝光时间设置为
3ms
，波长范围
400nm
～
1000nm
；
S4
：研究区域多时相遥感影像；
S4.1
：图像剪裁
、
预处理；
S4.2
：形态
、
颜色
、
纹理特征提取；通过无人机获取到研究区域多时相遥感影像，样本为无芒雀麦
、
光穗冰草
、
沙芦草
、
老芒麦和豆科苜蓿共五种；在不同生长阶段，牧草的物理形态差异性很大，群落图像的差异就更为明显，采集的范围可从不足1米延伸至几百米，增加相机和被照植株的固定装置
、
光源设计附属装置，收集
S2、S3、S4
中图像，根据牧草的特点，建立和完善的图像数据库，该数据库中包括单株牧草图像数据库
、
实验样方的牧草图像数据库
、
草原上牧草群落图像数据库，这些图像数据用于分类识别实验，可见光图像包括5类共
12
种牧草，每种
1000
张，共
12000
张图片，高光谱图像用
ENVI
软件以每张选取感兴趣区域
ROI
，校正集的样本个数选取
300
个，预测集的样本个数选取
200
个，总共
500
个样本；
S5
：构建多尺度
、
多空间
、
多角度关键特征集；
S5.1
：可见光图像分割采用不确定性云模型；
S5.2
：底层特征提取，牧草的形态结构特征差异尤为明显，以牧草外形为例，图像中包括外形的长
、
宽
、
面积
、
叶子锯齿的形状以及倾斜方向，这些特征都可以用来识别不同种类的牧草，获取这些参数需要确定图像中的关键点，如牧草的起始点
、
结束点
、
特殊的拐点，高光谱图像采用
ENVI
打开，获取高光谱图像，进行
ROI
提取，大小在
50
个像素点左右，计算其平均反射光谱数据保存为“txt”文档，测量的光谱范围在
400nm
～
1000nm
之间，采集图片有
750
个波段，采集过程中6个波段进行压缩至
125
个波段，采集过程中避免不了外界干扰，需要对其进行预处理
、
降维处理
、
底层特征提取；
S5.3
：多模态多角度多层次特征融合，这些特征称之为底层特征，研究不同空间
、
不同层次
、
不同视角的特征信息对牧草的显著的可区分性，寻找特征之间的相关性，去除冗余特征，通过迭代方式融合与选择最优特征，实现多模态特征融合算法；采用小波和尺度不变特性相结合的算法提取牧草图像的尺度不变
、
光照不变和颜色不变的特征，
S6
：利用信息共享优化深度学习模型；
S6.1
：准备训练数据；
S6.2
：接受命令行参数，深度学习需要调整优化
Hyperparameter
，调整优化算法
、
模型层数和不同模型，
TensorFlow
底层使用
python
‑
gflags
项目，接口封装成
tf.app.flags
，提前定义命令行参数，简化
Hyperparameter
调优；
S6.3
：定义神经网络，创建多个
Variable
且每个都有独立的名字，同时绑定
CPU
，便于修改隐层节点数和网络层数，
TensorFlow
默认使用
GPU
，可能会引起参数更新慢问题，
S6.4
：使用不同的优化算法，选择
Sgd、Rmsprop、Adagrad
和
Ftrl
，
Optimizer
优化模型参数，选用正确的优化算法完成对比实验；
S6.5
：在线数据不断优化，
TensorFlow
通过
tf.train.Saver()
保存和恢复模型，使用
Python
加载模型文件，不断接受在线请求数据，更新模型参数用于下一...

【专利技术属性】
技术研发人员：郜晓晶，杨昊，潘新，张俊敏，郜晓倩，李伟，
申请(专利权)人：内蒙古农业大学，
类型：发明
国别省市：