【技术实现步骤摘要】
本专利技术涉及大数据，尤其涉及一种基于数据湖的智慧林业大数据系统、方法、设备及介质。
技术介绍
1、智慧林业大数据技术是将大数据技术应用于林业领域，通过收集、存储、处理和分析大规模的林业数据，实现对森林资源的有效管理、保护和利用。
2、现有的智慧林业大数据系统是基于简单数据库技术的林业大数据系统，通过一般的数据库方法实现对林业数据的存储和数据分析，实际应用中，林业数据质量可能受到数据收集或处理过程中的各种因素影响，可能会影响数据分析和决策的准确性和可靠性，且存在数据孤岛以及数据处理速度较慢等技术的挑战，进而导致进行林业数据分析时的效率较低。
技术实现思路
1、本专利技术提供一种基于数据湖的智慧林业大数据系统、方法、设备及介质，其主要目的在于解决进行林业数据分析时的效率较低的问题。
2、为实现上述目的，本专利技术提供的一种基于数据湖的智慧林业大数据系统，所述系统包括数据整合模块、数据湖存储模块、网格映射模块、资源分析模块及计划决策模块，其中：
3、所述数据整合模块，用于获取目标林业区域的历史林业数据，对所述历史林业数据进行数据审查和数据清洗，得到整合林业数据；
4、所述数据湖存储模块，用于对所述整合林业数据进行数据分池以及数据湖存储，得到林业数据湖；
5、所述网格映射模块，用于利用所述林业数据湖对所述目标林业区域进行遥感地理分区和空间网格映射操作，得到林业网格模型，其中，所述网格映射模块在利用所述林业数据湖对所述目标林业区域
6、
7、
8、
9、
10、其中，为所述采样遥感图序列中第个采样遥感图片中像素坐标为对应的像素的灰度值，为所述标准遥感图序列中第个标准遥感图片中像素坐标为的像素的灰度值，为像素坐标为的像素对应的横向像素插值系数， 为像素坐标为的像素对应的纵向像素插值系数，为预设的插值权重；对所述采样遥感图序列进行初级地区分块，得到遥感图块组序列；对所述遥感图块组序列进行图像特征卷积和特征聚类融合，得到标准遥感图块组序列；从所述标准遥感图块组序列中提取出分区结构，根据所述分区结构建立林业网格模型；
11、所述资源分析模块，用于根据所述林业网格模型对所述林业数据湖进行空间时序林业资源特征提取，得到林业资源特征序列，利用所述林业资源特征序列将所述林业网格模型训练成资源分析模型；
12、所述计划决策模块，用于获取预设的林业生产计划，利用所述资源分析模型对所述林业生产计划进行决策分析和计划调整，得到标准林业计划。
13、可选地，所述数据整合模块在对所述历史林业数据进行数据审查和数据清洗，得到整合林业数据时，具体用于：
14、对所述历史林业数据进行结构审查，得到结构化林业数据集、半结构化林业数据集以及非结构化林业数据集；
15、对所述结构化林业数据集进行数据标准化和数据去重操作，得到初级结构化林业数据集；
16、利用预设的离群林业数据检测算法将所述初级结构化林业数据集更新成标准结构化林业数据集；
17、对所述半结构化林业数据集进行数据解析、字段抽取以及去重除噪操作，得到标准半结构化林业数据集；
18、对所述非结构化林业数据集进行数据校验和去重除噪操作，得到标准非结构化林业数据集；
19、将所述标准结构化林业数据集、所述标准半结构化林业数据集以及所述标准非结构化林业数据集汇集成整合林业数据。
20、可选地，所述数据整合模块在将所述初级结构化林业数据集更新成标准结构化林业数据集时，具体用于：
21、对所述初级结构化林业数据集进行特征提取，得到初级林业数据特征集；
22、利用如下的离群林业数据检测算法和所述初级林业数据特征集计算出所述初级结构化林业数据集对应的林业数据离群值集：
23、
24、其中，是指所述林业数据离群值集中的第个林业数据离群值，、是预设的索引，、是预设的对抗系数，是指所述初级结构化林业数据集中的第个初级结构化林业数据，是指所述初级结构化林业数据集中的第个初级结构化林业数据，是所述初级结构化林业数据集的数据总数，是指所述初级林业数据特征集中的第个初级林业数据特征，是指所述初级林业数据特征集中的第个初级林业数据特征，是转置符号，是协方差函数符号；
25、对所述林业数据离群值群进行离群阈值筛选，得到标准数据离群值组；
26、将所述初级结构化林业数据集中所述标准数据离群值组对应的初级结构化林业数据汇集成离群林业数据组；
27、对所述初级结构化林业数据中的所述离群林业数据组进行数据平滑填充操作，得到标准结构化林业数据集。
28、可选地，所述数据湖存储模块在对所述整合林业数据进行数据分池以及数据湖存储，得到林业数据湖时，具体用于：
29、从所述整合林业数据中提取出数据结构集以及数据属性集；
30、将所述数据结构集和所述数据属性集拼接成数据区键集；
31、根据所述数据区键集对所述整合林业数据进行聚类分池，得到林业数据池组；
32、根据所述数据区键集对所述林业数据池组进行格式匹配，得到林业存储格式组；
33、根据所述林业存储格式组对所述林业数据池组进行引擎匹配和引擎存储，得到林业数据湖。
34、可选地，所述资源分析模块在根据所述林业网格模型对所述林业数据湖进行空间时序林业资源特征提取，得到林业资源特征序列时，具体用于：
35、按照时序排序的方式分别从所述林业数据湖中提取出气象数据序列、土壤数据序列以及资源数据序列；
36、对所述气象数据序列和所述土壤数据序列进行特征提取和特征融合操作，得到气象土壤特征序列；
37、从所述林业网格模型中提取出分区结构，根据所述分区结构将所述气象土壤特征序列拆分成气象土壤特征组序列；
38、根据所述分区结构将所述资源数据序列拆分成资源数据组序列；
39、从所述气象土壤特征组序列中提取出环境时序特征组序列；
40、从所述资源数据组序列中提取出资源时序特征组序列，将所述环境时序特征组序列和所述资源时序特征组序列汇集成林业资源特征序列。
41、可选地，所述资源分析模块在利用所述林业资源特征序列将所述林业网格模型训练成资源分析模型时，具体用于：
42、利用所述林业资源特征序列中的环境时序特征组序列对所述林业网格模型进行网格映射，得到映射网格模型；
43、对所述映射网格模型进行时序卷积和嵌入激活操本文档来自技高网...
【技术保护点】
1.一种基于数据湖的智慧林业大数据系统，其特征在于，所述系统包括数据整合模块、数据湖存储模块、网格映射模块、资源分析模块及计划决策模块，其中：
2.如权利要求1所述的基于数据湖的智慧林业大数据系统，其特征在于，所述数据整合模块在对所述历史林业数据进行数据审查和数据清洗，得到整合林业数据时，具体用于：
3.如权利要求2所述的基于数据湖的智慧林业大数据系统，其特征在于，所述数据整合模块在将所述初级结构化林业数据集更新成标准结构化林业数据集时，具体用于：
4.如权利要求1所述的基于数据湖的智慧林业大数据系统，其特征在于，所述数据湖存储模块在对所述整合林业数据进行数据分池以及数据湖存储，得到林业数据湖时，具体用于：
5.如权利要求1所述的基于数据湖的智慧林业大数据系统，其特征在于，所述资源分析模块在根据所述林业网格模型对所述林业数据湖进行空间时序林业资源特征提取，得到林业资源特征序列时，具体用于：
6.如权利要求5所述的基于数据湖的智慧林业大数据系统，其特征在于，所述资源分析模块在利用所述林业资源特征序列将所述林业网格模型训练成
7.如权利要求1所述的基于数据湖的智慧林业大数据系统，其特征在于，所述计划决策模块在利用所述资源分析模型对所述林业生产计划进行决策分析和计划调整，得到标准林业计划时，具体用于：
8.一种基于数据湖的智慧林业大数据方法，其特征在于，所述方法包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8中所述的基于数据湖的智慧林业大数据方法。
...【技术特征摘要】
1.一种基于数据湖的智慧林业大数据系统，其特征在于，所述系统包括数据整合模块、数据湖存储模块、网格映射模块、资源分析模块及计划决策模块，其中：
2.如权利要求1所述的基于数据湖的智慧林业大数据系统，其特征在于，所述数据整合模块在对所述历史林业数据进行数据审查和数据清洗，得到整合林业数据时，具体用于：
3.如权利要求2所述的基于数据湖的智慧林业大数据系统，其特征在于，所述数据整合模块在将所述初级结构化林业数据集更新成标准结构化林业数据集时，具体用于：
4.如权利要求1所述的基于数据湖的智慧林业大数据系统，其特征在于，所述数据湖存储模块在对所述整合林业数据进行数据分池以及数据湖存储，得到林业数据湖时，具体用于：
5.如权利要求1所述的基于数据湖的智慧林业大数据系统，其特征在于，所述资源分析模块在根据所述...
【专利技术属性】
技术研发人员：李晓林，曾维朝，李凡，
申请(专利权)人：航天广通科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。