【技术实现步骤摘要】
基于ElasticSearch的气象大数据管理方法及管理系统
[0001]本专利技术属于气象数据管理
，具体地说，涉及基于ElasticSearch的气象大数据管理方法及管理系统。
技术介绍
[0002]随着气象观测水平的不断提升，遥感气象数据的爆发式增长，气象数据已具有数据体量大、数据种类多和响应速度快等特点，呈现大数据规模。为了更好地发展气象预测智能化，气象大数据存储、检索技术研究的重要性日益突出。传统的数据存储、检索方案常常采用关系型数据库加文件系统的方式，由于关系型数据库的数据表结构有严格要求，使得这种方案在可扩展性、可维护性和检索性能上有缺陷，且随着数据规模的增大缺点越明显。
[0003]近年来，学界和业界开始转向利用分布式NoSQL存储来提高气象大数据的存储和检索能力。相比传统的方案，分布式NoSQL的存储方式可以管理更大规模的气象数据，并提供更好的检索性能；在稳定性、可管理性等方面，也得到了显著的提升。通过分布式NoSQL进行气象大数据管理，可以很好地避免由关系型数据库造成的I/O瓶颈以及高并发问...
【技术保护点】
【技术特征摘要】
1.一种基于ElasticSearch的气象大数据管理方法，该方法包括：按照气象大数据的数据类型，对气象大数据进行分类，得到不同数据类型的元数据；其中，所述数据类型包括：影像数据，文本表数据和气象灾害产品数据；采用倒排索引存储方式，对每种数据类型的元数据进行存储，并按需完善对应的元数据和增设对应的关键字，生成对应的倒排文件，再将其扫描入ElasticSearch库；根据用户输入的检索条件，在ElasticSearch库中进行检索，输出对应的气象大数据，实现对气象大数据的管理。2.根据权利要求1所述的基于ElasticSearch的气象大数据管理方法，其特征在于，每种数据类型的元数据均增加三个描述项，该三个描述项包括：气象大数据的文件类型、存储路径和创建时间。3.根据权利要求1所述的基于ElasticSearch的气象大数据管理方法，其特征在于，所述采用倒排索引存储方式，对每种数据类型的元数据进行存储，并按需完善对应的元数据和增设对应的关键字，生成对应的倒排文件，再将其扫描入ElasticSearch库；其具体实现过程为：采用倒排索引存储方式，分别将影像数据的元数据，文本表数据的元数据和气象灾害产品数据的元数据，按照映射规则，分别构建影像数据的元数据，文本表数据的元数据和气象灾害产品数据的元数据与对应的索引文档之间的转接桥梁，得到具有不同数据索引文档的元数据；其中，每个数据索引文档为采用ElasticSearch支持的索引文档类型的索引值，作为对每种数据类型的元数据的唯一编号；同时，分别对影像数据的元数据，文本表数据的元数据和气象灾害产品数据的元数据，创建对应的气象字典，并将得到的具有不同数据索引文档的元数据按照预先设定的数据文件正则表达进行匹配，同时按需完善对应的元数据和增设对应的关键字，生成对应的倒排文件，再将其扫描入ElasticSearch库。4.根据权利要求3所述的基于ElasticSearch的气象大数据管理方法，其特征在于，所述对影像数据的元数据，创建对应的影像字典，并将得到的数据索引文档的元数据按照预先设定的数据文件正则表达进行匹配，同时按需完善对应的元数据和增设对应的关键字，生成对应的倒排文件，再将其扫描入ElasticSearch库；其具体过程为：提取影像数据的元数据中地区、年份和月份三个关键字的所有可能取值，作为分词，构建影像分词库，利用影像分词库，读取与影像数据的元数据映射的索引文档，得到不同地区在不同年份的不同月份的影像数据，并对得到的不同地区在不同年份的不同月份的影像数据通过哈希散链表形式进行存储，生成影像字典，并将具有数据索引文档的元数据按照预先设定的数据文件正则表达，对具有索引文档的元数据与影像字典进行匹配，同时将按需完善影像数据的元数据的三个描述项，以及增设对应的关键字进行匹配，生成对应的倒排文件，再将其扫描入ElasticSearch库。5.根据权利要求3所述的基于ElasticSearch的气象大数据管理方法，其特征在于，所述对文本表数据的元数据，创建对应的文本表字典，并将得到的具有数据索引文档的元数据按照预先设定的数据文件正则表达进行匹配，同时按需完善对应的元数据和增设对应的关键字...
【专利技术属性】
技术研发人员：许青云，李莹，王冰，李洋，马丁，马妍，
申请(专利权)人：中国航天系统工程有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。