一种分散式大数据管理与检索的方法技术

本发明专利技术涉及一种分散式大数据管理与检索的方法，应用程序服务器处理北斗空间数据，处理后的数据由管理服务器根据配置分散存储到文件服务器，并记录存放的位置，Web服务器为外部网络访问提供服务，把外部访问请求发给应用程序服务器，应用程序服务器通过管理服务器获取分散的文件数据，对这些数据根据访问请求处理后返回给Web服务器；所述数据分为两部分，一部分是基础数据，另一部分是业务数据；系统运行后，系统将数据读入内存中，利用内存的缓冲区直接操作数据文件。本发明专利技术能够准确、直观的渔船的时空分布统计查询。

【技术实现步骤摘要】

本专利技术涉及大数据管理
，特别是涉及一种分散式大数据管理与检索的方法，尤其是大量北斗船位时空数据的分散式存储管理，以及快速查询、统计。
技术介绍
海量业务数据应用系统在运行过程中，需要查询大量的相关数据，因此业务数据的存放与查询成为应用系统的重要组成部分。由于数据量比较庞大，为了维护和管理便利，应用系统的业务数据通常被存放在数据库中，应用系统在运行时通过使用SQL语句访问数据库的方式查询。这种方式虽然实现简便，但是由于数据库本身的性能以及网络数据传输的消耗等因素，会影响应用处理查询数据的速度，从而降低应用系统的性能表现，因此通过直接访问数据库的方式比较适合于数据量不是很大、对应用系统的处理速度要求不高的系统。并且DB2、0racle、SQLServer等数据库系统会绕开文件系统，自己管理磁盘块，提高了数据库的性能，但数据库的管理也变得比较复杂了，这些商业数据库成本都较高。
技术实现思路
本专利技术所要解决的技术问题是提供一种分散式大数据管理与检索的方法，能够准确、直观的渔船的时空分布统计查询。本专利技术解决其技术问题所采用的技术方案是：提供一种分散式大数据管理与检索的方法，应用程序服务器处理北斗空间数据，处理后的数据由管理服务器根据配置分散存储到文件服务器，并记录存放的位置，Web服务器为外部网络访问提供服务，把外部访问请求发给应用程序服务器，应用程序服务器通过管理服务器获取分散的文件数据，对这些数据根据访问请求处理后返回给Web服务器；所述数据分为两部分，一部分是基础数据，另一部分是业务数据；系统运行后，系统将数据读入内存中，利用内存的缓冲区直接操作数据文件。所述基础数据包括海域数据、区划数据和渔船数据；所述业务数据包括渔船小时分布、渔船天分布和渔船轨迹数据。所述区划数据与渔船数据通过区划编号关联；所述渔船轨迹数据通过渔船编号与渔船数据相关联；所述渔船小时分布表通过小渔区编号与海域数据关联；所述渔船天分布表通过小渔区编号与海域数据关联。所述海域数据的内存结构所表达的海域层次关系为海区、渔场、渔区、小渔区由上向下成包含的层次关系。所述区划数据的内存结构所表达的区域层次关系为省级行政区划、地区级行政区划、县级行政区划由上向下成包含的层次关系。所述渔船数据的内存结构为省级行政区划编号、地区级行政区划编号同区划数据的内存结构，每个县级行政区划中存储起止的渔船编号，每个渔船编号中存储渔船基本信息。通过区划数据的内存结构和海域数据的内存结构，查询分散的北斗船位空间分布数据文件，统计某段时间，某区划渔船去各海域作业的数量或统计某段时间，某海域渔船来源于各区划的数量。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术把现有技术中存储在数据库中的数据存储在由文件系统管理的分散的数据文件中，其提高了数据读取效率，增加了数据管理灵活性，减少了商业数据库软件的成本。本专利技术采用一种分散式数据管理，用内存表层次模型来解决数据快速统计查询的问题。内存的速度是除了CPUCACHE外最快的存储设备，内存速度可达6G/S以上，与硬盘速度相差30倍以上。分散式存储还支持自定义的socket协议，构建分布式系统，遇到高并发，高流量的任务时可以进行拓展提高数据共享效率。附图说明图1为数据关系图；图2为数据结构图；图3为数据存储管理图；图4为海域数据内存结构图；图5为海域层次关系图；图6为区划数据内存结构图；图7为区划数据层次关系图；图8为渔船信息数据内存结构图；图9为海域统计图；图10为区划统计图；图11为渔场渔船追溯展示图；图12为全国区划渔船海上分布图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种分散式大数据管理与检索的方法，下面以北斗数据存储与检索为例进一步说明本专利技术。1.数据内容1.1海域划分我国沿海从北到南分渤海、黄海、东海和南海海区。渤海、黄海分界线是辽东半岛南端老铁山角与山东半岛北岸蓬莱角的连线；黄海、东海分界线是长江口北岸的启东角与韩国济州岛西南角的连线；东海、南海分界线是广东南澳岛与台湾岛南端的鹅銮鼻连线。山东半岛以北称渤海，山东半岛与长江口之间称黄海，长江口与台湾岛之间的海域是东海，台湾岛以南、以西的部分则是南海。习惯上根据水域位置、捕捞对象和作业方式等划分渔场，近海划分了53个传统渔场。我国制定有渤、黄、东海渔区编码和南海渔区编码。近海区编码以30′×30′经纬度范围大小为一个渔区单元，每渔区又按每10′×10′经纬度细分为9个小渔区，每个渔区单元按照从西至东、从北向南的顺序进行编号。渔区编码从最北部的辽东湾开始，初始编码为1，沿经度方向向东最远扩展到129.5°E，从北往南依次编码，最南端为4°N附近的曾母暗沙海域。海域信息保存在文本文件中(表1)，每个海域的信息占一条记录，海域的属性用逗号隔开，各海域记录间用回车符分开。海域存储按照海区、渔场、渔区、小渔区排序，然后对排序的海域由1开始逐渐增加作为海域的编号。表11.2行政区划《中国海洋统计年鉴》中沿海地区定义是指有海岸线(大陆岸线和岛屿岸线)的地区，目前我国有8个沿海省、1个自治区、2个直辖市；53个沿海城市、242个沿海区县。行政区划保存在文本文件中(表2)，每个区划信息占一条记录，区划的属性用逗号隔开，各区划记录间用回车符分开。区划存储按照省、地区、县排序，然后对排序的区划由1开始逐渐增加作为区划的编号。表21.3渔船信息渔船信息包括渔船名称、捕捞类型、船长、功率捕捞类型等，根据《渔业捕捞许可管理规定》作业类型有刺网、围网、拖网、张网、钓具、耙刺、陷阱、笼壶和杂渔具(含地拉网、敷网、抄网、掩罩及其他杂渔具)共9种。渔船命名按照“省简称+县简称+船号”形式命名，渔船信息保存在文本文件中(表3)，每艘船的信息占一条记录，船的属性用逗号隔开，各渔船记录间用回车符分开。渔船存储按照省、地区、县排序，船号由小到大，然后对排序的渔船由1开始逐渐增加作为渔船的编号。表31.4渔船分布数据渔船分布数据分为渔船小时分布数据和渔船天分布数据。渔船小时分布数据指的是渔船每小时各小渔区格网中的渔船(表4)，渔船天分布数据指的是渔船每天各小渔区格网中的渔船(表5)，数据记录包括系统生成的唯一编号小渔区编号和渔船编号，渔船分布信息保存在在文本文件中，以每天或每小时为一条记录，以小渔区编号为主键，渔船编号用逗号隔开，每个渔区的记录用回车符分开。表4表51.5渔船轨迹数据渔船轨迹数据包括时间、经度、纬度、航速、航向、渔船编号等。每一条渔船轨迹记录为单艘渔船的轨迹(表6)，以船位数据发出的时间为主键，船的轨迹信息用逗号隔开，包括经度、纬度、航速(单位m/s)航向、渔船编号，每个时间点的船位记录用回车符分开。表61.6数据间的关系数据主要包含6张表，互相联系(图1)。行政区划表与渔船信息表通过区划编号关联。渔船轨迹通过渔船编号与渔船信息相关联，可获取渔船的轨信息。渔船小时分布表通过小渔区编号与海域格网表关联，通过渔船编号本文档来自技高网...

【技术保护点】
一种分散式大数据管理与检索的方法，其特征在于，应用程序服务器处理北斗空间数据，处理后的数据由管理服务器根据配置分散存储到文件服务器，并记录存放的位置，Web服务器为外部网络访问提供服务，把外部访问请求发给应用程序服务器，应用程序服务器通过管理服务器获取分散的文件数据，对这些数据根据访问请求处理后返回给Web服务器；所述数据分为两部分，一部分是基础数据，另一部分是业务数据；系统运行后，系统将数据读入内存中，利用内存的缓冲区直接操作数据文件。

【技术特征摘要】
1.一种分散式大数据管理与检索的方法，其特征在于，应用程序服务器处理北斗空间数据，处理后的数据由管理服务器根据配置分散存储到文件服务器，并记录存放的位置，Web服务器为外部网络访问提供服务，把外部访问请求发给应用程序服务器，应用程序服务器通过管理服务器获取分散的文件数据，对这些数据根据访问请求处理后返回给Web服务器；所述数据分为两部分，一部分是基础数据，另一部分是业务数据；系统运行后，系统将数据读入内存中，利用内存的缓冲区直接操作数据文件。2.根据权利要求1所述的分散式大数据管理与检索的方法，其特征在于，所述基础数据包括海域数据、区划数据和渔船数据；所述业务数据包括渔船小时分布、渔船天分布和渔船轨迹数据。3.根据权利要求2所述的分散式大数据管理与检索的方法，其特征在于，所述区划数据与渔船数据通过区划编号关联；所述渔船轨迹数据通过渔船编号与渔船数据相关联；所述渔船小时分布表通过小渔区编号与海域数据关联；所述渔船天...

【专利技术属性】
技术研发人员：张胜茂，薛嘉伦，张伟锋，程田飞，张衡，化成君，
申请(专利权)人：中国水产科学研究院东海水产研究所，上海地听信息科技有限公司，
类型：发明
国别省市：上海;31