【技术实现步骤摘要】
本专利技术涉及船舶数据采集、存储、处理与使用领域，具体涉及一种船用数据中心的高速数据存储、处理与访问方法。
技术介绍
1、船舶信息系统是一个包含多种类型电子设备的复杂系统，各电子设备或子系统均通过船舶网络交换机进行网络互连和数据交互。船舶信息系统中的网络节点数量众多，因此会有多台交换机提供设备接入来进行网络通信。
2、为实现对每台交换机上各个用户端口数据信息的采集，通常会在每台交换机设置一个镜像端口。该镜像端口将该网络交换机上的其他用户端口的数据进行镜像汇总。通过对镜像端口数据进行采集，可以获取到网络上传输的各种网络数据，对该数据进行存储、处理后，可为用户使用相关数据进行通信故障检测和业务分析提供基础数据支撑。
3、随着网络交换机技术的不断发展，船舶信息系统中陆续采用了新一代网络交换机。新网络交换机的网络端口已经由原来的1g端口升级为10g端口，并且越来越多的设备开始由模拟信号传递转向数字化、网络化，因此船舶系统网络上节点数量与日俱增，网络通信产生的流量也显著增大。
4、基于上述变化，原有船舶网络中主流的千兆速率网络数据采集设备已无法适应网络数据流量增长。因此，在新的船舶网络中，船用数据中心已经采取了全新的万兆网络数据采集设备，以满足对新增数据流量的采集需求。
5、在实际使用过程中，由于网络数据量暴增，导致数据检索和处理的时间显著增长，用户在使用数据处理的结果数据时往往需要较长时间的等待。同时，由于处理量大，处理效率低，还会形成大量待处理数据的积压。
6、与此同时，当前
7、如何在保证高速数据被完整存储的前提下，尽可能提升数据处理效率，避免由于数据处理速度小于数据产生速度而导致的数据处理积压，同时将用户使用数据与后台数据处理、数据采集进行完全分离，用户只需要使用数据，而不需要去介入数据处理过程，成为船用数据中心提升用户体验的关键。
8、因此，现有的船舶网络数据存储、处理及访问方式亟待改进，以适应高速网络数据流量下的用户使用需求。当前迫切需要一种适用于万兆网络数据采集的有效的数据采集、存储及处理方法。
技术实现思路
1、本专利技术的目的在于，提供一种船用数据中心的高速数据存储、处理与访问方法，实现高速网络流量下的数据存储、处理与访问的协同工作，以保证大流量数据存储的完整性、大幅提升数据处理效率，避免数据处理积压，缩短用户使用数据的等待时间，并实现多个用户对数据的独立访问与使用。
2、本专利技术所采用的技术方案如下：
3、一种船用数据中心的高速数据存储、处理与访问方法，该方法包括：
4、按照年月日时的4级目录结构创建数据存储文件目录；其中，4级目录仅包含时间信息，不包含文件名信息；
5、执行数据录取时，设置本次录取的录取文件名，输入录取文件信息描述；
6、按照设置的录取文件名创建数据录取子目录，并进行文件自动分片；
7、将录取文件名和对应的文件信息描述写入到索引文件中；
8、当生成一个录取文件后，以消息形式通知数据处理任务将该文件纳入文件处理队列；当一个子文件生成后，即对该子文件进行处理，实现存储与处理的异步协同；
9、对已经处理过的数据文件进行标识，避免数据的重复处理；
10、数据处理时，按照ip、单元标识对报文进行分类，对同类报文进行md5码生成并将该md5码按照ip、单元标识作为索引特征进行暂存；当新的同类报文过来时，也生成md5码；如果两个md5码相同，表示该两个报文的数据内容完全一致，为重复数据，则不予处理；如果md5码发生变化，表示为新的数据，则更新暂存的md5码，并继续处理下一数据；
11、按照报文的发方ip、收方ip、信息单元标识作为表名来建立该报文类型的数据库表，同时将该表的字段结构形成一个md5码；当该报文的字段定义发生变化时，表结构会发生变化，因此新的表结构会形成不同的md5码；在进行数据处理前，比较表结构的md5码，当发现当前md5码和之前不同时，表明该报文的字段定义发生变化；将之前的表重命名，然后将新建的表命名，由此原来的数据依然被保留，而新的数据进入当前最新格式的数据库表中；
12、建立b/s数据访问机制，通过b/s架构实现多个用户同时对数据进行访问使用。
13、进一步的，执行数据录取时，选择文件自动分片大小。
14、进一步的，按照设置的录取文件名创建数据录取子目录，并进行文件自动分片，包括：
15、以“设置的录取文件名+启动录取时刻的年月日时分秒”创建同名的录取文件目录，将该文件目录按照对应的启动时间存储在年月日时的4级目录结构下对应的时目录中；该子文件依据录取启动时刻所在的时间，被存储在对应的时目录下；
16、创建第一个数据录取子文件，其命名规则为“设置的录取文件名+本子文件创建时的年月日时分秒”，存储在对应的本次录取文件目录下；当录取到的数据超过预设的文件自动分片大小阈值时，会形成一个新的子文件，子文件命名规则同上。
17、进一步的，将录取文件名和对应的文件信息描述写入到索引文件中，包括：
18、将录取文件名和对应的文件信息描述写入到索引文件中，具体格式为：文件名-包含年月日时分秒的创建时间-文件信息描述；文件索引只保存该录取文件第一个子文件对应的时间信息和文件信息描述，后续同一录取文件名对应的各子文件不再重复写入文件索引；
19、建立索引文件，支持后续通过文件名、时间进行文件查找，并通过文件信息描述获取该次录取所涉及的具体任务内容信息。
20、进一步的，对已经处理过的数据文件进行标识，避免数据的重复处理，包括：
21、对生成的数据文件按照文件生成的时间先后顺序进行自动解析处理，并写入数据库；对已经处理过的数据文件进行标识，具体方式是对已经完成处理的文件修改其文件名，增加一个已处理的后缀标识，以此来与未处理的文件进行区分，避免重复处理。
22、进一步的，设置紧急任务优先处理规则：
23、查看当前正在处理的数据文件，如果急需的文件没有被处理，则可中止当前文件的处理，进行处理挂起；然后按照时间段、文件名的方式对急需处理的原始文件进行检索，检索成功后，对该文件进行紧急处理；被选择的紧急处理文件将被提前处理，待该紧急任务处理完后，继续恢复原有数据文件的处理。
24、进一步的，建立b/s数据访问机制，通过b/s架构实现多个用户同时对数据进行访问使用，包括：...
【技术保护点】
1.一种船用数据中心的高速数据存储、处理与访问方法，其特征在于，该方法包括：
2.根据权利要求1所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，执行数据录取时，选择文件自动分片大小。
3.根据权利要求1所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，按照设置的录取文件名创建数据录取子目录，并进行文件自动分片，包括：
4.根据权利要求3所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，将录取文件名和对应的文件信息描述写入到索引文件中，包括：
5.根据权利要求1所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，对已经处理过的数据文件进行标识，避免数据的重复处理，包括：
6.根据权利要求1所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，设置紧急任务优先处理规则：
7.根据权利要求1所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，建立B/S数据访问机制，通过B/S架构实现多个用户同时对数据进行访问使用，包括：
8.一种船用数据
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于被处理器执行时，实现权利要求1至7中任意一项所述的船用数据中心的高速数据存储、处理与访问方法。
...【技术特征摘要】
1.一种船用数据中心的高速数据存储、处理与访问方法，其特征在于，该方法包括：
2.根据权利要求1所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，执行数据录取时，选择文件自动分片大小。
3.根据权利要求1所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，按照设置的录取文件名创建数据录取子目录，并进行文件自动分片，包括：
4.根据权利要求3所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，将录取文件名和对应的文件信息描述写入到索引文件中，包括：
5.根据权利要求1所述的船用数据中心的高速数据存储、处理与访问方法，其特征在于，对已经处理过的数据文件进行标识，避免数据的重复处理，...
【专利技术属性】
技术研发人员：吴畅，石剑，何新星，张岿，徐俊，
申请(专利权)人：中国舰船研究设计中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。