适用于军事行动大数据的数据处理方法及装置制造方法及图纸

本公开提供了一种适用于军事行动大数据的数据处理方法及装置，其中方法包括：实时接入面向军事行动大数据的多源异构数据，多源异构数据包括多个来源

【技术实现步骤摘要】
适用于军事行动大数据的数据处理方法及装置


[0001]本公开涉及大数据
，具体涉及一种适用于军事行动大数据的数据处理方法及装置
。

技术介绍

[0002]随着计算机软硬件技术的高速发展，数据处理的需求呈指数级增长
。
根据国际数据公司的研究报告，全球数据量每两年翻一番，全世界数据量已由
21
世纪初的
EB
级增长到如今的
ZB
级，年增长率超过
40%。
面对如此巨大的数据量上升趋势，如何高效处理数据成为各应用领域亟待解决的问题
。
[0003]例如，在国防军事领域，决策方案的优劣很大程度上决定了各项军事行动的成败，优秀的决策方案离不开对于态势信息的全面感知，而感知信息越全面，数据量越大，如何更高效地处理海量数据成为军事行动决策的刚性需求
。
[0004]针对相关技术中无法高效处理数据的问题，目前尚未提出有效的技术解决方案
。

技术实现思路

[0005]本公开的主要目的在于提供一种适用于军事行动大数据的数据处理方法及装置，以解决相关技术中无法高效处理数据的问题
。
[0006]为了实现上述目的，本公开的第一方面提供了一种适用于军事行动大数据的数据处理方法，包括：实时接入面向军事行动大数据的多源异构数据，其中，多源异构数据包括多个来源
、
不同结构的数据；采用架构可扩展的消息中间件对多源异构数据进行缓存，其中，消息中间件包括
Kafka
；根据多源异构数据对应的处理方式设计数据流，按照数据流从消息中间件中读取数据，其中，处理方式包括流式处理和批量处理；以及采用分布式的数据处理引擎，对读取的数据进行预处理，实现数据整合
。
[0007]可选地，实时接入面向军事行动大数据的多源异构数据，包括：接入面向军事行动大数据的非结构化数据，其中，非结构化数据包括普通文本文件
、CSV
文本文件
、JSON
格式数据和
XML
格式数据；基于接入的非结构化数据，执行多数据库抽取源适配，其中，多数据库抽取源适配包括
Oracle
表数据抽取
、MySQL
表数据抽取
、SQLServer
表数据抽取
、POSTGresql
表数据抽取和表数据全量数据抽取
。
[0008]进一步地，接入面向军事行动大数据的非结构化数据，包括：根据非结构化数据所属文件的后缀，识别文件的类型；基于文件的类型，对文件的格式进行处理；利用服务总线提供的适配器，通过各适配器之间的连接和服务引擎，对格式处理
后文件的各种类型
、
数据服务标准和通讯协议进行接入或转换，实现转换配置；在实现转换配置之后，利用数据总线接入非结构化数据
。
[0009]可选地，根据多源异构数据对应的处理方式设计数据流，按照数据流从消息中间件中读取数据，包括：如果数据需要进行流式处理，则直接使用实时流处理计算框架从消息中间件中读取数据；如果数据需要进行批量处理，则：使用数据采集系统从消息中间件中读取数据，并将数据写入文件系统中；以及使用离线批处理计算框架或预设单机系统，根据配置从文件系统中读取数据
。
[0010]可选地，采用分布式的数据处理引擎，对读取的数据进行预处理，实现数据整合，包括：采用分布式的数据处理引擎，对读取的流式数据在有边界和无边界的数据流上进行有状态计算；对读取的数据进行数据清洗；以及对读取的数据进行数据格式转换
。
[0011]进一步地，对读取的数据进行数据清洗，包括：从读取的数据中选择需要进行分析的数据集中的数据列，对不需要进行分析的数据列进行隐藏，并对选择的数据列进行命名；删除数据中的重复值，去除数据冗余；通过定位条件查询查找数据中的缺失值，对缺失值进行补全，检查数据的完备性；将数据进行一致化处理，以保证数据的标准化；对选择的数据列中的数据进行筛选排序；以及过滤数据中的异常值，去除噪点数据
。
[0012]进一步地，对读取的数据进行数据格式转换，包括：利用
ETL
工具，针对读取的数据中的同类数据，按照预设数据标准进行数据格式转换，将数据中的非标格式数据转换为标准格式数据；其中，数据格式转换包括：时间日期格式转换
、IP
地址格式转换
、
字符串灵活多样转换
、
字母大小写转换
、
全半角转换
、
度量衡单位格式转换和代码转换
。
[0013]本公开的第二方面提供了一种适用于军事行动大数据的数据处理装置，包括：数据接入单元，用于实时接入面向军事行动大数据的多源异构数据，其中，多源异构数据包括多个来源
、
不同结构的数据；数据缓冲单元，用于采用架构可扩展的消息中间件对多源异构数据进行缓存，其中，消息中间件包括
Kafka
；数据流设计单元，用于根据多源异构数据对应的处理方式设计数据流，按照数据流从消息中间件中读取数据，其中，处理方式包括流式处理和批量处理；以及数据预处理单元，用于采用分布式的数据处理引擎，对读取的数据进行预处理，实现数据整合
。
[0014]本公开的第三方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行第一方面任意一项提供的适用于军事行动大数
据的数据处理方法
。
[0015]本公开的第四方面提供了一种电子设备，电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行第一方面任意一项提供的适用于军事行动大数据的数据处理方法
。
[0016]在本公开实施例提供的适用于军事行动大数据的数据处理方法中，采用架构可扩展的消息中间件对多源异构数据进行缓存，消息中间件包括
Kafka
；可以通过简单的增加节点横向扩展
Kafka
的集群容量，并且通过
Kafka
将数据持久化到硬盘上，防止数据的丢失，此外，架构可扩展的消息中间件具有高性能，每秒钟能处理数以千计生产者生产的消息，解决了相关技术中无法高效处理数据的问题
。
附图说明
[0017]为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0018]图1为本公开实施例提供的适用于军事行动大数据的数据处理方法流程示意图；图2为本公开实施例提供的数据缓冲区的作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种适用于军事行动大数据的数据处理方法，其特征在于，包括：实时接入面向军事行动大数据的多源异构数据，其中，所述多源异构数据包括多个来源
、
不同结构的数据；采用架构可扩展的消息中间件对所述多源异构数据进行缓存，其中，所述消息中间件包括
Kafka
；根据所述多源异构数据对应的处理方式设计数据流，按照所述数据流从所述消息中间件中读取数据，其中，所述处理方式包括流式处理和批量处理；以及采用分布式的数据处理引擎，对读取的数据进行预处理，实现数据整合
。2.
根据权利要求1所述的方法，其特征在于，所述实时接入面向军事行动大数据的多源异构数据，包括：接入面向军事行动大数据的非结构化数据，其中，所述非结构化数据包括普通文本文件
、CSV
文本文件
、JSON
格式数据和
XML
格式数据；基于接入的非结构化数据，执行多数据库抽取源适配，其中，所述多数据库抽取源适配包括
Oracle
表数据抽取
、MySQL
表数据抽取
、SQLServer
表数据抽取
、POSTGresql
表数据抽取和表数据全量数据抽取
。3.
根据权利要求2所述的方法，其特征在于，所述接入面向军事行动大数据的非结构化数据，包括：根据非结构化数据所属文件的后缀，识别文件的类型；基于所述文件的类型，对所述文件的格式进行处理；利用服务总线提供的适配器，通过各适配器之间的连接和服务引擎，对格式处理后文件的各种类型
、
数据服务标准和通讯协议进行接入或转换，实现转换配置；在实现转换配置之后，利用数据总线接入所述非结构化数据
。4.
根据权利要求1所述的方法，其特征在于，所述根据所述多源异构数据对应的处理方式设计数据流，按照所述数据流从所述消息中间件中读取数据，包括：如果数据需要进行所述流式处理，则直接使用实时流处理计算框架从所述消息中间件中读取数据；如果数据需要进行所述批量处理，则：使用数据采集系统从所述消息中间件中读取数据，并将所述数据写入文件系统中；以及使用离线批处理计算框架或预设单机系统，根据配置从所述文件系统中读取数据
。5.
根据权利要求1所述的方法，其特征在于，所述采用分布式的数据处理引擎，对读取的数据进行预处理，实现数据整合，包括：采用分布式的数据处理引擎，对读取的流式数据在有边界和无边界的数...

【专利技术属性】
技术研发人员：臧义华，马兴民，郝韫宏，郭阳，王楠，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：