一种数据集成方法和系统技术方案

一种数据集成方法和系统，包括：网关适配器将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据，并通过网关模块转发给报文解析模块；报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再发送给数据集成模块；数据集成模块使用表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。

A data integration method and system

A data integration method and system, including: the gateway adapter converts the data stream of the received AFTN protocol or ATN protocol into the message data of the JMS protocol and forwarded to the message parsing module through the gateway module; the message parsing module matches the message data of the JMS protocol with the pre set message parsing template. The parser is built by loading the matched message parsing template, the text of the message data of the JMS protocol is parsed by parser, and the business message object is constructed according to the parsed text. First, the service message object is sent to the hot cache module and then sent to the data integration module; the data assembly module is expressed by the expression engine. According to the service message object, the expression is used to find data in the heat cache module, and the steps of finding the data in the heat cache module based on the found data are continued until the data is found, and the integrated processing of the data set including all the found data is added to the integrated data source.

【技术实现步骤摘要】
一种数据集成方法和系统
本专利技术涉及民航空管和数据处理技术，尤指一种数据集成方法和系统。
技术介绍
目前常用的数据集成方法主要是传统抽取转换加载(ETL，Extract-Transform-Load)方法、大数据ETL方法以及大数据抽取加载转换(ELT，Extract-Loading-Transform)方法。其中，传统ETL方法是指抽取源数据库的数据，将抽取的数据的数据格式转化为目标数据库或者目标数据仓库的数据格式，然后将转换数据格式后的数据加载到目标数据库或目标数据仓库中，它本身是一个独立的连接源数据库和目标数据库货目标数据仓库的中转工具。大数据ETL方法是指大数据既作为目标数据库也作为ETL工具本身，把源数据库的数据经过映射化简(MapReduce)处理后入库到分布式文件系统(HDFS，HadoopDistributedFileSystem)中。其中，MapReduce处理可以采用分布式计算(Hadoop)软件或Spark软件实现。大数据ELT方法是大数据ETL方法的另外一个形式，ETL作为数据转换工具，在源数据库存储空间较小，或者需要对源数据库中的数据进行处理分析，或者无法提供对源数据库中的数据进行整合需要的数据抽取方法时，往往采用大数据ELT方法，即先把源数据库中的数据先加载到大数据存储HDFS中，然后再对HDFS中的数据进行MapReduce处理，处理后的数据再次加载到大数据存储HDFS中。大数据ETL和ELT两种方法都可以处理复杂的转换方式，存储也采用了支持更多的数据类型包括非结构化类型，但是基于块数据处理的Hadoop软件，无法及时处理动态数据，而采用Spark内存缓存和迭代处理方式，无法清楚内存数据的过期以及只能进行准实时MapReduce处理。目前的数据集成方法具有以下缺陷：1)无法实时转换处理传统的ETL方法中，由于需要人工触发或定时器触发，只能处理秒级的数据，而实时处理需要处理50毫秒以下甚至纳秒级别的数据，因此无法进行实时处理。大数据ELT方法和大数据ETL方法中，Hadoop软件采用是人工触发任务方式；Spark软件采用定时器触发机制，只能触发秒级别处理，因此无法进行实时处理。2)不支持动态数据源传统ETL方法中，只能处理数据库中的静态数据，无法支持数据流方式的处理；大数据ELT方法和大数据ETL方法中，Hadoop软件只能支持块文件处理，无法支持实时流数据处理；Spark软件只能支持秒定时下的流数据处理，无法支持实时流数据源。3)无法支持多种数据源传统ETL方法只能采用驱动方式对数据库进行操作，无法支持提供服务或者动态数据流的数据源；大数据ETL方法和大数据ELT方法中，Hadoop软件的处理数据源是文件，数据源单一；而Spark软件也只能支持Socket、Flume以及Karaf动态数据源方式，对于标准协议Java消息服务(JMS，JavaMessageService)、传输控制协议(TCP，TransmissionControlProtocol)、互联网协议(IP，InternetProtocol)以及串口协议无法支持。4)转换方式复杂对于需要复杂空管信息，信息的格式差异性很大，每一封报文都是包括一个完整的逻辑，而采用传统ETL方式，无法完成复杂报文的解析处理；Hadoop软件和Spark软件采用MapReduce方式可以针对每一类报文定义解析任务，编码复杂性，而且无法适合个性化的报文解析。
技术实现思路
本专利技术实施例提供了一种数据集成方法和系统，能够处理民航空管动态数据。本专利技术实施例提供了一种数据集成方法，包括：网关适配器将接收到的航空固定电信网AFTN协议或航空电信网ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；网关模块将JMS协议的报文数据转发给报文解析模块；报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块；数据集成模块使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。可选的，所述网关适配器将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据包括：所述网关适配器将所述AFTN协议或ATN协议的数据流转换成AFTN协议或ATN协议的报文数据，将所述AFTN协议或ATN协议的报文数据转换成所述JMS协议的报文数据。可选的，所述对包括所有查找到的数据的数据集合进行集成处理得到集成数据源包括：对数据集合归类成不同类型的数据集合，按照预先设置的数据组装模板对每一种类型的数据集合进行装载，采用表达式引擎按照数据组装模板中的表达式对装载的每一类型的数据集合进行运算生成每一类型的数据集合的属性值。可选的，所述报文解析模块包括第一Storm集群；所述第一Storm集群包括三个或三个以上第一服务器节点，其中一个所述第一服务器节点包括第一JMSSpout接收网关组件；包括所述第一JMSSpout接收网关组件的第一服务器节点，用于接收来自所述网关模块的JMS协议的报文数据，并将所述JMS协议的报文数据随风发送给其中一个所述第一服务器节点；接收到所述JMS协议的报文数据的第一服务器节点，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块。可选的，所述数据集成模块包括第二Storm集群，所述第二Storm集群包括三个或三个以上第二服务器节点，其中一个所述第二服务器节点包括第二JMSSpout接收网关组件；包括所述第二JMSSpout接收网关组件的第二服务器节点，用于接收来自所述报文解析模块的业务报文对象，并将所述业务报文对象随机发送给其中一个所述第二服务器节点；接收到所述业务报文对象的第二服务器节点，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。本专利技术实施例还提出了一种数据集成系统，包括：网关适配器，用于将接收到的航空固定电信网AFTN协议或航空电信网ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；网关模块，用于将JMS协议的报文数据转发给报文解析模块；报文解析模块，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数本文档来自技高网...

【技术保护点】
1.一种数据集成方法，其特征在于，包括：网关适配器将接收到的航空固定电信网AFTN协议或航空电信网ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；网关模块将JMS协议的报文数据转发给报文解析模块；报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块；数据集成模块使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。

【技术特征摘要】
1.一种数据集成方法，其特征在于，包括：网关适配器将接收到的航空固定电信网AFTN协议或航空电信网ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；网关模块将JMS协议的报文数据转发给报文解析模块；报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块；数据集成模块使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。2.根据权利要求1所述的数据集成方法，其特征在于，所述网关适配器将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据包括：所述网关适配器将所述AFTN协议或ATN协议的数据流转换成AFTN协议或ATN协议的报文数据，将所述AFTN协议或ATN协议的报文数据转换成所述JMS协议的报文数据。3.根据权利要求1所述的数据集成方法，其特征在于，所述对包括所有查找到的数据的数据集合进行集成处理得到集成数据源包括：对数据集合归类成不同类型的数据集合，按照预先设置的数据组装模板对每一种类型的数据集合进行装载，采用表达式引擎按照数据组装模板中的表达式对装载的每一类型的数据集合进行运算生成每一类型的数据集合的属性值。4.根据权利要求1～3任意一项所述的数据集成方法，其特征在于，所述报文解析模块包括第一Storm集群；所述第一Storm集群包括三个或三个以上第一服务器节点，其中一个所述第一服务器节点包括第一JMSSpout接收网关组件；包括所述第一JMSSpout接收网关组件的第一服务器节点，用于接收来自所述网关模块的JMS协议的报文数据，并将所述JMS协议的报文数据随风发送给其中一个所述第一服务器节点；接收到所述JMS协议的报文数据的第一服务器节点，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块。5.根据权利要求1～3任意一项所述的数据集成方法，其特征在于，所述数据集成模块包括第二Storm集群，所述第二Storm集群包括三个或三个以上第二服务器节点，其中一个所述第二服务器节点包括第二JMSSpout接收网关组件；包括所述第二JMSSpout接收网关组件的第二服务器节点，用于接收来自所述报文解析模块的业务报文对象，并将所述业务报文对象随机发送给其中一个所述第二服务器节点；接收到所述业务报文对象的第二服务器节点，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。6.一种数据集成系统，其特征在于...

【专利技术属性】
技术研发人员：张现伟，王政，陈雪珍，信泉，潘庆革，
申请(专利权)人：北京航管科技有限公司，
类型：发明
国别省市：北京,11