一种基于消息中间件的数据预处理方法、系统及电子设备技术方案

本发明专利技术公开了一种基于消息中间件的数据预处理方法、系统及电子设备，涉及轨道交通智能运维领域，解决了数据量庞大且数据质量不可控的问题，本发明专利技术依据预处理模型自动为轨道交通数据匹配对应的预处理步骤，规范预处理过程，提升预处理可靠性，保证数据有效性，并可通过预处理的结果对预处理模型中所含有的信息进行优化，在下一次输入同类型业务数据时，可根据预处理模型实现对轨道交通数据的自动预处理，实现了预处理模型的复用，从而解决了数据量庞大且数据质量不可控的问题，提高了数据的价值。的价值。的价值。

【技术实现步骤摘要】
一种基于消息中间件的数据预处理方法、系统及电子设备


[0001]本专利技术涉及一种轨道交通智能运维领域，更具体地说，它涉及一种基于消息中间件的数据预处理方法、系统及电子设备。

技术介绍

[0002]在信息化快速发展的时代，数据在其中扮演者不可或缺的重要角色，是所有信息化建设工作最重要的基础，轨道交通(铁路和城市轨道交通)行业信息化建设同样如此。为实现轨道交通行业各类应用系统之间数据有效共享、快速交换，数据共享概念应运而生，为深层次挖掘，数据分析提供重要基础。
[0003]然而各类异构信息系统之间的数据交换，由于数据不同源、标准不统一、难以整合，如何明确各类业务系统之间数据共享的接口规范，确保数据的规范性和准确性成为其中难点之一。现有数据共享技术多为应用系统之间分别定义接口协议通过网络直接交换数据，数据量庞大，数据质量不可控。

技术实现思路

[0004]本专利技术为了解决现有技术所存在的不足之处，提供了一种基于消息中间件的数据预处理方法、系统及电子设备，依据预处理模型自动为轨道交通数据匹配对应的预处理步骤，规范预处理过程，提升预处理可靠性，保证数据有效性，并可通过预处理的结果对预处理模型中所含有的信息进行优化，在下一次输入同类型业务数据时，可根据预处理模型实现对轨道交通数据的自动预处理，实现了预处理模型的复用，从而解决了数据量庞大且数据质量不可控的问题，提高了数据的价值。
[0005]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0006]第一方面，本专利技术提供了一种基于消息中间件的数据预处理方法，包括：
[0007]获取轨道交通数据；
[0008]建立预设有各类业务数据的预处理模型；
[0009]在消息中间件的缓存队列进行消费时，自动按照所述预处理模型对所述轨道交通数据进行预处理，其中将预处理通过的轨道交通数据存入对应的业务数据表，将预处理不通过的轨道交通数据的错误信息进行处理，根据处理的结果选择是否补入至所述预处理模型。
[0010]进一步的，获取轨道交通数据，具体为：编写的数据拉取定时任务定时调用第三方应用系统提供的Restful接口，获取轨道交通数据，并将所述轨道交通数据发送至消息中间件的缓存队列。
[0011]进一步的，建立预设有各类业务数据的预处理模型，具体为：根据业务数据将需要校验的关键信息编码，并对照编码指定各类业务数据的预处理模型，其中预处理模型包括业务名称信息、业务编码信息以及业务顺序信息。
[0012]进一步的，所述业务名称信息、业务编码信息以及业务顺序信息依次包括部门修
正、线路修正、线路区站修正、行别修正、锚段修正、股道修正、隧道修正、支柱修正、关键设备修正、检测设备类型修正、检测设备修正、用户缺陷分类修正、用户缺陷等级修正、检修台账类型修正以及故障原因修正；其中，业务编码信息按照所述业务顺序信息依次进行编码。
[0013]进一步的，在消息中间件的缓存队列进行消费时，具体为：编写订阅消息代码对轨道交通数据进行实时订阅，基于所述订阅消息代码对所述缓存队列中的轨道交通数据进行消费。
[0014]进一步的，将预处理通过的轨道交通数据存入对应的业务数据表，具体为：
[0015]将通过的轨道交通数据自动规整为标准数据实体，并存入MongoDB数据库对应的业务数据表，其中消息中间件将自动对通过的轨道交通数据所对应的各类业务数据按照预处理模型的数据信息进行清洗、标准化以及入库处理规整为标准数据实体。
[0016]进一步的，将预处理不通过的轨道交通数据的错误信息进行处理，根据处理的结果选择是否补入至所述预处理模型，具体为：
[0017]将预处理不通过的轨道交通数据的每一条业务数据中所有错误信息进行更正和/或删除，获得符合业务数据的轨道交通数据；
[0018]遍历所述预处理模型中的各类业务数据与符合业务数据的轨道交通数据进行对比，若存在则不需要将补入至所述预处理模型中，反之则将符合业务数据的轨道交通数据补入至所述预处理模型中。
[0019]进一步的，所述消息中间件为Kafak。
[0020]第二方面，本专利技术提供了一种基于消息中间件的数据预处理系统，包括：
[0021]数据获取模块，用于获取轨道交通数据；
[0022]模型建立模块，用于建立预设有各类业务数据的预处理模型；
[0023]数据预处理模块，用于在消息中间件的缓存队列进行消费时，自动按照所述预处理模型对所述轨道交通数据进行预处理，其中将预处理通过的轨道交通数据存入对应的业务数据表，将预处理不通过的轨道交通数据的错误信息进行处理，根据处理的结果选择是否补入至所述预处理模型。
[0024]第三方面，本专利技术提供了一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现第一方面所述方法的步骤。
[0025]与现有技术相比，本专利技术具有以下有益效果：
[0026]1、依据预处理模型自动为轨道交通数据匹配对应的预处理步骤，规范预处理过程，提升预处理可靠性，保证数据有效性，并可通过预处理的结果对预处理模型中所含有的信息进行优化，在下一次输入同类型业务数据时，可根据预处理模型实现对轨道交通数据的自动预处理，实现了预处理模型的复用，从而解决了数据量庞大且数据质量不可控的问题，提高了数据的价值。
[0027]2、本专利技术可应用于各类应用系统之间通用数据的交换，保证数据的完整性和正确性；
[0028]3、本专利技术规范第三方应用系统的接口，统一标准化的数据接口，奠定数据共享基础。
附图说明
[0029]此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本申请的一部分，并不构成对本专利技术实施例的限定。在附图中：
[0030]图1为本专利技术实施例一提供的一种基于消息中间件的数据预处理方法的流程示意图；
[0031]图2为本专利技术实施例提供的一种基于消息中间件的数据预处理方法的数据流向示意图；
[0032]图3为本专利技术实施例二提供的一种基于消息中间件的数据预处理系统的结构框图；
[0033]图4为本专利技术实施例三提供的一种电子设备的结构框图。
具体实施方式
[0034]为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。
[0035]实施例一
[0036]在信息化快速发展的时代，数据在其中扮演者不可或缺的重要角色，是所有信息化建设工作最重要的基础，轨道交通(铁路和城市轨道交通)行业信息化建设同样如此。为实现轨道交通行业各类应用系统之间数据有效共享、快速交换，数据共享概念应运而生，为深层次挖掘，数据分析提供重要基础。
[0037]然而各类异构信息系统之间的数据交换，由于数据不同源、标准不统一、难以整合，如何明确各类业务系统之间数据共享的接口规范，确保数据的规范性和准确性成为其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于消息中间件的数据预处理方法，其特征在于，包括：获取轨道交通数据；建立预设有各类业务数据的预处理模型；在消息中间件的缓存队列进行消费时，自动按照所述预处理模型对所述轨道交通数据进行预处理，其中将预处理通过的轨道交通数据存入对应的业务数据表，将预处理不通过的轨道交通数据的错误信息进行处理，根据处理的结果选择是否补入至所述预处理模型。2.根据权利要求1所述的方法，其特征在于，获取轨道交通数据，具体为：编写的数据拉取定时任务定时调用第三方应用系统提供的Restful接口，获取轨道交通数据，并将所述轨道交通数据发送至消息中间件的缓存队列。3.根据权利要求1所述的方法，其特征在于，建立预设有各类业务数据的预处理模型，具体为：根据业务数据将需要校验的关键信息编码，并对照编码指定各类业务数据的预处理模型，其中预处理模型包括业务名称信息、业务编码信息以及业务顺序信息。4.根据权利要求3所述的方法，其特征在于，所述业务名称信息、业务编码信息以及业务顺序信息依次包括部门修正、线路修正、线路区站修正、行别修正、锚段修正、股道修正、隧道修正、支柱修正、关键设备修正、检测设备类型修正、检测设备修正、用户缺陷分类修正、用户缺陷等级修正、检修台账类型修正以及故障原因修正；其中，业务编码信息按照所述业务顺序信息依次进行编码。5.根据权利要求1所述的方法，其特征在于，在消息中间件的缓存队列进行消费时，具体为：编写订阅消息代码对轨道交通数据进行实时订阅，基于所述订阅消息代码对所述缓存队列中的轨道交通数据进行消费。6.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：姚刚，李俊兵，王瑞锋，杨环，罗旺春，高锐，涂安洪，鲜永昌，
申请(专利权)人：成都智谷耘行信息技术有限公司，
类型：发明
国别省市：