基于DataX数据同步的轨道交通数据中台实现方法技术

本发明专利技术的提供了一种基于DataX数据同步的轨道交通数据中台实现方法，通过统一的数据接口接收json格式数据；将所述json格式数据进行数据分类，并转换成待执行文件；所述待执行文件符合DataX框架识别条件；通过DataX对所述待执行文件进行同步。以此方式，可以接收各个系统的应用数据，将不同的数据源进行合并和完善，统一格式存储，统一接口标准；减少数据应用成本，为不同的业务应用以标准的接口提供数据服务；提高数据管理能力，更加方便的定位所需数据，理解数据，确保数据的访问权限和数据的可用性。

【技术实现步骤摘要】
基于DataX数据同步的轨道交通数据中台实现方法
本专利技术的实施例一般涉及轨道交通领域，并且更具体地，涉及一种基于DataX数据同步的轨道交通数据中台实现方法。
技术介绍
轨道交通是属于集多专业，多工种于一身的复杂系统，通常有轨道路线，车站，车辆，维护检修基地，供变电，通信信号，指挥控制中心等组成。每一个专业都自身成为一个独立的系统，需要和别的依赖系统进行数据的交互，以达到轨道交通运营的目的。当前轨道交通系统中的数据按照不同的专业由系统各自存储，导致各个系统中的数据复用性较低，形成信息孤岛；如果需要复用系统中的数据，需要不同系统开发特定的接口进行交互，导致数据应用过程中成本较高；而且在应用的过程中，由于不同的系统中数据的数据结构不同，无法进行统一管理，给数据管理增加了成本，最终难以实现数据价值，不利于数据挖掘和业务创新。
技术实现思路
根据本专利技术的实施例，提供了一种基于DataX数据同步的轨道交通数据中台实现方案。在本专利技术的第一方面，提供了一种基于DataX数据同步的轨道交通数据中台实现方法。该方法包括：通过统一的数据接口接收json格式数据；将所述json格式数据进行数据分类，并转换成待执行文件；所述待执行文件符合DataX框架识别条件；通过DataX对所述待执行文件进行同步。进一步地，所述将所述json格式数据进行数据分类，包括：根据所述json格式数据的数据主题ID从数据库中获取其对应数据主题的配置内容，根据配置内容将所述json格式数据进行数据分类。进一步地，所述配置内容，包括：目标应用地址、目标应用接收当前数据的实现方式和目标应用的数据结构。进一步地，所述DataX框架识别条件，包括：数据文件为data格式文本，且包含同步任务信息。进一步地，还包括：在通过DataX对所述待执行文件进行同步后，对同步结果进行管理。进一步地，所述对同步结果进行管理，包括：判断所述待执行文件是否同步成功，如果是，则将同步成功的数据文件归档到历史记录；否则，记录同步失败次数，将同步失败的数据文件归档到失败记录。进一步地，所述记录同步失败次数触发失败次数判断，包括：当所述同步失败次数小于预设失败次数时，重新通过DataX对所述待执行文件进行同步，如果重新同步成功，则删除所述同步失败记录中对应的数据文件；当所述同步失败次数达到预设次数时，发出同步失败消息。在本专利技术的第二方面，提供了一种基于DataX数据同步的轨道交通数据中台实现装置。该装置包括：数据传输组件，用于通过统一的数据接口接收json格式数据；分类转换模块，用于将所述json格式数据进行数据分类，并转换成待执行文件；所述待执行文件符合DataX框架识别条件；同步模块，用于通过DataX对所述待执行文件进行同步。在本专利技术的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。在本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本专利技术的第一方面的方法。应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本专利技术的实施例的关键或重要特征，亦非用于限制本专利技术的范围。本专利技术的其它特征将通过以下的描述变得容易理解。本专利技术能够接收各个系统的应用数据，将不同的数据源进行合并和完善，统一格式存储，统一接口标准；减少数据应用成本，为不同的业务应用以标准的接口提供数据服务；提高数据管理能力，更加方便的定位所需数据，理解数据，确保数据的访问权限和数据的可用性。附图说明结合附图并参考以下详细说明，本专利技术各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：图1示出了本专利技术的基于DataX数据同步的轨道交通数据中台实现方法的流程图；图2示出了本专利技术的基于DataX数据同步的轨道交通数据中台实现装置的方框图；图3示出了能够实施本专利技术的实施例的示例性电子设备的方框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本专利技术保护的范围。另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。本专利技术中，能够接收各个系统的应用数据，将不同的数据源进行合并和完善，统一格式存储，统一接口标准；减少数据应用成本，为不同的业务应用以标准的接口提供数据服务；提高数据管理能力，更加方便的定位所需数据，理解数据，确保数据的访问权限和数据的可用性。图1示出了本专利技术实施例的基于DataX数据同步的轨道交通数据中台实现方法的流程图。该方法包括：S101、通过统一的数据接口接收json格式数据；作为本专利技术的一种实施例，数据中台的数据传输组件通过HttpRestful服务接收各个系统的应用数据，所述应用数据为json格式数据，且包含数据主题和数据内容。“REST”是“REpresentationStateTransfer”的缩写，为表现层状态转移，即URL定位资源，用HTTP动词(GET、POST、DELETE、PUSH等)描述操作；而基于REST构建的API就是Restful风格。Restful是典型的基于HTTP的协议。数据中台，通过HttpRestful服务接收各个客户端系统的应用或者第三方上传的不同数据源的应用数据，所述应用数据为json格式在各个数据中均包括数据主题和数据内容。所述应用数据接入到数据中台的数据传输组件，则需要通过规范的接口进行统一，使接入数据中台的数据是json格式。所述数据主题为数据的业务区分，用于区分数据归属于具体应用的业务类型，例如行车数据、信号数据等。所述数据内容，为数据包含内容，例如行车数据包含停车精度，早晚点状态等等。通过数据内容能够在执行DataX任务时生成相应需要的job和data文件。通过HttpRestful服务统一采集数据，为不同的业务应用以标准的接口提供数据服务，减少数据应用成本。S102、将所述json格式数据进行数据分类，并转换成待执行文件。在接收到json格式的数据后，需要对数据进行分类，按不同的需求进行存储或者转发。每个数据主题都唯一对应一个ID，所述ID用于标识所述数据主题。解析出应用数据的数据主题ID，将本文档来自技高网...

【技术保护点】
1.一种基于DataX数据同步的轨道交通数据中台实现方法，其特征在于，包括：/n通过统一的数据接口接收json格式数据；/n将所述json格式数据进行数据分类，并转换成待执行文件；所述待执行文件符合DataX框架识别条件；/n通过DataX对所述待执行文件进行同步。/n

【技术特征摘要】
1.一种基于DataX数据同步的轨道交通数据中台实现方法，其特征在于，包括：
通过统一的数据接口接收json格式数据；
将所述json格式数据进行数据分类，并转换成待执行文件；所述待执行文件符合DataX框架识别条件；
通过DataX对所述待执行文件进行同步。


2.根据权利要求1所述的方法，其特征在于，所述将所述json格式数据进行数据分类，包括：
根据所述json格式数据的数据主题ID从数据库中获取其对应数据主题的配置内容，根据配置内容将所述json格式数据进行数据分类。


3.根据权利要求2所述的方法，其特征在于，所述配置内容，包括：
目标应用地址、目标应用接收当前数据的实现方式和目标应用的数据结构。


4.根据权利要求1所述的方法，其特征在于，所述DataX框架识别条件，包括：
数据文件为data格式文本，且包含同步任务信息。


5.根据权利要求1所述的方法，其特征在于，还包括：
在通过DataX对所述待执行文件进行同步后，对同步结果进行管理。


6.根据权利要求5所述的方法，其特征在于，所述对同步结果进行管理，包括：
判断所述待执行文件...

【专利技术属性】
技术研发人员：智国盛，周驰楠，高凯，莫林，
申请(专利权)人：广西交控智维科技发展有限公司，
类型：发明
国别省市：广西;45