一种煤矿两级数据中心的数据同步方法技术

本发明专利技术公开了一种煤矿两级数据中心的数据同步方法，包括以下步骤：S1、通过数据采集适配器将煤矿数据汇聚到煤矿端数据中心；S2、在将煤矿数据写入煤矿端数据中心的同时，将解析后的煤矿数据从第一业务数据消息队列集群镜像到第二业务数据消息队列；S3、从第二业务数据消息队列获取镜像后的煤矿数据，并通过第二入库服务写入公司端数据中心；S4；将公司端产生的煤矿相关数据从第二业务数据消息队列集群镜像到第一业务数据消息队列；S5、从第一业务数据消息队列获取所述煤矿相关数据，并通过第一入库服务写入煤矿端数据中心。本方案在保持两个数据中心数据一致的同时，提高数据同步的实时性，满足煤矿实际数据存储和应用对于效率的需求。率的需求。率的需求。

【技术实现步骤摘要】
一种煤矿两级数据中心的数据同步方法


[0001]本专利技术属于煤矿数据交互同步领域，涉及一种煤矿两级数据中心的数据同步方法。

技术介绍

[0002]在煤矿的开采与管理中，通常需要在煤矿端和公司端分别建立数据中心，煤矿端的数据中心主要汇聚煤矿安全、生产、调度、运营等业务领域的所有数据，公司端的数据中心需要汇聚各个煤矿端数据中心的数据以及公司端自身的数据。因此，如何保证两个数据中心之间的数据一致就成了一个关键难题。
[0003]煤矿行业中，最常见的数据中心同步是指煤矿端和公司端之间的关系数据库的同步，一般采用数据读写分离和数据日志同步相结合的方式，这种方法一般是将两个数据中心的读写进行分离，在数据中心部署两套数据库服务器，一台负责读操作，一台负责写操作，同时将数据库的写操作日志进行解析，并将操作日志在两个数据中心之间进行数据同步。然而，上述方式的适用场景一般为数据产生频率不高和数据量不大的管理系统，却不合适于煤矿这样的特殊工业场景，煤矿在监测监控和生产过程控制阶段会高频产生大量的环境监测和设备工况数据，这些数据需要快速采集入库，数据产生的频率高，数据量大，如果采用日志同步的方式，无法满足煤矿实际数据存储和应用对效率的需求。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种煤矿两级数据中心的数据同步方法，以数据双向同步的方式来实现两个数据中心之间的数据一致，贯通生产执行层与控制层数据通道，提高数据同步的实时性，满足煤矿实际数据存储和应用对于效率的需求，为煤矿智能化建设提供数据支撑。<br/>[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]一种煤矿两级数据中心的数据同步方法，基于煤矿端和公司端，在所述煤矿端部署数据采集适配器、数据交换服务、数据解析器、原始数据消息队列、第一业务数据消息队列、第一入库服务和煤矿端数据中心，在所述公司端部署第二业务数据消息队列、第二入库服务和公司端数据中心，包括以下步骤：
[0007]S1、将煤矿数据汇聚到煤矿端数据中心；
[0008]煤矿数据汇聚具体包括：
[0009]S11、通过所述数据采集适配器对煤矿各子系统的数据源进行适配，并统一采集；所述数据源包括监测监控数据、生产控制数据和经营管理数据；
[0010]S12、将数据源的数据集合与第三方平台推送的数据形成煤矿数据后以文本文件的方式在本地备份，得到第一备份文件，并提交到数据交换服务；
[0011]S13、通过数据交换服务对所述煤矿数据进行初步数据校验；若初步数据校验成功，则将煤矿数据推送到原始数据消息队列；若校验失败，则推送到原始数据消息队列中的
不合规记录主题；
[0012]S14、从原始数据消息队列中获取数据，通过数据解析器对所述煤矿数据进行解析；将解析后的煤矿端数据推送到第一业务数据消息队列，并通过第一入库服务写入煤矿端数据中心；
[0013]S2、在将解析后的煤矿数据写入煤矿端数据中心的同时，将解析后的煤矿数据从第一业务数据消息队列集群镜像到第二业务数据消息队列；
[0014]S3、从第二业务数据消息队列获取镜像后的煤矿数据，并通过第二入库服务写入公司端数据中心；
[0015]S4、将公司端产生的煤矿相关数据从第二业务数据消息队列集群镜像到第一业务数据消息队列；
[0016]S5、从第一业务数据消息队列获取所述煤矿相关数据，并通过第一入库服务写入煤矿端数据中心。
[0017]进一步，在所述S12中，根据煤矿数据的不同特征，将第一业务数据消息队列集群分为多个消息主题，所述消息主题包括定义数据主题、实时数据主题和其它数据主题。
[0018]本方案每个数据主题负责不同类型的数据传输，能够将不同特征的数据分开传输，从而能够根据数据特征辨别传输情况，便于发现数据的错传和漏传。
[0019]进一步，所述消息主题按照优先级从高到低排序为：定义数据主题＞实时数据主题＞其它数据主题。
[0020]本方案能够提高数据传输的时序性，能够判断是否按照预定的时间顺序进行传输，从而便于判断数据传输是否失败，进而在必要的数据传输失败后快速进行重传，避免出现必要数据漏传的情况。
[0021]进一步，在所述S12中，若数据提交失败，则执行提交失败策略：
[0022]1)若数据交互服务传输接口状态正常，则立即重新提交1次；
[0023]2)若数据交互服务传输接口不可用，且数据不可丢弃，在第一备份文件标记提交失败状态，等待重新提交；
[0024]3)若数据交互服务传输接口不可用，且数据可丢弃，则结束记录，并停止重新提交。
[0025]进一步，在所述S2和S4中，集群镜像过程如下：
[0026]步骤一、数据镜像模块以生产者
‑
消费者的模式进行工作，为每个消费者分配一个线程，消费者从源集群的不同消息主题上读取数据，然后通过公共生产者将数据发送到目标集群；
[0027]步骤二、消费者每经过预设周期通知生产者发送数据到目标集群，并等待目标集群的确认；
[0028]步骤三、消费者通知源集群提交对应的偏移量。
[0029]在S2中，第一业务数据消息队列为源集群，第二业务数据消息队列为目标集群；在S5中，第二业务数据消息队列为源集群，第一业务数据消息队列位目标集群。
[0030]本方案在源集群提交偏移量之前，消息队列对消息进行了确认，能够保证不丢失数据，而且如果数据镜像进程发生崩溃，最多只会出现短期(预设周期)的重复数据，减少了数据同步过程可能产生的冗余数据量。
[0031]进一步，数据解析过程包括：
[0032]S141、获取原始数据消息队列中的非标准数据和标准数据，备份到本地数据文件，得到第二备份文件；
[0033]S142、获取非标准数据校验规则，对非标准数据进行校验，将非标准数据划分为不合规非标准数据和合规非标准数据；将不合规非标准数据推送到第一业务数据消息队列；获取数据转换规则，将合规非标准数据转换为标准数据；
[0034]S143、获取标准数据校验规则，对标准数据进行校验，将标准数据划分为不合规标准数据和合规标准数据；将不合规标准数据推送到第一业务数据消息队列，获取数据转换规则，将合规标准数据转换为业务数据；
[0035]S144、对业务数据进行事件分析，所述事件分析包括测点变更，异常记录和分级预警分析；
[0036]S145、将业务数据推送到第一业务数据消息队列。
[0037]进一步，在第一入库服务和第二入库服务中，分别将第一业务数据消息队列和第二业务数据消息队列作为业务数据消息队列，数据入库流程包括：
[0038]1)消费业务数据消息队列中的业务数据，备份到本地数据文件，得到第三备份文件；
[0039]2)加载消息主题对应的入库存储策略，组装数据为存储结构DataTable；
[0040]3)根据入库存储策略将数据写入目标数据库，如果写入成功，提交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种煤矿两级数据中心的数据同步方法，其特征在于：基于煤矿端和公司端，在所述煤矿端部署数据采集适配器、数据交换服务、数据解析器、原始数据消息队列、第一业务数据消息队列、第一入库服务和煤矿端数据中心，在所述公司端部署第二业务数据消息队列、第二入库服务和公司端数据中心，包括以下步骤：S1、将煤矿数据汇聚到煤矿端数据中心；煤矿数据汇聚具体包括：S11、通过所述数据采集适配器对煤矿各子系统的数据源进行适配，并统一采集；所述数据源包括监测监控数据、生产控制数据和经营管理数据；S12、将数据源的数据集合与第三方平台推送的数据形成煤矿数据后以文本文件的方式在本地备份，得到第一备份文件，并提交到数据交换服务；S13、通过数据交换服务对所述煤矿数据进行初步数据校验；若初步数据校验成功，则将煤矿数据推送到原始数据消息队列；若校验失败，则推送到原始数据消息队列中的不合规记录主题；S14、从原始数据消息队列中获取数据，通过数据解析器对所述煤矿数据进行解析；将解析后的煤矿端数据推送到第一业务数据消息队列，并通过第一入库服务写入煤矿端数据中心；S2、在将解析后的煤矿数据写入煤矿端数据中心的同时，将解析后的煤矿数据从第一业务数据消息队列集群镜像到第二业务数据消息队列；S3、从第二业务数据消息队列获取镜像后的煤矿数据，并通过第二入库服务写入公司端数据中心；S4、将公司端产生的煤矿相关数据从第二业务数据消息队列集群镜像到第一业务数据消息队列；S5、从第一业务数据消息队列获取所述煤矿相关数据，并通过第一入库服务写入煤矿端数据中心。2.根据权利要求1所述的一种煤矿两级数据中心的数据同步方法，其特征在于：在所述S12中，根据煤矿数据的不同特征，将第一业务数据消息队列分为多个消息主题，所述消息主题包括定义数据主题、实时数据主题和其它数据主题。3.根据权利要求2所述的一种煤矿两级数据中心的数据同步方法，其特征在于：所述消息主题按照优先级从高到低排序为：定义数据主题＞实时数据主题＞其它数据主题。4.根据权利要求1或3所述的一种煤矿两级数据中心的数据同步方法，其特征在于：在所述S12中，若数据提交失败，则执行提交失败策略：1)若数据交互服务传输接口状态正常，则立即重新提交1次；2)若数据交互服务传输接口不可用，且数据不可丢弃，在第一备份文件标记提交失败状态，等待重新提交；3)若数据交互服务传输接口不可用，且数据可丢弃，则结束记录，并停止重新提交。5.根据权利要求1所述的一种煤矿两级数据中心的数据同步...

【专利技术属性】
技术研发人员：陈清，张翼，吴克介，何桥，陈运启，郭经飞，罗滨，许金，吴国庆，白罗，于林，王健林，
申请(专利权)人：中煤科工集团重庆研究院有限公司，
类型：发明
国别省市：