一种运营数据自动同步方法及系统技术方案

本发明专利技术提供了一种运营数据自动同步方法及系统包括：获取并分别解析每一待同步数据对应的源信息对应的轮询任务，判断轮询任务是否符合同步条件，并为不符合同步条件的第一待同步数据建立轮询时间轴，得到第一待同步数据中包含的若干个第一数据；获取符合同步条件的第二待同步数据对应的第二数据，将第一数据和第二数据记作轮询数据，将不同待同步数据对应的轮询数据进行同步处理，建立数据同步文件，传输到指定终端进行显示，通过分析运营数据的源信息来确定该运营数据所执行的轮询任务，然后将任务数据进行对齐并传输，实现了数据的自动同步，不需要人工操作，解决了传统技术中容易出现数据遗漏和偏差的问题。出现数据遗漏和偏差的问题。出现数据遗漏和偏差的问题。

【技术实现步骤摘要】
一种运营数据自动同步方法及系统


[0001]本专利技术涉及数据同步领域，特别涉及一种运营数据自动同步方法及系统。

技术介绍

[0002]在竞争与机遇并存的数字信息化时代下，传统意义上的管理分析和决策手段发生了微妙的变化，已经不能再靠旧的思维模式去做决策，所以新的决策手段油然而生，这就是当下人们常说的“用数据说话”。很多企业在经营的各个环节中都会产生大量的数据，在企业中，对运营数据进行分析具有很重要的意义，这些数据深层挖掘所产生的数据分析报告，及如何做好数据分析工作，对企业的运营及策略调整起着至关重要的作用。目前运营数据大多通过人为的方式维护，人工运维的方式工作效率低且易出现数据偏差或遗漏的情况。
[0003]因此，本专利技术提供了一种运营数据自动同步方法及系统。

技术实现思路

[0004]本专利技术一种运营数据自动同步方法及系统，通过分析运营数据的源信息来确定该运营数据所执行的轮询任务，然后将任务数据进行对齐并传输，实现了数据的自动同步，不需要人工操作，解决了传统技术中容易出现数据遗漏和偏差的问题。
[0005]本专利技术提供了一种运营数据自动同步方法，包括：
[0006]步骤1：获取每一待同步数据对应的源信息；
[0007]步骤2：分别解析每一源信息，得到每一待同步数据对应的轮询任务，判断轮询任务是否符合同步条件；
[0008]步骤3：根据不符合同步条件的第一待同步数据包含的轮询任务对应的轮询时长建立轮询时间轴，在轮询时间轴上标记每一预设时间段对应的轴数据，得到第一待同步数据中包含的若干个第一数据；获取符合同步条件的第二待同步数据对应的第二数据；
[0009]步骤4：将第一数据和第二数据记作轮询数据，将不同待同步数据对应的轮询数据进行同步处理，建立数据同步文件，传输到指定终端进行显示。
[0010]在一种可实施的方式中，
[0011]步骤1包括：
[0012]步骤11：获取每一待同步数据对应的数据源IP；
[0013]步骤12：根据数据源IP查询每一待同步数据对应的数据库；
[0014]步骤13：在数据库中查找对应的待同步数据，得到待同步数据对应的源信息；
[0015]步骤14：统计每一待同步数据对应的源信息。
[0016]在一种可实施的方式中，
[0017]步骤2包括：
[0018]步骤21：解析每一源信息，得到每一待同步数据对应的分钟轮询任务和小时轮询任务；
[0019]步骤22：解析分钟轮询任务和小时轮询任务，得到对应的待同步数据的第一轮询
时长，和第二轮询时长；
[0020]步骤23：当第一轮询时长在第一预设轮询时长范围内，且第二轮询时长在第二预设轮询时长范围内时，确定待同步数据对应的轮询任务符合同步条件，反之，确定待同步数据对应的轮询任务不符合同步条件。
[0021]在一种可实施的方式中，
[0022]步骤3包括：
[0023]步骤31：将不符合同步条件的待同步数据记作第一待同步数据，将符合同步条件的待同步数据记作第二待同步数据；
[0024]步骤32：基于时间顺序将第一待同步数据对应的所有第一小时轮询任务进行排列，得到第一待同步数据对应的总任务序列，运行总轮询任务序列得到总任务轮询时长，根据总任务轮询时长，建立轮询时间轴；
[0025]步骤33：提取第一待同步数据对应的所有第一分钟轮询任务，在轮时间轴上标记每个第一分钟轮询任务对应的轮询时间段；
[0026]步骤34：利用预设时间段将轮询时间轴划分为若干个子轮询段，获取每一子轮询段中包含的轴数据，基于轴数据，调节第一待同步数据的分钟轮询任务节点，得到第一待同步数据对应的若干个第一数据；
[0027]步骤35：将第二待同步数据中每个第二分钟轮询任务对应的任务数据，记作第二数据。
[0028]在一种可实施方式中，
[0029]步骤4包括：
[0030]步骤41：将第一数据和第二数据记作对应待同步数据的轮询数据；
[0031]步骤42：将同一待同步数据中预设数量的轮询数据记作一组，建立若干个轮询组；
[0032]步骤43：分别获取每一轮询组对应的首轮询数据和末轮询数据，获取每一首轮询数据对应的第一轮询时间点和第二轮询时间点，为轮询时间点相同的轮询组建立同步标签；
[0033]步骤44：根据同步标签的先后顺序，得到轮询组的同步顺序，基于同步顺序，将不同待同步数据对应的轮询数据进行同步处理，建立数据同步文件，传输到指定终端进行显示。
[0034]在一种可实施的方式中，
[0035]还包括：
[0036]获取数据同步文件中包含的若干条同步数据；
[0037]提取每一同步数据中包含的运营信息，建立运营信息链；
[0038]利用预设样本遍历运营信息链，得到同一运营信息链中包含的若干个链节点；
[0039]当同一运营信息中包含的孤立链节点时，确定对应的同步数据中出现数据丢失；
[0040]获取存在数据丢失的同步数据记作目标同步数据，获取目标同步数据在数据同步文件中的位置，生成数据丢失信息，传输到指定终端进行显示。
[0041]本专利技术提供一种运营数据自动同步系统，包括：
[0042]采集模块，用于获取每一待同步数据对应的源信息；
[0043]解析模块，用于分别解析每一源信息，得到每一待同步数据对应的轮询任务，判断
轮询任务是否符合同步条件；
[0044]处理模块，用于根据不符合同步条件的第一待同步数据包含的轮询任务对应的轮询时长建立轮询时间轴，在轮询时间轴上标记每一预设时间段对应的轴数据，得到第一待同步数据中包含的若干个第一数据；获取符合同步条件的第二待同步数据对应的第二数据；
[0045]执行模块，用于将第一数据和第二数据记作轮询数据，将不同待同步数据对应的轮询数据进行同步处理，建立数据同步文件，传输到指定终端进行显示。
[0046]在一种可实施的方式中，
[0047]处理模块包括：
[0048]区分单元，用于将不符合同步条件的待同步数据记作第一待同步数据，将符合同步条件的待同步数据记作第二待同步数据；
[0049]建立单元，用于基于时间顺序将第一待同步数据对应的所有第一小时轮询任务进行排列，得到第一待同步数据对应的总任务序列，运行总轮询任务序列得到总任务轮询时长，根据总任务轮询时长，建立轮询时间轴；
[0050]标记单元，用于提取第一待同步数据对应的所有第一分钟轮询任务，在轮时间轴上标记每个第一分钟轮询任务对应的轮询时间段；
[0051]第一处理单元，用于利用预设时间段将轮询时间轴划分为若干个子轮询段，获取每一子轮询段中包含的轴数据，基于轴数据，调节第一待同步数据的分钟轮询任务节点，得到第一待同步数据对应的若干个第一数据；
[0052]第二处理单元，用于将第二待同步数据中每个第二分钟轮询任务对应的任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运营数据自动同步方法，其特征在于，包括：步骤1：获取每一待同步数据对应的源信息；步骤2：分别解析每一源信息，得到每一待同步数据对应的轮询任务，判断轮询任务是否符合同步条件；步骤3：根据不符合同步条件的第一待同步数据包含的轮询任务对应的轮询时长建立轮询时间轴，在轮询时间轴上标记每一预设时间段对应的轴数据，得到第一待同步数据中包含的若干个第一数据；获取符合同步条件的第二待同步数据对应的第二数据；步骤4：将第一数据和第二数据记作轮询数据，将不同待同步数据对应的轮询数据进行同步处理，建立数据同步文件，传输到指定终端进行显示。2.如权利要求1所述的一种运营数据自动同步方法，其特征在于，步骤1包括：步骤11：获取每一待同步数据对应的数据源IP；步骤12：根据数据源IP查询每一待同步数据对应的数据库；步骤13：在数据库中查找对应的待同步数据，得到待同步数据对应的源信息；步骤14：统计每一待同步数据对应的源信息。3.如权利要求1所述的一种运营数据自动同步方法，其特征在于，步骤2包括：步骤21：解析每一源信息，得到每一待同步数据对应的分钟轮询任务和小时轮询任务；步骤22：解析分钟轮询任务和小时轮询任务，得到对应的待同步数据的第一轮询时长，和第二轮询时长；步骤23：当第一轮询时长在第一预设轮询时长范围内，且第二轮询时长在第二预设轮询时长范围内时，确定待同步数据对应的轮询任务符合同步条件，反之，确定待同步数据对应的轮询任务不符合同步条件。4.如权利要求1所述的一种运营数据自动同步方法，其特征在于，步骤3包括：步骤31：将不符合同步条件的待同步数据记作第一待同步数据，将符合同步条件的待同步数据记作第二待同步数据；步骤32：基于时间顺序将第一待同步数据对应的所有第一小时轮询任务进行排列，得到第一待同步数据对应的总任务序列，运行总轮询任务序列得到总任务轮询时长，根据总任务轮询时长，建立轮询时间轴；步骤33：提取第一待同步数据对应的所有第一分钟轮询任务，在轮时间轴上标记每个第一分钟轮询任务对应的轮询时间段；步骤34：利用预设时间段将轮询时间轴划分为若干个子轮询段，获取每一子轮询段中包含的轴数据，基于轴数据，调节第一待同步数据的分钟轮询任务节点，得到第一待同步数据对应的若干个第一数据；步骤35：将第二待同步数据中每个第二分钟轮询任务对应的任务数据，记作第二数据。5.如权利要求1所述的一种运营数据自动同步方法，其特征在于，步骤4包括：步骤41：将第一数据和第二数据记作对应待同步数据的轮询数据；步骤42：将同一待同步数据中预设数量的轮询数据记作一组，建立若干个轮询组；步骤43：分别获取每一轮询组对应的首轮询数据和末轮询数据，获取每一首轮询数据对应的第一轮询时间点和第二轮询时间点，为轮询时间点相同的轮询组建立同步标签；步骤44：根据同步标签的先后顺序，得到轮询组的同步顺序，基于同步顺序，将不同待
同步数据对应的轮询数据进行同步处理，建立数据同步文件，传输到指定终端进行显示。6.如权利要求4所述的一种运营数据自动同步方法，其特征在于，还包括：获取数据同步文件中包含的若干条同步数据；提取每一...

【专利技术属性】
技术研发人员：姚毅，张晨，陈云鹏，杨晓东，赵鲲，李峘，周凤麒，吴肖，
申请(专利权)人：三峡长电大数据科技宜昌有限公司三峡高科信息技术有限责任公司，
类型：发明
国别省市：