一种基于Datax框架的数据同步方法技术

本发明专利技术涉及数据同步技术领域，本发明专利技术涉及一种基于Datax框架的数据同步方法。其包括以下步骤：在其中一个存储介质上接收发送端发出的数据文件，并汇总待同步的数据文件；识别待同步数据文件加密特征，并对数据文件进行输出；建立数据文件优先级规则，根据数据优先级规则对待同步数据文件进行优先级排序，将待同步数据文件依据优先级排序依次同步至另一个存储介质；预设同步阈值，使优先级排序满足同步阈值的所需数据直接同步到另一个存储介质，优先级排序不满足同步阈值的所需数据存储在云空间，本发明专利技术通过建立数据文件优先级规则，根据数据优先级规则对待同步数据文件进行优先级排序，对于重要数据文件进行优先同步，提高工作效率。高工作效率。高工作效率。

【技术实现步骤摘要】
一种基于Datax框架的数据同步方法


[0001]本专利技术涉及数据同步
，具体地说，涉及一种基于Datax框架的数据同步方法。

技术介绍

[0002]随着大数据时代的来临，数据同步和迁移变得越来越普遍，数据同步是将数据从一个系统或存储介质同步到另一个系统或存储介质，以满足业务需求和数据管理的要求，比如在工作中，将电脑中的数据文件同步至手机中，便于在不同设备上进行信息更新和查阅，提高办公效率，目前数据同步时，在电脑和手机等多个设备上同时接收全部数据，但是对于一些设备不需要接收全部数据，仅需要部分数据就可以完成正常工作，但是在接收全部数据时，需要等待较长的时间，导致传输速度较慢，影响办公效率，并且在电脑和手机同步数据过程中，对于一些不重要的数据文件，在同步过程汇总会占用存储空间，随着累计，可能导致手机或电脑同步数据运行速度减慢，影响正常工作，因此，提出一种基于Datax框架的数据同步方法。

技术实现思路

[0003]本专利技术的目的在于提供一种基于Datax框架的数据同步方法，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，提供了一种基于Datax框架的数据同步方法，包括以下步骤：S1、在其中一个存储介质上接收发送端发出的数据文件，并汇总待同步的数据文件；S2、识别待同步数据文件加密特征，并对数据文件进行输出；S3、建立数据文件优先级规则，根据数据优先级规则对待同步数据文件进行优先级排序，将待同步数据文件依据优先级排序依次同步至另一个存储介质；S4、预设同步阈值，使优先级排序满足同步阈值的数据文件直接同步到另一个存储介质，优先级排序不满足同步阈值的所需数据存储在云空间；S5、在另一个存储介质上对所需数据进行压缩存储，并在查看时进行解压。
[0005]作为本技术方案的进一步改进，所述S1中接收发送端发出的数据文件采用无线传感器网络技术。
[0006]作为本技术方案的进一步改进，所述S1中汇总待同步的数据文件，包括以下步骤：S1.1、通过数据库的时间戳功能，对存储介质中每个新增数据项中添加时间戳信息，以标记数据文件的接收时间；S1.2、通过批量导入相同时间戳的数据进行汇总。
[0007]作为本技术方案的进一步改进，所述S2中识别待同步数据文件加密特征，包括以下步骤：S2.1、数据文件进行加密操作时，对于每个数据文件，添加一个元数据字段来跟踪
加密次数，每次对文件进行加密时，将该字段的值加一，并将更新后的元数据保存；S2.2、扫描数据文件，统计每个文件加密次数，确定数据文件的加密特征。
[0008]作为本技术方案的进一步改进，所述S3中建立数据文件优先级规则，并对所需数据进行优先级排序步骤如下：S3.1、根据加密次数多少依次确定数据文件优先级，为每个数据文件分配对应的优先级，加密元数据高的文件分配更高的优先级，加密元数据少的文件分配较低的优先级；S3.2、通过冒泡排序算法对数据文件加密次数对数据文件进行排序。
[0009]作为本技术方案的进一步改进，所述S3.2中冒泡算法具体算法步骤如下：步骤1：准备待排序的数据文件列表，假设数据文件有n个；步骤2:从列表的第一个文件开始，依次比较相邻的两个文件的加密次数；步骤3：如果前一个文件的加密次数大于后一个文件的加密次数，则交换它们的位置；步骤4：继续向后遍历，重复步骤3，直到遍历到列表的倒数第二个文件；步骤5：重复步骤2至4的过程，每一轮迭代都会将当前最大的文件冒泡到列表的末尾；步骤6：由于每一轮迭代都确定了一个最大的文件的位置，因此需要进行n
‑
1轮迭代n为数据文件的数量，数据文件列表中的文件将按照加密次数从大到小排序。
[0010]作为本技术方案的进一步改进，所述S4中优先级排序不满足同步阈值的所需数据存储在云空间，包括以下步骤：S4.1、确定预设的同步阈值；S4.2、采用区间判断对每个数据文件的特征值与预设的阈值进行比较，当数据文件特征值比同步阈值大时，数据文件直接同步至另一个存储介质，当数据文件特征值比同步阈值小时，数据文件直接同步至云空间。
[0011]作为本技术方案的进一步改进，所述S5采用无损压缩技术对存储介质上的数据进行压缩，保存原始数据的完整性。
[0012]与现有技术相比，本专利技术的有益效果：该基于Datax框架的数据同步方法中，通过对待同步数据文件进行汇总，便于对数据文件进行统一处理，同时识别数据文件的加密特征，通过建立数据文件的优先级规则，将待同步数据文件依据优先级排序依次同步至另一个存储介质，使重要数据信息优先同步，通过优先级高低顺序对所需数据依次传输至另一个存储介质，对于一些设备不需要接收全部数据，仅需要部分数据就可以完成正常工作，但是在同步全部数据时，需要等待较长的时间，通过优先级排序同步信息从而提高数据同步效率，同时，通过预设同步阈值，将不满足阈值区间的数据文件存储至云空间，避免过多数据文件同时存储至另一个存储介质内导致占用过多存储空间，当存储介质因存储空间不足导致手机或电脑数据同步运行速度减慢，从而保障同步效率。
附图说明
[0013]图1为本专利技术的整体流程框图；图2为本专利技术的汇总待同步数据文件的流程框图；
图3为本专利技术的识别待同步数据文件加密特征的流程框图；图4为本专利技术的建立数据优先级规则的流程框图；图5为本专利技术对数据文件分类存储的流程框图。
具体实施方式
[0014]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0015]请参阅图1
‑
图5所示，本实施例目的在于，因此，提供了一种基于Datax框架的数据同步方法，包括以下步骤：S1、在其中一个存储介质上接收发送端发出的数据文件，并汇总待同步的数据文件；所述S1中接收发送端发出的数据文件采用无线传感器网络技术；无线传感器网络技术：通过各个传感器节点之间可以使用无线通信技术，例如Wi
‑
Fi、Zigbee、LoRa等，直接进行数据传输和交换，传感器节点可以将采集到的数据通过无线通信传输给网络中的基站或汇聚节点，基站可以将接收到的数据存储在本地存储设备中，或者通过互联网将数据上传到云平台进行存储和管理，实现对数据文件的接收。
[0016]所述S1中汇总待同步的数据文件，包括以下步骤：S1.1、通过数据库的时间戳功能，对存储介质中每个新增数据项中添加时间戳信息，以标记数据文件的接收时间；S1.2、通过批量导入相同时间戳的数据文件进行汇总。
[0017]具体使用时，通过数据库的时间戳功能，对存储介质中每个新增数据项中添加时间戳信息，以标记数据文件的接收时间，由于时间戳具有唯一性和精确性，因此，便于对已有数据和新增数据进行区分，通过批量导入相同时间戳的数据文件进行汇总，便于对新增数据文件进行统一同步处理。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Datax框架的数据同步方法，其特征在于：包括以下步骤：S1、在其中一个存储介质上接收发送端发出的数据文件，并汇总待同步的数据文件；S2、识别待同步数据文件加密特征，并对数据文件进行输出；S3、建立数据文件优先级规则，根据数据优先级规则对待同步数据文件进行优先级排序，将待同步数据文件依据优先级排序依次同步至另一个存储介质；S4、预设同步阈值，使优先级排序满足同步阈值的数据文件直接同步到另一个存储介质，优先级排序不满足同步阈值的所需数据存储在云空间；S5、在另一个存储介质上对所需数据进行压缩存储，并在查看时进行解压。2.根据权利要求1所述的基于Datax框架的数据同步方法，其特征在于：所述S1中接收发送端发出的数据文件采用无线传感器网络技术。3.根据权利要求1所述的基于Datax框架的数据同步方法，其特征在于：所述S1中汇总待同步的数据文件，包括以下步骤：S1.1、通过数据库的时间戳功能，对存储介质中每个新增数据项中添加时间戳信息，以标记数据文件的接收时间；S1.2、通过批量导入相同时间戳的数据文件进行汇总。4.根据权利要求1所述的基于Datax框架的数据同步方法，其特征在于：所述S2中识别待同步数据文件加密特征，包括以下步骤：S2.1、数据文件进行加密操作时，对于每个数据文件，添加一个元数据字段来跟踪加密次数，每次对文件进行加密时，将该字段的值加一，并将更新后的元数据保存；S2.2、扫描数据文件，统计每个文件加密次数，确定数据文件的加密特征。5.根据权利要求1所述的基于Datax框架的数据同步方法，其特征在于：所述S3中建立数据文件优先级规则，并对所需数据进行...

【专利技术属性】
技术研发人员：杨阳，蔡杰，陈旭，
申请(专利权)人：深圳迅策科技有限公司，
类型：发明
国别省市：