增量数据同步的方法、装置、计算机设备及计算机存储介质制造方法及图纸

本申请公开了一种增量数据同步的方法、装置、计算机设备及计算机存储介质，涉及云存储技术领域，可以将合适的增量数据同步方式推送给需要同步的数据表，提高增量数据的同步效率。所述方法包括：获取适用于增量数据同步方式的模式字符；根据所述模式字符确定适用于增量数据同步方式的预设匹配规则，构造多个增量数据同步方式的正则表达式；当接收到增量数据同步请求时，将所述待同步增量数据表中的数据分别与每个增量同步方式的正则表达式进行匹配，查找是否存在与所述待同步数据表中的数据相匹配的字符串；若存在，则根据所述与所述待同步数据表中增量数据匹配字符串数量最多的增量数据同步方式对所述待同步增量数据表进行增量数据同步。

Incremental Data Synchronization Method, Device, Computer Equipment and Computer Storage Media

【技术实现步骤摘要】
增量数据同步的方法、装置、计算机设备及计算机存储介质
本专利技术涉及云存储
，尤其是涉及增量数据同步的方法、装置、计算机设备及计算机存储介质。
技术介绍
计算机网络的飞速发展和信息化的推进使得数据成为很多企业的宝贵资源，使得数据采集、存储和处理任务与日俱增，基于网络的数据共享已经成为人们获取数据资源不可或缺的方式。为了更好地实现数据共享需要对共享数据进行同步，数据同步对企业来说至关重要，比如企业的服务器端用于管理分属于企业不同部门的业务端，并且在服务器端存储有管理数据，那么为了方便服务器端对各个业务端进行管理，同时提高业务端的数据处理效率，需要保证服务器端与各个业务端之间的数据同步。通常情况下，根据数据写入后是否会发生变化将需要同步的数据分为两类数据，一类是不会发生变化的数据，一般是日志数据等；另一类是会变化的数据，一般是人员表等。针对会变化的数据，随着时间维度的改版，业务端会不断新增记录的数据，该新增记录的数据称为增量数据。用户可以根据实际需求选择不同的增量数据同步方式，例如，全表删除的增量数据同步方式、时间戳动态更新的增量数据同步方式以及逐条对比的增量数据同步方式。然而，不同的增量数据同步方式需要对数据表的结构、大小进行手动判断，需要耗费大量人工操作时间来选择合适的增量数据同步方式，并且在人工操作过程中容易产生错误，将不合适的增量数据同步方式推送给需要同步的数据表，导致增量数据同步的效率降低。
技术实现思路
有鉴于此，本专利技术提供了一种增量数据同步的方法、装置、计算机设备及计算机存储介质，主要目的在于解决目前相关技术中增量数据同步效率低下的问题。依据本专利技术一个方面，提供了一种增量数据同步的方法，该方法包括：获取适用于增量数据同步方式的模式字符；根据所述模式字符确定适用于增量数据同步方式的预设匹配规则，构造多个增量数据同步方式的正则表达式；当接收到增量数据同步请求时，将所述待同步增量数据表中的数据分别与每个增量同步方式的正则表达式进行匹配，查找是否存在与所述待同步数据表中的数据相匹配的字符串；若存在，则根据所述与所述待同步数据表中增量数据匹配字符串数量最多的增量数据同步方式对所述待同步增量数据表进行增量数据同步。进一步地，所述获取适用于增量数据同步方式的模式字符包括：通过解析适用于增量数据同步方式的数据表定义的字段，获取适用于增量数据同步方式的字段；从所述适用于增量数据同步方式的字段中选取预设字段作为适用于增量数据同步方式的模式字符。进一步地，所述模式字符中包含适用于增量数据同步方式的特征信息，所述根据所述模式字符确定适用于增量数据同步方式的预设匹配规则，构造多个增量数据同步方式的正则表达式包括：根据所述模式字符中适用于增量数据同步方式的特征信息，确定所述模式字符在增量数据表中的匹配规则；根据所述模式字符在增量数据表中的匹配规则，构造多个增量数据同步方式的正则表达式。进一步地，所述根据所述模式字符中适用于增量数据同步方式的特征信息，确定所述模式字符在增量数据表中的匹配规则包括：如果所述模式字符中适用于增量数据同步方式的特征信息为位置信息，以所述模式字符在增量数据表中的字段位置作为匹配规则；如果所述模式字符中适用于增量数据同步方式的特征信息为时间信息，以所述模式字符在增量数据表中的时间戳作为匹配规则；如果所述模式字符中适用于增量数据同步方式的特征信息为频率信息，以所述模式字符在增量数据表中的出现次数作为匹配规则。进一步地，所述根据所述模式字符在增量数据表中的匹配规则，构造多个增量数据同步方式的正则表达式包括：根据所述模式字符在增量数据表中的匹配规则，从字符表中筛选出符合增量数据同步方式的普通字符串以及特殊字符串，所述字符表包括用于组合各种匹配规则的普通字符串以及特殊字符串；将所述符合增量数据同步方式的普通字符串以及特殊字符串导入至表达式模板中，构造多个增量数据同步方式的正则表达式。进一步地，在所述当接收到增量数据同步请求时，将所述待同步增量数据表中的数据分别与每个增量同步方式的正则表达式进行匹配，查找是否存在与所述待同步数据表中的数据相匹配的字符串之后，所述方法还包括：若不存在，则根据待同步增量数据表对应的数据量大小确定适用于待同步增量数据表的增量数据同步方式；根据所述适用于待同步增量数据表的增量数据同步方式对所述待同步增量数据表进行增量数据同步。进一步地，所述根据待同步增量数据表对应的数据量大小确定增量数据同步方式包括：统计所述待同步增量数据表中的数据条数；如果所述待同步增量数据表中的数据条数小于或等于预设数值，则采用全表删除的增量数据同步方式；如果所述待同步增量数据表中的数据条数大于预设数值，则采用逐条比对的增量数据同步方式。依据本专利技术另一个方面，提供了一种增量数据同步的装置，所述装置包括：获取单元，用于获取适用于增量数据同步方式的模式字符；构造单元，用于根据所述模式字符确定适用于增量数据同步方式的预设匹配规则，构造多个增量数据同步方式的正则表达式；查找单元，用于当接收到增量数据同步请求时，将所述待同步增量数据表中的数据分别与每个增量同步方式的正则表达式进行匹配，查找是否存在与所述待同步数据表中的数据相匹配的字符串；第一同步单元，用于若存在，则根据所述与所述待同步数据表中增量数据匹配字符串数量最多的增量数据同步方式对所述待同步增量数据表进行增量数据同步。进一步地，所述获取单元包括：获取模块，用于通过解析适用于增量数据同步方式的数据表定义的字段，获取适用于增量数据同步方式的字段；选取模块，用于从所述适用于增量数据同步方式的字段中选取预设字段作为适用于增量数据同步方式的模式字符。进一步地，所述模式字符中包含适用于增量数据同步方式的特征信息，所述构造单元包括：第一确定模块，用于根据所述模式字符中适用于增量数据同步方式的特征信息，确定所述模式字符在增量数据表中的匹配规则；构造模块，用于根据所述模式字符在增量数据表中的匹配规则，构造多个增量数据同步方式的正则表达式。进一步地，所述第一确定模块，具体用于如果所述模式字符中适用于增量数据同步方式的特征信息为位置信息，以所述模式字符在增量数据表中的字段位置作为匹配规则；所述第一确定模块，具体还用于如果所述模式字符中适用于增量数据同步方式的特征信息为时间信息，以所述模式字符在增量数据表中的时间戳作为匹配规则；所述第一确定模块，具体还用于如果所述模式字符中适用于增量数据同步方式的特征信息为频率信息，以所述模式字符在增量数据表中的出现次数作为匹配规则。进一步地，所述构造模块，具体用于根据所述模式字符在增量数据表中的匹配规则，从字符表中筛选出符合增量数据同步方式的普通字符串以及特殊字符串，所述字符表包括用于组合各种匹配规则的普通字符串以及特殊字符串；所述构造模块，具体还用于将所述符合增量数据同步方式的普通字符串以及特殊字符串导入至表达式模板中，构造多个增量数据同步方式的正则表达式。进一步地，所述装置还包括：确定单元，用于在所述当接收到增量数据同步请求时，将所述待同步增量数据表中的数据分别与每个增量同步方式的正则表达式进行匹配，查找是否存在与所述待同步数据表中的数据相匹配的字符串之后，若不存在，则根据待同步增量数据表对应的数据量大小确定适用于待同步增量数据表的增量本文档来自技高网...

【技术保护点】
1.一种增量数据同步的方法，其特征在于，所述方法包括：获取适用于增量数据同步方式的模式字符；根据所述模式字符确定适用于增量数据同步方式的预设匹配规则，构造多个增量数据同步方式的正则表达式；当接收到增量数据同步请求时，将所述待同步增量数据表中的数据分别与每个增量同步方式的正则表达式进行匹配，查找是否存在与所述待同步数据表中的数据相匹配的字符串；若存在，则根据所述与所述待同步数据表中增量数据匹配字符串数量最多的增量数据同步方式对所述待同步增量数据表进行增量数据同步。

【技术特征摘要】
1.一种增量数据同步的方法，其特征在于，所述方法包括：获取适用于增量数据同步方式的模式字符；根据所述模式字符确定适用于增量数据同步方式的预设匹配规则，构造多个增量数据同步方式的正则表达式；当接收到增量数据同步请求时，将所述待同步增量数据表中的数据分别与每个增量同步方式的正则表达式进行匹配，查找是否存在与所述待同步数据表中的数据相匹配的字符串；若存在，则根据所述与所述待同步数据表中增量数据匹配字符串数量最多的增量数据同步方式对所述待同步增量数据表进行增量数据同步。2.根据权利要求1所述的方法，其特征在于，所述获取适用于增量数据同步方式的模式字符包括：通过解析适用于增量数据同步方式的数据表定义的字段，获取适用于增量数据同步方式的字段；从所述适用于增量数据同步方式的字段中选取预设字段作为适用于增量数据同步方式的模式字符。3.根据权利要求1所述的方法，其特征在于，所述模式字符中包含适用于增量数据同步方式的特征信息，所述根据所述模式字符确定适用于增量数据同步方式的预设匹配规则，构造多个增量数据同步方式的正则表达式包括：根据所述模式字符中适用于增量数据同步方式的特征信息，确定所述模式字符在增量数据表中的匹配规则；根据所述模式字符在增量数据表中的匹配规则，构造多个增量数据同步方式的正则表达式。4.根据权利要求3所述的方法，其特征在于，所述根据所述模式字符中适用于增量数据同步方式的特征信息，确定所述模式字符在增量数据表中的匹配规则包括：如果所述模式字符中适用于增量数据同步方式的特征信息为位置信息，以所述模式字符在增量数据表中的字段位置作为匹配规则；如果所述模式字符中适用于增量数据同步方式的特征信息为时间信息，以所述模式字符在增量数据表中的时间戳作为匹配规则；如果所述模式字符中适用于增量数据同步方式的特征信息为频率信息，以所述模式字符在增量数据表中的出现次数作为匹配规则。5.根据权利要求3所述的方法，其特征在于，所述根据所述模式字符在增量数据表中的匹配规则，构造多个增量数据同步方式的正则表达式包括：根据所述模式字符在增量数据表中的匹配规则，从字符表中筛选出符合...

【专利技术属性】
技术研发人员：张辉，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44