数据同步方法、装置、设备及计算机可读存储介质制造方法及图纸

一种基于数据处理的数据同步方法、装置、设备及计算机可读存储介质，所述方法包括根据获取指令获取多个服务器生成的同步数据任务；根据选择指令以抢占方式选择多个服务器中的一个作为指定服务器，并将切分权限分配给指定服务器；控制指定服务器获取至少一个同步数据任务并将对应的同步数据任务切分为多个任务块；根据维护指令执行维护线程检测切分线程的工作状态；根据抓取指令控制多个服务器分别执行抓取线程抓取任务块；根据处理指令控制多个服务器分别将抓取的任务块对应的数据存储至指定位置。本发明专利技术在多个服务器构成的数据同步系统中采用抢占的方式分配切分权限，并且多个服务器的抓取线程和处理线程同步进行，可提高数据同步速率。

Data synchronization method, device, equipment and computer readable storage medium

【技术实现步骤摘要】
数据同步方法、装置、设备及计算机可读存储介质
本专利技术主要涉及通信
，具体地说，涉及一种数据同步方法、装置、设备及计算机可读存储介质。
技术介绍
随着信息化的发展每个人、每间公司、每个组织等每天有大量的信息处理需要处理，同时又不断的生成新的信息。所有的信息通常都需要进行存储或备份，以防止误操作或系统故障导致数据丢失。现有技术中，通常采用单线程进行同步操作，在同步操作出现延迟时，会导致数据丢失等问题。
技术实现思路
本专利技术的主要目的是提供一种数据同步方法、装置、设备及计算机可读存储介质，旨在解决现有技术中单线程同步操作延迟导致数据丢失的问题。为实现上述目的，本专利技术提供一种数据同步方法，所述数据同步方法包括以下步骤：在接收到获取指令时，获取多个服务器生成的同步数据任务，以构成任务池；在接收选择指令时，以抢占方式选择多个所述服务器中的一个作为指定服务器，并将切分权限分配给所述指定服务器；在接收到切分指令时，控制所述指定服务器从所述任务池内获取至少一个所述同步数据任务并执行切分线程，以本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，所述数据同步方法包括：/n在接收到获取指令时，获取多个服务器生成的同步数据任务，以构成任务池；/n在接收选择指令时，以抢占方式选择多个所述服务器中的一个作为指定服务器，并将切分权限分配给所述指定服务器；/n在接收到切分指令时，控制所述指定服务器从所述任务池内获取至少一个所述同步数据任务并执行切分线程，以将对应的所述同步数据任务切分为多个任务块；/n在接收到维护指令时，所述指定服务器执行维护线程，以检测所述切分线程的工作状态；/n在接收抓取指令时，控制多个所述服务器分别执行抓取线程，以抓取所述任务块；/n在接收到处理指令时，控制多个所述服务器分别处理抓取的所述任...

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述数据同步方法包括：
在接收到获取指令时，获取多个服务器生成的同步数据任务，以构成任务池；
在接收选择指令时，以抢占方式选择多个所述服务器中的一个作为指定服务器，并将切分权限分配给所述指定服务器；
在接收到切分指令时，控制所述指定服务器从所述任务池内获取至少一个所述同步数据任务并执行切分线程，以将对应的所述同步数据任务切分为多个任务块；
在接收到维护指令时，所述指定服务器执行维护线程，以检测所述切分线程的工作状态；
在接收抓取指令时，控制多个所述服务器分别执行抓取线程，以抓取所述任务块；
在接收到处理指令时，控制多个所述服务器分别处理抓取的所述任务块，以将所述任务块对应的数据存储至指定位置。


2.如权利要求1所述的数据同步方法，其特征在于，所述以抢占方式选择多个所述服务器中的一个作为指定服务器，以将切分权限分配给所述指定服务器的步骤包括：
获取每个所述服务器访问所述任务池的访问时间；其中，多个所述服务器随机访问所述任务池；
选择所述访问时间最早的所述服务器作为所述指定服务器并记录锁定信息；所述锁定信息包括锁定时间和所述指定服务器的特征信息。


3.如权利要求1至2项中任意一项所述的数据同步方法，其特征在于，所述切分线程可在工作状态和休眠状态之间切换；所述指定服务器从所述任务池内获取至少一个所述同步数据任务并执行切分线程，以将对应的所述同步数据任务切分为多个任务块的步骤包括：
在所述工作状态所述切分线程根据所述同步数据任务产生的时间依次获取一个所述同步数据任务并将其切分为第一指定数量的所述任务块；所述第一指定数量为1000；
所述切分线程切换至所述休眠状态；
累计切分休眠时间；
判断所述切分休眠时间是否小于第一休眠时间；
在所述切分休眠时间小于所述第一休眠时间时，则识别所述指定服务器处于所述休眠状态，并返回所述累计切分休眠时间。


4.如权利要求3所述的数据同步方法，其特征在于，在所述切分休眠时间大于等于所述第一休眠时间的步骤之后，所述数据同步方法包括：
每隔第一预定时间获取所述锁定信息；
判断当前所述锁定信息与上一个所述锁定信息是否一致；
在当前所述锁定信息与上一个所述锁定信息不一致时，返回所述切分线程依次获取一个所述同步数据任务并将其切分为第二指定数量的所述任务块的步骤；
在当前所述锁定信息与上一个所述锁定信息一致时，则累计检测时间；
判断所述累计检测时间是否大于指定时间；
在所述累计检测时间小于所述指定时间时，则返回所述每隔第一预定时间获取所述锁定信息的步骤；
在所述累计检测时间大于等于所述指定时间时，则识别所述切分线程工作异常，并强制结束所述切分线程。


5.如权利要求1至2项中任意一项所述的数据同步方法，其特征在于，所述维护线程可在工作状态和休眠状态之间切换；所述指定服务器执行维护线程，以检测所述切分线程的工作状态的步骤包括...

【专利技术属性】
技术研发人员：张羽，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44