【技术实现步骤摘要】
数据同步方法、装置、内网服务器及介质
本专利技术涉及数据处理
，尤其涉及一种数据同步方法、装置、内网服务器及介质。
技术介绍
数据同步是指将源数据库中的数据同步至目标数据库。目前是通过采取全量抽取的方式从源数据库的单表中抽取所有字段对应的数据，然而，当单表中的数据量较大时，从单表中全量抽取所有字段对应的数据不仅耗费了大量的抽取时间，还加大了服务器加工数据的计算量，进而导致数据同步的效率低下。此外，一些对安全性要求较高的源数据库存在定时断开连接的机制，当单表中的数据在同步时，源数据库的定时中断连接，会带来数据重复同步、同步的数据不完整等问题。
技术实现思路
鉴于以上内容，有必要提供一种数据同步方法、装置、内网服务器及介质，不仅能够提高数据同步的效率，还能够确保数据在目标断开时间内完成抽取，以避免源数据库的定时中断连接带来的数据问题。一种数据同步方法，应用于内网服务器中，所述内网服务器与多个数据源及外网服务器相通信，所述外网服务器包括目标数据库，所述数据同步方法包括：当接收到数据同步请求...
【技术保护点】
1.一种数据同步方法，应用于内网服务器中，所述内网服务器与多个数据源及外网服务器相通信，所述外网服务器包括目标数据库，其特征在于，所述数据同步方法包括：/n当接收到数据同步请求时，根据所述数据同步请求确定待同步数据表中数据的复杂度，并从所述数据同步请求中获取与所述待同步数据表对应的同步精度；/n当所述复杂度大于第一预设阈值，或者所述同步精度大于第二预设阈值时，读取并量化所述待同步数据表的读取时间；/n根据所述待同步数据表确定目标数据源，并根据所述目标数据源确定目标断开时间；/n根据所述读取时间及所述目标断开时间拆分所述待同步数据表，得到多个子数据表；/n确定所述目标数据库对...
【技术特征摘要】
1.一种数据同步方法，应用于内网服务器中，所述内网服务器与多个数据源及外网服务器相通信，所述外网服务器包括目标数据库，其特征在于，所述数据同步方法包括：
当接收到数据同步请求时，根据所述数据同步请求确定待同步数据表中数据的复杂度，并从所述数据同步请求中获取与所述待同步数据表对应的同步精度；
当所述复杂度大于第一预设阈值，或者所述同步精度大于第二预设阈值时，读取并量化所述待同步数据表的读取时间；
根据所述待同步数据表确定目标数据源，并根据所述目标数据源确定目标断开时间；
根据所述读取时间及所述目标断开时间拆分所述待同步数据表，得到多个子数据表；
确定所述目标数据库对应的业务需求，并根据所述业务需求确定目标字段；
调用多线程并发抽取所述多个子数据表中的所述目标字段对应的数据；
当检测到所述多个子数据表中的所述目标字段对应的数据完成抽取时，确定所述目标数据库的数据格式；
依次将抽取到的数据转换为具有所述数据格式的目标数据，并通过光闸接口将所述目标数据依次写入所述目标数据库中。
2.如权利要求1所述的数据同步方法，其特征在于，所述根据所述数据同步请求确定待同步数据表中数据的复杂度包括：
确定所述待同步数据表中数据的总数据量；
根据所述总数据量确定所述数据的复杂度。
3.如权利要求2所述的数据同步方法，其特征在于，所述读取并量化所述待同步数据表的读取时间包括：
获取数据读取时调用的程序代码；
利用Systrace分析工具分析所述程序代码的执行时间；
根据所述执行时间及所述总数据量确定所述读取时间。
4.如权利要求2所述的数据同步方法，其特征在于，所述根据所述读取时间及所述目标断开时间拆分所述待同步数据表，得到多个子数据表包括：
将所述读取时间除以所述目标断开时间，得到拆分数量；
根据所述总数据量及所述拆分量确定拆分基准量；
以所述拆分基准量为基准，依次对所述待同步数据表进行拆分，得到所述多个子数据表。
5.如权利要求1所述的数据同步方法，其特征在于，当所述目标数据源有多个时，所述根据所述目标数据源确定目标断开时间包括：
获取每个目标数据源的定时时间，得到多个定时时间；
从所述多个定时时间中选取最短的定时时间，并将选取到的定时时间确定为所述目标断开时间。
6.如权利要求1所述的数据同步方法，其特征在于，所述调用多线程并发抽取所述多个子数据表中的所述目标字段对应的数据包括：
获取与所述待同步请求对应的线程池，并从所述线程池中获取所有闲置线程及所有非闲置线程；
计算所述所有闲置线程的线程数量；
当所述线程数量大于或者等于所述拆分数量时，调用数量为所述拆分数量...
【专利技术属性】
技术研发人员：周燚健，张月，李志龙，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。