一种基于socket的大批量数据实时同步方法技术

本发明专利技术公开一种基于socket的大批量数据实时同步方法，涉及数据传输技术领域，其实现包括：在数据库一中设置取数规则一和取数规则二；调用取数规则一，获取用电数据，并执行首发服务，通过socket将所述电数据同步至数据库二，同步成功后，数据库二向数据库一发送回执，数据库一根据回执标记用电数据的同步状态；调用取数规则二，获取首发服务后未被标记同步状态的用电数据，并执行重发服务，通过socket将未被标记同步状态的用电数据同步至数据库二，同步成功后，数据库二向数据库一发送回执，数据库一根据回执标记用电数据的同步状态。本发明专利技术可以将数据库一的大批量用电数据实时同步至数据库二，解决现有数据库之间传输大批量数据时效率低、同步困难的问题。

【技术实现步骤摘要】
一种基于socket的大批量数据实时同步方法
本专利技术涉及数据传输
，具体的说是一种基于socket的大批量数据实时同步方法。
技术介绍
为响应国家的政策法规，需要对辖区内涉及工业企业的用电数据进行统一监控管理。通常，县级的用电数据由其用电管理平台的数据库传输至区级用电管理平台的数据库，区级的用电数据由其用电管理平台的数据库传输至市级用电管理平台的数据库，而市级的用电数据量一月7500万条，一年10亿条数据，如果将这些数据转发至省级用电管理平台的数据库，会遇到因数据量大无法满足实时同步传输的需求。
技术实现思路
本专利技术针对目前技术发展的需求和不足之处，提供一种基于socket的大批量数据实时同步方法，来解决用电数据由一个数据库传送至另一个数据库时因数据量大无法满足实时同步传输的问题。本专利技术的一种基于socket的大批量数据实时同步方法，解决上述技术问题采用的技术方案如下：一种基于socket的大批量数据实时同步方法，其实现过程包括：在数据库一中设置取数规则一和取数规则二；调用取本文档来自技高网...

【技术保护点】
1.一种基于socket的大批量数据实时同步方法，其特征在于,其实现过程包括：/n在数据库一中设置取数规则一和取数规则二；/n调用取数规则一，获取用电数据，并执行首发服务，通过socket将所述电数据同步至数据库二，同步成功后，数据库二向数据库一发送回执，数据库一根据回执标记用电数据的同步状态；/n调用取数规则二，获取首发服务后未被标记同步状态的用电数据，并执行重发服务，通过socket将未被标记同步状态的用电数据同步至数据库二，同步成功后，数据库二向数据库一发送回执，数据库一根据回执标记用电数据的同步状态。/n

【技术特征摘要】
1.一种基于socket的大批量数据实时同步方法，其特征在于,其实现过程包括：
在数据库一中设置取数规则一和取数规则二；
调用取数规则一，获取用电数据，并执行首发服务，通过socket将所述电数据同步至数据库二，同步成功后，数据库二向数据库一发送回执，数据库一根据回执标记用电数据的同步状态；
调用取数规则二，获取首发服务后未被标记同步状态的用电数据，并执行重发服务，通过socket将未被标记同步状态的用电数据同步至数据库二，同步成功后，数据库二向数据库一发送回执，数据库一根据回执标记用电数据的同步状态。


2.根据权利要求1所述的一种基于socket的大批量数据实时同步方法，其特征在于，数据库一和数据库二均为关系型数据库。


3.根据权利要求2所述的一种基于socket的大批量数据实时同步方法，其特征在于，在数据库一中，基于数据库函数设置取数规则一，这一过程中，
首先根据业务需求来定义返回的对象类型、表对象类型，并开启触发任务的自治事务，其中，对象类型包括主键id和数据报文；
随后按照设置的取数规则一取出数据存于声明的游标内；
再随后执行自治事务：(1)清空数据库一中存储在缓存表中的数据，(2)遍历游标，将根据取数规则一获取的用电数据分别插入缓存表及返回的表对象中，(3)更新信息，使用exists子句实现对数据库一中用电数据上传状态和上传时间的修改；
最后提交自治事务，将基于取数规则一获取的用电数据以表对象的形式返回。


4.根据权利要求1或2或3所述的一种基于socket的大批量数据实时同步方法，其特征在于，在数据库一中设置的取数规则一包括如下内容：
(A1)数据库一中未上传的用电数据；
(A2)取出数据库一中距离当前12小时内用电数据记录中的主键id和数据报文；
(A3)每次从数据库一中取出N千条用电数据放入缓存表，同时，将数据库一的用电数据状态设置为正在上传。


5.根据权利要求1或2或3所述的一种基于socket的大批...

【专利技术属性】
技术研发人员：薛守宁，吴延刚，林琦，乔建明，孟刚，袁鑫，赵连夺，
申请(专利权)人：河北志晟信息技术股份有限公司，
类型：发明
国别省市：河北;13