数据更新方法、电子装置及可读存储介质制造方法及图纸

技术编号:24853230 阅读:57 留言:0更新日期:2020-07-10 19:07
本发明专利技术涉及数据处理技术领域,揭露了一种数据更新方法,该方法包括:根据预设规则对源表进行分区,得到多个分区表;创建更新日志表,更新日志表中的行号对应各个分区表的序号;获取电子装置当前的第一资源利用率,根据资源利用率与线程数量之间的映射关系生成多条线程;筛选各个分区表中待更新的数据,采用多条线程并行的方式对待更新数据执行更新操作,并在更新日志表中对应行号的记录中更新各个分区表的更新结果,直至更新日志表中每行的记录都为更新成功时,完成数据更新。本发明专利技术还提出一种电子装置以及一种计算机可读存储介质。本发明专利技术可提高数据更新效率,保证数据更新的完整性。

【技术实现步骤摘要】
数据更新方法、电子装置及可读存储介质
本专利技术涉及数据处理
,尤其涉及一种数据更新方法、电子装置及可读存储介质。
技术介绍
随着信息技术的发展,各种应用产生的数据量越来越大,针对当前较为常见的Oracle数据库,当需要对表进行大量数据(例如,亿级数据)更新时,会对数据库带来巨大的压力,当前通常通过采用一个事务(事务为访问并操作数据项得到的一个数据库操作序列)来记录和更新数据,这种方式无法保证数据更新的快速性、完整性,当数据更新失败时,需再次更新全部数据,更新效率低下。因此,亟需一种数据更新方法,以提升更新效率,并保证数据更新的完整性。
技术实现思路
鉴于以上内容,有必要提供一种数据更新方法,旨在提升数据更新效率,保证数据更新的完整性。本专利技术提供的数据更新方法,包括:数据获取步骤:从数据库中获取待更新的源表,根据预设规则对所述源表进行分区,得到多个分区表;日志创建步骤:创建更新日志表,所述更新日志表中的行号对应各个分区表的序号,将所述更新日志表中每行的初始记录设置为未更新;线程生成步本文档来自技高网...

【技术保护点】
1.一种数据更新方法,应用于电子装置,其特征在于,所述方法包括:/n数据获取步骤:从数据库中获取待更新的源表,根据预设规则对所述源表进行分区,得到多个分区表;/n日志创建步骤:创建更新日志表,所述更新日志表中的行号对应各个分区表的序号,将所述更新日志表中每行的初始记录设置为未更新;/n线程生成步骤:获取所述电子装置当前的第一资源利用率,根据资源利用率与线程数量之间的映射关系生成多条线程;/n数据更新步骤:按照更新条件筛选各个分区表中待更新的数据,采用多条线程并行更新的方式对所述待更新数据执行更新操作,并在所述更新日志表中对应行号的记录中更新各个分区表的更新结果,每隔第一预设时间,读取所述更新日...

【技术特征摘要】
1.一种数据更新方法,应用于电子装置,其特征在于,所述方法包括:
数据获取步骤:从数据库中获取待更新的源表,根据预设规则对所述源表进行分区,得到多个分区表;
日志创建步骤:创建更新日志表,所述更新日志表中的行号对应各个分区表的序号,将所述更新日志表中每行的初始记录设置为未更新;
线程生成步骤:获取所述电子装置当前的第一资源利用率,根据资源利用率与线程数量之间的映射关系生成多条线程;
数据更新步骤:按照更新条件筛选各个分区表中待更新的数据,采用多条线程并行更新的方式对所述待更新数据执行更新操作,并在所述更新日志表中对应行号的记录中更新各个分区表的更新结果,每隔第一预设时间,读取所述更新日志表中的记录,直至所述更新日志表中每行的记录都为更新成功时,完成数据更新。


2.如权利要求1所述的数据更新方法,其特征在于,所述预设规则为:
采用Hash分区法对所述源表进行分区,使得每个分区表包含相同数量的数据。


3.如权利要求2所述的数据更新方法,其特征在于,所述方法还包括:
每隔第二预设时间,获取所述电子装置当前的第二资源利用率,根据所述资源利用率与线程数量之间的映射关系调整线程的数量。


4.如权利要求1-3任一项所述的数据更新方法,其特征在于,所述方法还包括:
每隔第三预设时间,获取所述更新日志表中记录为更新失败及未更新的第一行号,更新所述第一行号对应的分区表中的待更新数据。


5.如权利要求4所述的数据更新方法,其特征在于,所述方法还包括:
若超过第四预设时间,所述更新日志表中第二行号对应的记录仍为更新失败或者未更新,则将所述第二行号对应的分区表标识发送给预设客户端。


6.一种电子装置,其特征在于,该电子装置包括:存储器、处理...

【专利技术属性】
技术研发人员:陈真余冬冬
申请(专利权)人:中国平安财产保险股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1