数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:30329461 阅读:16 留言:0更新日期:2021-10-10 00:31
本申请涉及数据库技术领域,公开了一种数据处理方法、装置、电子设备及存储介质,所述方法包括:获取目标迁移操作对应的第一标识以及第二标识;其中,所述第一标识包括所述目标迁移操作对应的源数据在源数据库中的源数据条目中的标识;所述第二标识包括所述源数据在目标数据库中对应的目标数据条目中的标识;所述第一标识包括所述源数据条目的自增主键;所述第二标识包括所述目标数据条目的自增主键;根据所述第一标识以及所述第二标识,将所述源数据由所述源数据库迁移至所述目标数据库。通过以自增主键作为标识,完成数据迁移操作,减少数据迁移操作对内存造成的压力,提升数据库系统的整体性能。统的整体性能。统的整体性能。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及数据库
,具体而言,本申请涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网行业的迅速发展,互联网业务的数据库中通常存储着海量数据,而海量数据通常需要在数据库之间进行迁移等处理操作,例如两个融合项目之间的数据迁移操作。现有技术中,数据库之间的数据迁移操作,通常依据源数据库和目标数据库的属性信息进行迁移,而由于数据量较大,需要读取和/或写入的属性信息量较大,给内存带来较大的压力。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法,以解决现有技术中,在数据库系统中,依据属性信息进行数据迁移,给内存造成较大的访问压力的问题。
[0004]相应的,本申请实施例还提供了一种数据处理装置、一种电子设备以及一种存储介质,用以保证上述方法的实现及应用。
[0005]为了解决上述问题,本申请实施例公开了一种数据处理方法,所述方法包括:
[0006]获取目标迁移操作对应的第一标识以及第二标识;
[0007]其中,所述第一标识包括所述目标迁移操作对应的源数据在源数据库中的源数据条目中的标识;所述第二标识包括所述源数据在目标数据库中对应的目标数据条目中的标识;所述第一标识包括所述源数据条目的自增主键;所述第二标识包括所述目标数据条目的自增主键;
[0008]根据所述第一标识以及所述第二标识,将所述源数据由所述源数据库迁移至所述目标数据库。
[0009]本申请实施例还公开了一种数据处理装置,所述装置包括:
[0010]标识获取模块,用于获取目标迁移操作对应的第一标识以及第二标识;
[0011]其中,所述第一标识包括所述目标迁移操作对应的源数据在源数据库中的源数据条目中的标识;所述第二标识包括所述源数据在目标数据库中对应的目标数据条目中的标识;所述第一标识包括所述源数据条目的自增主键;所述第二标识包括所述目标数据条目的自增主键;
[0012]数据迁移模块,用于根据所述第一标识以及所述第二标识,将所述源数据由所述源数据库迁移至所述目标数据库。
[0013]本申请实施例还公开了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本申请第一方面所示的数据处理方法。
[0014]本申请实施例还公开了一种计算机可读存储介质,该计算机可读存储介质上存储
有计算机程序,该计算机程序被处理器执行时实现如本申请实施例中一个或多个所述的方法。
[0015]本申请实施例提供的技术方案带来的有益效果是:
[0016]本申请实施例中,获取目标迁移操作对应的第一标识以及第二标识;根据所述第一标识以及所述第二标识,将所述源数据由所述源数据库迁移至所述目标数据库;其中,所述第一标识包括所述源数据条目的自增主键;所述第二标识包括所述目标数据条目的自增主键,通过以自增主键作为标识,完成数据迁移操作,在执行数据迁移操作时,无需获取源数据条目与目标数据条目的属性信息,降低读取以及写入的数据量,减少数据迁移操作对内存造成的压力,提升数据库系统的整体性能。
[0017]本申请实施例附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
[0018]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
[0019]图1为本申请一个实施例提供的数据处理方法的流程图;
[0020]图2为本申请实施例的一种数据处理方法的应用示意图;
[0021]图3为本申请实施例的第三示例的流程图;
[0022]图4为本申请实施例的第四示例的流程图;
[0023]图5为本申请实施例的第五示例的流程图;
[0024]图6为本申请一个实施例提供的一种数据处理装置的结构示意图;
[0025]图7为本申请一个实施例提供的一种电子设备的结构示意图。
具体实施方式
[0026]下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
[0027]本
技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0028]本领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
[0029]本申请实施例所提供的方案可以由任一电子设备执行,如可以是终端设备,也可以是服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。对于现有技术中所存在的技术问题,本申请提供的数据处理方法、装置、电子设备及存储介质,旨在解决现有技术的技术问题中的至少一项。
[0030]下面以具体实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
[0031]本申请实施例提供了一种可能的实现方式,如图1所示,提供了一种数据处理方法的流程图,该方案可以由任一电子设备执行,可选的,可以在服务器端或终端设备执行,为描述方便,下面以服务器作为执行主体对本申请实施例提供的方法进行说明。
[0032]本申请实施例中可应用于数据库领域,在数据迁移的过程中,通过以自增主键作为标识,完成数据迁移操作,无需获取源数据条目与目标数据条目的属性信息,降低读取以及写入的数据量,减少数据迁移操作对内存造成的压力,提升数据库系统的整体性能。
[0033]如图1中所示,该方法可以包括以下步骤:
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:获取目标迁移操作对应的第一标识以及第二标识;其中,所述第一标识包括所述目标迁移操作对应的源数据在源数据库中的源数据条目中的标识;所述第二标识包括所述源数据在目标数据库中对应的目标数据条目中的标识;所述第一标识包括所述源数据条目的自增主键;所述第二标识包括所述目标数据条目的自增主键;根据所述第一标识以及所述第二标识,将所述源数据由所述源数据库迁移至所述目标数据库。2.根据权利要求1所述的数据处理方法,其特征在于,所述获取目标迁移操作对应的第一标识以及第二标识,包括:获取所述源数据的第一标识;根据预设的第一对应关系,确定与所述第一标识对应的第二标识;其中,所述第一对应关系为所述源数据条目的标识与所述目标数据条目的标识之间的对应关系。3.根据权利要求1所述的数据处理方法,其特征在于,所述获取目标迁移操作对应的第一标识,包括:若迁移服务器中包括所述目标迁移操作的操作标识,则根据所述操作标识确定所述第一标识;或若所述迁移服务器中不包括所述目标迁移操作的操作标识,则所述第一标识为预设标识;其中,所述操作标识包括起始标识与第一结束标识中的至少一种;所述第一结束标识为所述目标迁移操作的前一次迁移操作对应的自增主键最大的数据条目的标识;所述起始标识为第一结束标识的下一数据条目标识。4.根据权利要求3所述的数据处理方法,其特征在于,所述将所述源数据由所述源数据库迁移至所述目标数据库之后,所述方法包括:确定并记录所述目标迁移操作的第二结束标识;所述第二结束标识为所述目标迁移操作对应的自增主键最大的数据条目的标识。5.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述第一标识以及所述第二标识,将所述源数据由所述源数据库迁移至所述目标数据库,包括:获取所述源数据库与所述目标数据库之间的数据处理算法;根据所述数据处理算法对所述第一标识对应的源...

【专利技术属性】
技术研发人员:张伟龙罗小军王原习周美美
申请(专利权)人:拉扎斯网络科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1