数据更新方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例涉及一种数据更新方法、装置、电子设备及存储介质，上述方法包括：获取待更新的第一数据集合和预先创建的第一数据文件集合；在所述第一数据文件集合中，查找所述第一数据集合中的每个第一数据的更新对象，以及将每个所述第一数据的更新对象，作为每个所述第一数据对应的第二数据，将所述第一数据文件集合中，包括所述更新对象的第一记录，确定为目标第一记录；采用预设符号，在所述第一数据文件集合中，标记每个所述目标第一记录；创建第二数据文件，以及将所述第一数据集合写入所述第二数据文件。由此方法，可以降低数据更新过程中写入操作执行的次数。新过程中写入操作执行的次数。新过程中写入操作执行的次数。

【技术实现步骤摘要】
数据更新方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据更新方法、装置、电子设备及存储介质。

技术介绍

[0002]随着实时数据分析场景的发展，对更新数据的需求也越来越多。数据更新，是以新数据项或记录，来替换数据文件或数据库中，与之相对应的旧数据项或记录的过程。
[0003]现有技术中，数据更新，通过删除、修改、再插入的操作来实现。对于数据的更新过程中的删除操作，需要把数据文件读出来，之后将记录删除，再把剩下的记录重新写一遍。假设文件有10000行，每次更新一行都重写剩下9999行。可见，现有技术中的数据更新，需要频繁多次进行数据的写入操作。

技术实现思路

[0004]鉴于此，为解决上述部分或全部技术问题，本公开实施例提供一种数据更新方法、装置、电子设备及存储介质。
[0005]第一方面，本公开实施例提供一种数据更新方法，上述方法包括：
[0006]获取待更新的第一数据集合和预先创建的第一数据文件集合，其中，所述第一数据文件集合中的第一数据文件包括第一记录集合，所述第一记录集合中的每个所述第一记录包括第二数据；
[0007]在所述第一数据文件集合中，查找所述第一数据集合中的每个第一数据的更新对象，以及将每个所述第一数据的更新对象，作为每个所述第一数据对应的第二数据，将所述第一数据文件集合中，包括所述更新对象的第一记录，确定为目标第一记录；
[0008]针对所确定的每个所述目标第一记录，采用如下方式对每个所述目标第一记录进行更新：采用预设符号，在所述第一数据文件集合中，标记每个所述目标第一记录；创建第二数据文件，以及将所述第一数据集合写入所述第二数据文件。
[0009]可选地，在本公开任一实施例的方法中，所述在所述第一数据文件集合中，查找所述第一数据集合中的每个第一数据的更新对象，包括：
[0010]基于所述第一数据集合中的每个所述第一数据的主键索引，在所述第一数据文件集合中，查找每个所述第一数据的更新对象。
[0011]可选地，在本公开任一实施例的方法中，所述将所述第一数据集合写入所述第二数据文件，包括：
[0012]针对所述第一数据集合中的每个第一数据，从所述第一数据文件集合中，确定包括该第一数据对应的第二数据的第一记录，将所确定的第一记录中的主键和该第一数据作为一条记录，写入所述第二数据文件。
[0013]可选地，在本公开任一实施例的方法中，所述采用预设符号，在所述第一数据文件集合中，标记每个所述目标第一记录，包括：
[0014]针对每个所述目标第一记录，将该目标第一记录的目标字段更新为所述预设符号。
[0015]可选地，在本公开任一实施例的方法中，所述方法还包括：
[0016]在接收到数据查询请求的情况下，确定所述数据查询请求的查询对象数据的目标主键；
[0017]从所述第一数据文件集合和所述第二数据文件中，确定包括所述目标主键的记录，得到第二记录；
[0018]从所确定的各个所述第二记录中，确定所述目标字段并非所述预设符号的目标第二记录；
[0019]将所述目标第二记录中的第一数据，确定为所述数据查询请求的查询结果。
[0020]可选地，在本公开任一实施例的方法中，所述将所述第一数据集合写入所述第二数据文件，包括：
[0021]针对所述第一数据集合中的每个第一数据，创建该第一数据的二级索引，得到该第一数据对应的二级索引，将该第一数据对应的二级索引和该第一数据作为一条记录，写入所述第二数据文件。
[0022]可选地，在本公开任一实施例的方法中，所述方法还包括：
[0023]获取待更新的第三数据；
[0024]从所述第一数据文件集合中，查找所述第三数据的更新对象，得到所述第三数据对应的第二数据；
[0025]从所述第一数据文件集合中，确定包括所述第三数据对应的第二数据的第一记录，将所确定的第一记录中的主键确定为所述第三数据的主键；
[0026]创建第三数据文件，以及将所述第三数据写入所述第三数据文件；
[0027]针对所述第一数据集合中的每个第一数据，确定包括该第一数据对应的第二数据的第一记录，将所确定的第一记录中的主键确定为每个所述第一数据的主键；以及
[0028]在所述将所述第一数据集合写入所述第二数据文件之后，所述方法还包括：
[0029]针对所述第一数据集合中的每个第一数据，确定每个所述第一数据的主键与所述第三数据的主键是否相同；
[0030]基于每个所述第一数据的主键与所述第三数据的主键是否相同，从所述第二数据文件和所述第三数据文件中，确定生效数据文件。
[0031]可选地，在本公开任一实施例的方法中，在确定每个所述第一数据的主键与所述第三数据的主键是否相同之前，所述方法还包括：
[0032]基于每个所述第一数据的主键索引，确定每个所述第一数据的主键；
[0033]基于所述第三数据的主键索引，确定所述第三数据的主键。
[0034]可选地，在本公开任一实施例的方法中，所述预设符号的数据类型为位数据类型。
[0035]第二方面，本公开实施例提供一种数据更新装置，上述装置包括：
[0036]第一获取单元，用于获取待更新的第一数据集合和预先创建的第一数据文件集合，其中，所述第一数据文件集合中的第一数据文件包括第一记录集合，所述第一记录集合中的每个所述第一记录包括第二数据；
[0037]第一查找单元，用于在所述第一数据文件集合中，查找所述第一数据集合中的每
个第一数据的更新对象，以及将每个所述第一数据的更新对象，作为每个所述第一数据对应的第二数据，将所述第一数据文件集合中，包括所述更新对象的第一记录，确定为目标第一记录；
[0038]更新单元，用于针对所确定的每个所述目标第一记录，采用如下方式对每个所述目标第一记录进行更新：采用预设符号，在所述第一数据文件集合中，标记每个所述目标第一记录；创建第二数据文件，以及将所述第一数据集合写入所述第二数据文件。
[0039]可选地，在本公开任一实施例的装置中，所述在所述第一数据文件集合中，查找所述第一数据集合中的每个第一数据的更新对象，包括：
[0040]基于所述第一数据集合中的每个所述第一数据的主键索引，在所述第一数据文件集合中，查找每个所述第一数据的更新对象。
[0041]可选地，在本公开任一实施例的装置中，所述将所述第一数据集合写入所述第二数据文件，包括：
[0042]针对所述第一数据集合中的每个第一数据，从所述第一数据文件集合中，确定包括该第一数据对应的第二数据的第一记录，将所确定的第一记录中的主键和该第一数据作为一条记录，写入所述第二数据文件。
[0043]可选地，在本公开任一实施例的装置中，所述采用预设符号，在所述第一数据文件集合中，标记每个所述目标第一记录，包括：
[0044]针对每个所述目标第一记录，将该目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据更新方法，其特征在于，所述方法包括：获取待更新的第一数据集合和预先创建的第一数据文件集合，其中，所述第一数据文件集合中的第一数据文件包括第一记录集合，所述第一记录集合中的每个所述第一记录包括第二数据；在所述第一数据文件集合中，查找所述第一数据集合中的每个第一数据的更新对象，以及将每个所述第一数据的更新对象，作为每个所述第一数据对应的第二数据，将所述第一数据文件集合中，包括所述更新对象的第一记录，确定为目标第一记录，将所述第一数据文件集合中，包括所述更新对象的第一记录，确定为目标第一记录；针对所确定的每个所述目标第一记录，采用如下方式对每个所述目标第一记录进行更新：采用预设符号，在所述第一数据文件集合中，标记每个所述目标第一记录；创建第二数据文件，以及将所述第一数据集合写入所述第二数据文件。2.根据权利要求1所述的方法，其特征在于，所述在所述第一数据文件集合中，查找所述第一数据集合中的每个第一数据的更新对象，包括：基于所述第一数据集合中的每个所述第一数据的主键索引，在所述第一数据文件集合中，查找每个所述第一数据的更新对象。3.根据权利要求1所述的方法，其特征在于，所述将所述第一数据集合写入所述第二数据文件，包括：针对所述第一数据集合中的每个第一数据，从所述第一数据文件集合中，确定包括该第一数据对应的第二数据的第一记录，将所确定的第一记录中的主键和该第一数据作为一条记录，写入所述第二数据文件。4.根据权利要求3所述的方法，其特征在于，所述采用预设符号，在所述第一数据文件集合中，标记每个所述目标第一记录，包括：针对每个所述目标第一记录，将该目标第一记录的目标字段更新为所述预设符号。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在接收到数据查询请求的情况下，确定所述数据查询请求的查询对象数据的目标主键；从所述第一数据文件集合和所述第二数据文件中，确定包括所述目标主键的记录，得到第二记录；从所确定的各个所述第二记录中，确定所述目标字段并非所述预设符号的目标第二记录；将所述目标第二记录中的第一数据，确定为所述数据查询请求的查询结果。6.根据权利要求1所述的方法，其特征在于，所述将所述第一数据集合写入所述第二数据文件，包括：针对所述第一数据集合中的每个第一数据，创建该第一数据的二级索引，得到该第一数据对应的二级索引，将该第一数据对应的二级索引和该第一数据作为一条记录，写入所述第二数据文件。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取待更新的第三数据...

【专利技术属性】
技术研发人员：李超勇，
申请(专利权)人：北京镜舟科技有限公司，
类型：发明
国别省市：