本申请公开了批量数据更新方法、装置、电子设备和可读存储介质，该方法包括：从一批待更新数据中选取一条数据，其中，所述待更新数据中的每条数据均包括唯一键和数据内容；根据所述一条数据的唯一键查找存储所述唯一键的第一数据块，并根据所述唯一键将所述一条数据中的数据内容更新到对应的数据块中；从所述第一数据块中获取除所述一条数据的唯一键之外的其他唯一键，并从所述待更新数据中查找包括所述其他唯一键的数据；将包括所述其他唯一键的数据的数据内容更新到对应的数据块中。通过本申请解决了现有技术中在数据库进行批量数据更新时所存在的更新慢影响数据库性能的问题，从而提高了数据库的更新效率，在一定程度上提高了数据库的性能。上提高了数据库的性能。上提高了数据库的性能。
【技术实现步骤摘要】
批量数据更新方法、装置、电子设备和可读存储介质
[0001]本申请涉及到数据处理领域，具体而言，涉及批量数据更新方法、装置、电子设备和可读存储介质。
技术介绍
[0002]数据库一般用来保存大量的数据，在数据库使用的过程中会出现批量数据更新的过程，所谓批量更新是将一批数据一次性的更新到数据库中。虽然是批量更新，但是在执行的时候，仍然需要根据批量数据中的每条数据在数据库中进行查询，在数据库中得到查询结果之后，执行相应的操作将该条数据更新到数据库中。
[0003]由于数据库中已经保存了大量的数据，因此，每条数据在数据库中进行查询均需要消耗时间，在进行批量数据更新的时候，这些查询时间累积起来会变得很大，从而使得批量更新比较慢，另外每条数据均在数据库中进行查询，也会影响到数据库的性能。
技术实现思路
[0004]本申请实施例提供了批量数据更新方法、装置、电子设备和可读存储介质，以至少解决现有技术中在数据库进行批量数据更新时所存在的更新慢影响数据库性能的问题。
[0005]根据本申请的一个方面，提供了一种批量数据更新方法，包括：从一批待更新数据中选取一条数据，其中，所述待更新数据中的每条数据均包括唯一键和数据内容，该唯一键用于标识该条数据；根据所述一条数据的唯一键查找存储所述唯一键的第一数据块，并根据所述唯一键将所述一条数据中的数据内容更新到对应的数据块中；从所述第一数据块中获取除所述一条数据的唯一键之外的其他唯一键，并从所述待更新数据中查找包括所述其他唯一键的数据；将包括所述其他唯一键的数据的数据内容更新到对应的数据块中。
[0006]进一步地，获取所述其他唯一键，从所述待更新数据中查找并将包括所述其他唯一键的数据的数据内容更新到对应的数据库中包括：在所述第一数据块中从所述一条数据的唯一键所在位置开始依次获取下一条数据的唯一键，在所述待更新数据中查找到包括此次获取到的唯一键的数据的情况下，将包括此次获取到的唯一键的数据的数据内容更新到对应的数据块中，直至到达所述第一数据块的末尾或者在所述待更新数据中未查找到此次获取到的唯一键。
[0007]进一步地，将包括所述其他唯一键的数据的数据内容更新到对应的数据块中之后，将所述待更新数据中的剩余数据作为新的一批待更新数据，并对所述新的一批待更新数据执行上述的方法，直到所述待更新数据中没有剩余数据，其中，所述剩余数据为在已有数据块中能够查找到唯一键并且数据内容未更新到对应数据块中的数据。
[0008]进一步地，还包括：获取所述待更新数据中未在已有数据块中查找到唯一键的至少一条数据；将所述至少一条数据插入列表中；在所述列表中的数据条数超过阈值或者当前时间满足时间要求的情况下，将所述列表中的数据插入到对应的数据块中。
[0009]进一步地，在将包括所述其他唯一键的数据的数据内容更新到对应的数据块中之
后，或者，在所述待更新数据中的所有数据的数据内容均更新到对应的数据块中之后，还包括：将被更新数据内容的数据块从内存更新到磁盘中。
[0010]进一步地，从所述待更新数据中查找包括所述其他唯一键的数据包括：从二叉树中查找包括所述其他唯一键的数据，其中，所述二叉树是根据所述待更新数据的所有唯一键预先创建的。
[0011]进一步地，所述待更新数据包括：对针对预定目标对多媒体文件进行分析后得到的结果，其中，如果多个数据的唯一键相同，则所述多个数据为：包括针对相同目标并对相同多媒体文件采用不同分析设备、算法和/或神经网络模型进行分析后得到的结果的数据。
[0012]进一步地，还包括：在所述待更新数据包括多个字段的数据内容的情况下，获取配置信息，其中，所述配置信息中携带有字段名称；在所述多个字段中查找与所述字段名称匹配的字段；将与所述字段名称匹配的字段作为数据的唯一键。
[0013]根据本申请的另一个方面，还提供了一种批量数据更新装置，包括：选取模块，用于从一批待更新数据中选取一条数据，其中，所述待更新数据中的每条数据均包括唯一键和数据内容，该唯一键用于标识该条数据；第一查找模块，用于根据所述一条数据的唯一键查找存储所述唯一键的第一数据块，并根据所述唯一键将所述一条数据中的数据内容更新到对应的数据块中；第二查找模块，用于从所述第一数据块中获取除所述一条数据的唯一键之外的其他唯一键，并从所述待更新数据中查找包括所述其他唯一键的数据；更新模块，用于将包括所述其他唯一键的数据的数据内容更新到对应的数据块中。
[0014]进一步地，所述第二查找模块用于在所述第一数据块中从所述一条数据的唯一键所在位置开始依次获取下一条数据的唯一键，在所述待更新数据中查找到包括此次获取到的唯一键的数据的情况下，所述更新模块将包括此次获取到的唯一键的数据的数据内容更新到对应的数据块中，直至到达所述第一数据块的末尾或者在所述待更新数据中未查找到此次获取到的唯一键。
[0015]进一步地，将包括所述其他唯一键的数据的数据内容更新到对应的数据块中之后，将所述待更新数据中的剩余数据作为新的一批待更新数据，并对所述新的一批待更新数据经过所述选取模型、所述第一查找模块、所述第二查找模块和所述更新模块的处理，直到所述待更新数据中没有剩余数据，其中，所述剩余数据为在已有数据块中能够查找到唯一键并且数据内容未更新到对应数据块中的数据。
[0016]进一步地，所述更新模块还用于，用于获取所述待更新数据中未在已有数据块中查找到唯一键的至少一条数据；将所述至少一条数据插入列表中；在所述列表中的数据条数超过阈值或者当前时间满足时间要求的情况下，将所述列表中的数据插入到对应的数据块中。
[0017]进一步地，还包括：持久化模块，用于在将包括所述其他唯一键的数据的数据内容更新到对应的数据块中之后，或者，在所述待更新数据中的所有数据的数据内容均更新到对应的数据块中之后将被更新数据内容的数据块从内存更新到磁盘中。
[0018]进一步地，所述第二查找模块用于：从二叉树中查找包括所述其他唯一键的数据，其中，所述二叉树是根据所述待更新数据的所有唯一键预先创建的。
[0019]进一步地，所述待更新数据包括：对针对预定目标对多媒体文件进行分析后得到的结果，其中，如果多个数据的唯一键相同，则所述多个数据为：包括针对相同目标并对相
同多媒体文件采用不同分析设备、算法和/或神经网络模型进行分析后得到的结果的数据。
[0020]进一步地，还包括：配置模块，用于在所述待更新数据包括多个字段的数据内容的情况下，获取配置信息，其中，所述配置信息中携带有字段名称；在所述多个字段中查找与所述字段名称匹配的字段；将与所述字段名称匹配的字段作为数据的唯一键。
[0021]根据本申请的另一个方面，还提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述的方法步骤。
[0022]根据本申请的另一个方面，还提供了一种可读存储介质，其上存储有计算机指令，其中，该计算机指令被本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种批量数据更新方法，其特征在于，包括：从一批待更新数据中选取一条数据，其中，所述待更新数据中的每条数据均包括唯一键和数据内容，该唯一键用于标识该条数据；根据所述一条数据的唯一键查找存储所述唯一键的第一数据块，并根据所述唯一键将所述一条数据中的数据内容更新到对应的数据块中；从所述第一数据块中获取除所述一条数据的唯一键之外的其他唯一键，并从所述待更新数据中查找包括所述其他唯一键的数据；将包括所述其他唯一键的数据的数据内容更新到对应的数据块中。2.根据权利要求1所述的方法，其特征在于，获取所述其他唯一键，从所述待更新数据中查找并将包括所述其他唯一键的数据的数据内容更新到对应的数据库中包括：在所述第一数据块中从所述一条数据的唯一键所在位置开始依次获取下一条数据的唯一键，在所述待更新数据中查找到包括此次获取到的唯一键的数据的情况下，将包括此次获取到的唯一键的数据的数据内容更新到对应的数据块中，直至到达所述第一数据块的末尾或者在所述待更新数据中未查找到此次获取到的唯一键。3.根据权利要求1所述的方法，其特征在于，将包括所述其他唯一键的数据的数据内容更新到对应的数据块中之后，将所述待更新数据中的剩余数据作为新的一批待更新数据，并对所述新的一批待更新数据执行权利要求1中所述的方法，直到所述待更新数据中没有剩余数据，其中，所述剩余数据为在已有数据块中能够查找到唯一键并且数据内容未更新到对应数据块中的数据。4.根据权利要求3所述的方法，其特征在于，还包括：获取所述待更新数据中未在已有数据块中查找到唯一键的至少一条数据；将所述至少一条数据插入列表中；在所述列表中的数据条数超过阈值或者当前时间满足时间要求的情况下，将所述列表中的数据插入到对应的数据块中。5.根据权利要求1至4中任一项所述的方法，其特征在于，在将包括所述其他唯一键的数据的数据内容更新到对应的数据块中之后，或者，在所述待更新数据中的所有数据的数据内容均更新到对应的数据块中之后，还包括：将被更新数据内容的数据块从内存更新到磁盘中。6.根据权利要求1至4中任一项所述的方法，其特征在于，从所述待更新数据中查找包括所述其他唯一键的数据包括：从二叉树中查找包括所述其他唯一键的数据，其中，所述二叉树是根据所述待更新数据的所有唯一键预先创建的。7.根据权利要求1至4中任一项所述的方法，其特征在于，所述待更新数据包括：对针对预定目标对多媒体文件进行分析后得到的结果，其中，如果多个数据的唯一键相同，则所述多个数据为：包括针对相同目标并对相同多媒体文件采用不同分析设备、算法和/或神经网络模型进行分析后得到的结果的数据。8.根据权利要求7所述的方法，其特征在于，还包括：在所述待更新数据包括多个字段的数据内容的情况下，获取配置信息，其中，所述配置信息中携带有字段名称；
在所述多个字段中查找与所述字段名称匹配的字段；将与所述字段名称匹配的字段作为数据的唯一键。9.一种批量数据更新装置，其特征在于，包括：选取模块，用于...
【专利技术属性】
技术研发人员：金月姣，李亚得，李建超，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。