【技术实现步骤摘要】
数据存储处理方法、装置、计算设备及计算机存储介质
本专利技术涉及互联网
,具体涉及一种数据存储处理方法、装置、计算设备及计算机存储介质。
技术介绍
随着互联网技术的不断发展,数据处理技术也得到了快速发展,出现了许多例如Storm、Spark、Flink等流式处理框架。在这些流式处理框架中,大多会对状态信息进行管理,并持久化存储,当机器、节点等因某种原因失败时,即可利用存储的状态信息进行状态修复。在一些流式处理框架中,列表数据(例如Flink中的ListState)是作为一个整体持久化存储至数据库中的,那么即使只需要对某列表数据中的单个元素进行操作,也需要从数据库中获取整个列表数据的数据,因此,这种处理方式存在着数据存储效率较低、灵活性较差的问题。另外,若列表数据具有超大规模的数据量时,还可能会导致内存爆炸。
技术实现思路
鉴于上述问题,提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的数据存储处理方法、装置、计算设备及计算机存储介质。根据本专利技术的一个方面,提供了一种数据存储处理方法,该方法包括:获取列表数据;将列表数据转换为至少两个数据键值 ...
【技术保护点】
1.一种数据存储处理方法,所述方法包括:获取列表数据;将所述列表数据转换为至少两个数据键值对形式的转换数据;其中,所述至少两个数据键值对形式的转换数据具有索引信息;将所述至少两个数据键值对形式的转换数据存储至数据库中。
【技术特征摘要】
1.一种数据存储处理方法,所述方法包括:获取列表数据;将所述列表数据转换为至少两个数据键值对形式的转换数据;其中,所述至少两个数据键值对形式的转换数据具有索引信息;将所述至少两个数据键值对形式的转换数据存储至数据库中。2.根据权利要求1所述的方法,其中,所述将所述列表数据转换为至少两个数据键值对形式的转换数据进一步包括:根据所述列表数据的标记信息以及所述列表数据中所包含的元素的总数量,创建与所述列表数据对应的索引;利用所述索引、所述列表数据的元数据以及所述列表数据中的每一个元素的元素值,构建至少两个数据键值对形式的转换数据。3.根据权利要求2所述的方法,其中,所述利用所述索引、所述列表数据的元数据以及所述列表数据中的每一个元素的元素值,构建至少两个数据键值对形式的转换数据进一步包括:将所述索引中起始的索引信息作为数据键,将所述列表数据的元数据作为数据键对应的数据值,构建与所述元数据对应的数据键值对形式的转换数据;针对所述列表数据中的每一个元素,依据所述元素在所述列表数据中的顺序,从所述索引中确定所述元素对应的索引信息;将所述元素对应的索引信息作为数据键,将所述元素的元素值作为数据键对应的数据值,构建与所述元素对应的数据键值对形式的转换数据。4.根据权利要求2或3所述的方法,其中,所述列表数据的元数据包括:所述列表数据中所包含的元素的总数量。5.根据权利要求2-4任一项所述的方法,其中,所述列表数据的标记信息是根据所述列表...
【专利技术属性】
技术研发人员:张馨予,左欢,
申请(专利权)人:北京奇虎科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。