【技术实现步骤摘要】
数据存储方法以及系统
[0001]本说明书实施例涉及数据存储
，特别涉及数据存储方法以及系统。
技术介绍
[0002]随着互联网技术的发展，各类服务在运行时会产生大量的数据，而为了能够支持数据持久化，通常会结合数据入湖技术来对不同结构的数据进行存储。数据入湖是指将各种类型和格式的数据存储在数据湖中的过程。数据湖通常使用分布式存储和计算技术，能够存储海量的数据，并支持从不同的数据源获取数据。也就是说，数据入湖不需要预先定义数据模式，可以容纳结构化、半结构化和非结构化数据，从而能够适应各种数据分析和应用需求。现有技术中，在进行数据入湖处理时，大多数会采用批处理或者流式处理的方式实现；但是，由于数据入湖系统中的上游接口较为复杂，导致多表入湖开销较大，且大多数数据入湖系统都未关注数据变更操作，进而导致数据同步过程中不支持元数据的变更，无法确保数据能够以原始状态写入目标存储位置，因此亟需一种有效的方案以解决上述问题。
技术实现思路
[0003]有鉴于此，本说明书实施例提供了一种数据存储方法。本说明书一个或者多个实...
【技术保护点】
【技术特征摘要】
1.一种数据存储方法，包括：响应于数据存储请求读取源数据，并对所述源数据进行序列化处理；将序列化处理后的源数据分流为初始操作数据流和定义数据流，根据所述定义数据流确定所述初始操作数据流对应的目标元数据，其中，所述初始操作数据流基于原始数据构建，所述定义数据流基于对所述原始数据进行变更的操作数据构建；利用所述目标元数据对所述初始操作数据流中包含的数据进行解析，根据解析结果确定目标操作数据流；确定所述初始操作数据流解析为所述目标操作数据流对应的解析信息序列，并根据所述解析信息序列生成存储信息序列；按照所述存储信息序列将所述目标操作数据流中包含的数据，存储至所述数据操作请求对应的目标数据存储空间。2.根据权利要求1所述的方法，所述对所述源数据进行序列化处理，包括：按照预设格式转换策略，将初始数据格式的所述源数据转换为中间数据格式的中间数据；所述将序列化处理后的源数据分流为初始操作数据流和定义数据流，包括：确定所述中间数据包含的中间子数据分别对应的数据属性信息，并按照所述数据属性信息对所述中间数据包含的中间子数据分配标签；根据标签分配结果对所述中间数据包含的中间子数据进行分流处理，获得初始操作数据流和定义数据流。3.根据权利要求1所述的方法，所述根据所述定义数据流确定所述初始操作数据流对应的目标元数据，包括：获取所述初始操作数据流对应的至少一个初始子元数据；利用所述定义数据流对所述至少一个初始子元数据进行更新，获得至少一个目标子元数据；基于所述至少一个目标子元数据生成所述初始操作数据流对应的目标元数据。4.根据权利要求1所述的方法，所述利用所述目标元数据对所述初始操作数据流中包含的数据进行解析，根据解析结果确定目标操作数据流，包括：根据所述目标元数据为所述初始操作数据流中包含的数据创建数据解析器；利用所述数据解析器对所述初始操作数据流中包含的数据进行解析，根据解析结果生成所述目标操作数据流；其中，所述数据解析器用于将数据转换为与所述目标数据存储空间匹配的数据格式。5.根据权利要求4所述的方法，所述利用所述数据解析器对所述初始操作数据流中包含的数据进行解析，根据解析结果生成所述目标操作数据流，包括：确定预设的等待时间区间以及所述数据解析器对应的触发时间节点，并根据所述等待时间区间和所述触发时间节点确定数据解析时间节点；在所述初始操作数据流中读取第i数据，并检测读取所述第i数据的读取时间节点是否达到所述数据解析时间节点，其中，i从1开始取值，且i为正整数；若否，将所述第i数据添加至所述数据解析器对应的解析队列，i自增1，并执行在所述初始操作数据流中读取第i数据的步骤；
若是，利用所述数据解析器对所述解析队列中包含的数据进行解析，根据解析结果生成所述目标操作数据流。6.根据权利要求1所述的方法，所述确定所述初始操作数据流解析为所述目标操作数据流对应的解析信息序列，包括：确定所述初始操作数据流包含的初始操作数据对应的初始数据结构，以及所述目标操作数据流包含的目标操作数据对应的目标数据结构；根据所述初始数据结构转换为所述目标数据结构的转换关系，生成解析信息集合；按照数据解析顺序对所述解析信息集合中包...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。