数据存储方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:28127592 阅读:21 留言:0更新日期:2021-04-19 11:44
本申请涉及数据处理技术领域,提供一种数据存储方法、装置、计算机设备和存储介质,方法包括:获取待上报的采集数据;对采集数据进行转化处理得到转化数据;基于采集数据的数据数量及预设的数据存储个数,生成指定数量的多个循环队列;基于指定数量,为每一个循环队列分配一一对应的队列标签;按照采集数据的采集时间的先后顺序、队列标签的数值从小到大的顺序以及数据存储个数,将转化数据分配至各循环队列内;将各循环队列一一存储到本地预先创建的空白文件内,生成与各循环队列一一对应的数据文件。本申请能够有效提高数据存储的稳定性,降低数据丢失的风险。本申请还可以应用于区块链领域,上述转化数据等数据可以存储于区块链上。上。上。

【技术实现步骤摘要】
数据存储方法、装置、计算机设备和存储介质


[0001]本申请涉及数据处理
,具体涉及一种数据存储方法、装置、计算机设备和存储介质。

技术介绍

[0002]现有终端设备在进行数据存储时采用的存储方法通常是将数据全部存储到一个文件中,然而当需要存储的数据的数量很多时,如数据的数量级达到上万级别时,在将所有数据全部存储到一个文件后中,如果出现了由于设备App崩溃或设备异常关机等场景而导致文件异常,如文件丢失、文件损坏等情况,进而使得该文件中包含的所有数据会全部丢失。因而,现有将数据全部存储到一个文件中的数据存储方法存在数据存储的稳定性差、数据丢失风险高的问题。

技术实现思路

[0003]本申请的主要目的为提供一种数据存储方法、装置、计算机设备和存储介质,旨在解决现有将数据全部存储到一个文件中的数据存储方法存在数据存储的稳定性差、数据丢失风险高的技术问题。
[0004]本申请提出一种数据存储方法,所述方法包括步骤:
[0005]获取待上报的采集数据;
[0006]基于预设的二进制协议对所述采集数据进行转化处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:获取待上报的采集数据;基于预设的二进制协议对所述采集数据进行转化处理,将所述采集数据转化成对应的转化数据;基于所述采集数据的数据数量以及预设的数据存储个数,生成指定数量的多个循环队列;基于所述指定数量,为每一个所述循环队列分配一一对应的队列标签,其中,所述队列标签的数值范围为1至n,所述队列标签的取值为正整数,n为所述指定数量对应的数值;基于所述采集数据的采集时间的先后顺序、所述队列标签的数值从小到大的顺序以及所述数据存储个数,按照预设规则将所有所述转化数据对应分配至各所述循环队列内;将各所述循环队列一一存储到本地预先创建的空白文件内,生成与各所述循环队列一一对应的数据文件。2.根据权利要求1所述的数据存储方法,其特征在于,所述基于所述采集数据的采集时间的先后顺序、所述队列标签的数值从小到大的顺序以及所述数据存储个数,按照预设规则将所有所述转化数据对应分配至各所述循环队列内数据存储个数的步骤,包括:判断所述数据数量是否为所述数据存储个数的倍数;若所述数据数量为所述数据存储个数的倍数,从所有所述循环队列中筛选出队列标签为1的第一循环队列;根据所述采集数据的采集时间的先后顺序,依次将所述转化数据写入至所述第一循环队列内,并在转化数据的写入过程中判断所述第一循环队列内包含的转化数据的数量是否等于所述数据存储个数,其中,将所述第一循环队列内存储的转化数据记为第一数据;若所述第一循环队列内包含的转化数据的数量等于所述数据存储个数,则停止对于所述第一循环队列的数据写入,并从所有所述循环队列中筛选出队列标签为2的第二循环队列;根据所述采集数据的采集时间的先后顺序,依次将所有所述转化数据中除所述第一数据外的其他数据写入至所述第二循环队列内,以使所述第二循环队列内存储的其他数据的数量等于所述数据存储个数,依此类推,直至完成将所有所述转化数据分配至各所述循环队列内的分配操作处理。3.根据权利要求1所述的数据存储方法,其特征在于,所述将各所述循环队列一一存储到本地预先创建的空白文件内,生成与各所述循环队列一一对应的数据文件的步骤之后,包括:为每一个所述数据文件生成一一对应的数据文件配置类,其中,所述数据文件配置类至少包括有以下属性:文件空间大小数值、文件名称、文件存储路径以及内部包含的循环队列的队列标签;将所有所述数据文件配置类保存至预先创建的全局管理配置文件内。4.根据权利要求3所述的数据存储方法,其特征在于,所述将各所述循环队列一一存储到本地预先创建的空白文件内,生成与各所述循环队列一一对应的数据文件的步骤之后,包括:判断是否接收到与所述采集数据对应的数据上报指令;
若接收到所述数据上报指令,基于数值为1的指定队列标签,对所述全局管理配置文件中包含的所有数据文件配置类进行遍历处理,查找出与所述指定队列标签对应的指定数据文件配置类;获取所述指定文件配置类中包含的指定文件存储路径与指定文件名称;基于所述指定文件存储路径,查找出与所述指定文件名称对应的第一数据文件;对所述第一数据文件进行crc校验处理,并判断是否校验通过;若校验通过,调用预设的mmap函数将所述第一数据文件加载至内存中;基于所述指定队列标签,调用预设的KV接口从所述第一数据文件内存储的循环队列中提取出与所述指...

【专利技术属性】
技术研发人员:史贵岭
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1