一种对实时数据进行存储的方法技术

一种对实时数据进行存储的方法，由采集器实时采集存储传感器的数据；读取主份索引概要信息并校验比较；提取主份索引内容的最新指针；读数据内容最新存储指针；存储数据内容和校验码；计算新索引内容和校验码；存储主份索引内容与校验码；更新并存储主份索引概要；存储备份索引内容与校验码；存储备份索引概要；读取备份索引概要，对备份索引概要校验比较；获取备份索引最新指针；读取数据内容最新存储指针；重新建立存储信息。采用双索引和多重校验对存储器中的数据保护，保证采集器中所存储数据内容完整，采用循环覆盖实现固定存储容量下的数据内容连续存储，提高工业过程中重要参数记录的可靠性和完整性，提高过程监测和安全生产的工作效益。

Method for storing real time data

A method for storing real-time data acquisition, real-time data storage by the sensor data; reading main index summary information and check the latest pointer comparison; the index and content extraction; read the latest content data storage pointer; data storage contents and check code; calculate the new index content and check code; main storage the index content and check code; update and storage the main index summary; storage backup index content and check code; storage backup index summary; read backup index summary of backup index summary check; get the latest backup index pointer; read the data contents of the newly re established information storage storage pointer. By double index and multiple check of data protection in memory, ensure acquisition data stored content integrity, data used circularly fixed content storage capacity under continuous storage, improve the reliability and integrity of the main parameters in industrial processes, improve process monitoring and production safety work efficiency.

【技术实现步骤摘要】

本专利技术涉及信息技术与自动化领域信息处理
，涉及一 种在嵌入式采集器上使用的实时数据的存储方法，是在嵌入式操作 系统上执行的一种软件流程，适用于恶劣应用环境中的嵌入式采集 器实时数据存储。
技术介绍
在工业生产过程中，各种参数的变化过程往往反映了在一个阶 段内生产设备的运行状况和生产工序的衔接情况，各种参数过程对 于合理制定生产计划、适时对设备进行维护、保障安全生产要求等 都具有非常重要的意义。在工业领域内嵌入式采集器被广泛应用， 对许多工业参数(如温度、压力、流量等)进行测量和记录，生成 连续的历史数据，为技术人员和管理人员提供分析研究的一手资料。 但由于许多工业生产中，工作环境比较恶劣(如高温、高湿、强腐 蚀等)，嵌入式采集器的运行条件不是非常稳定(如频繁断电、外部 干扰严重等)，虽然采集器具有一定的环境适应能力，但仍不可避免 的会频繁出现造成采集器断电、重启、甚至死机、损坏等意外情况 出现。这样如果正在存储过程中程序被意外中断，则存储到存储器 中的数据就不完整，再次读取时将可能无法对数据内容进行解释。 为了保证在采集器存储器硬件不损坏的条件下其内的存储数据不丢 失，就需要采用高可靠性的数据存储方法，提高存储器的利用率， 并提高软件系统的容错性，保障历史数据的连续性。目前计算机上的数据存储使用规范的文件管理系统，如FAT、 NTFS等，它们都采 用目录式的管理方式，在实际物理地址中通过指针的方式逐级指向 文件内容所在的存储地址，统一对多个文件的数据进行管理，这样 一旦物理地址中的某个目录指针出错，就无法对文件中的内容进行读取和解释，在嵌入式采集器中使用具有一定的风险性。目前的许 多嵌入式采集器中采用基于记录的存储方式，每条记录包含数据内 容的所有信息，在物理地址中连续存储，以此来保证因某些数据损 坏而造成所有数据不可读的弊端，但这种方式需要每条记录采用固 定的存储格式以包含所有存储信息，造成每条记录都占用很多个字 节，不便于在容量有限的存储器内存储更多的记录数目。因此，高 效率、高可靠性的数据存储方法是解决工业生产过程中嵌入式采集 器数据存储需求的一种有效手段。
技术实现思路
为了解决现有技术的问题，本专利技术的目的是提供一种在嵌入式 采集器对实时数据进行存储的方法，在工业过程监测中对参数变化过程进行高效率地可靠存储，避免因外部原因而造成所存储的所有 历史数据不可读的情况，提高嵌入式采集器使用的安全性，保障工 业生产中的参数监测过程。为达到上述目的，本专利技术的技术解决方案是提供一种基于双索 引的嵌入式采集器对实时数据进行存储的方法，其技术方案是步骤A:先由采集器实时釆集各传感器的数值，并经处理后得到需要存储的数据内容；步骤B:读取主份索引概要信息；步骤C:对主份索引概要信息进行校验比较；如果校验主份索 引概要信息正确，则执行步骤D;如果校验主份索引概要信息错误， 则执行步骤N;步骤D:提取主份索引内容的最新指针；步骤E:读主份索引内容最新存储指针，利用最新存储指针在索引内容中读取最新一条索引信息；步骤F:对最新一条索引信息进行校验比较，如果校验错误， 则执行步骤N，如果校验正确，则执行步骤G;步骤G:从最新一条索引信息中提取步骤Q的数据内容最新的 存储指针，并在存储指针所在的地址中存储的时、分、秒、通道、数值的数据内容和校验码；步骤H:计算新索引内容和校验码，并根据存储指针是否到达 物理最大存储地址来决定是否需要进行环形覆盖操作，若需覆盖则 对索引年、月、日、存储内容起始地址、存储内容长度的内容进行 相应调整；步骤I:存储主份索引内容与校验码；步骤J:更新主份索引概要；步骤K:存储主份索引概要；步骤L:存储备份索引内容与校验码；步骤M:存储备份索引概要，完成本次存储操作，并由步骤A 开始重新执行；步骤N:读取备份索引概要，利用备份索引进行相关操作； 步骤O:对备份索引概要操作时，进行校验比较，若备份索引 概要中的内容校验错误，说明该存储器的数据己被完全损坏，利用 软件不能继续维护，则执行步骤R;若备份索引中的内容也校验正 确，则执行步骤P;步骤P:获取备份索引最新指针；步骤Q:读取数据内容最新存储指针，并执行步骤G; 步骤R:重新建立存储信息，从步骤A开始重新执行。 根据本专利技术的实施例，所述实时采集数据还包括 步骤A1:将所述实时采集的包含通道号、年、月、日、时、分、秒、数据值信息、校验码数据按日为单元生成索引和数据内容; 步骤A2:将包含有年、月、日、起始地址、结束地址、校验码，索引信息与已存储索引相比较，确定数据内容的存储地址；步骤A3:根据数据内容的存储地址判断是否需要对己存储数据进行覆盖，如果需要覆盖，则将需要覆盖存储区的内容删除，在该区域存储数据内容，并更改索引信息；如果不需要则直接将数据内 容存储在由步骤A2得到的存储地址中；步骤A4:根据数据内容的存储情况确定是否需要更新索引信 息，如果需要则将己存储的索引更改为新索引信息，如果不需要则7维持原索引不变。根据本专利技术的实施例，所述存储数据内容覆盖采用环形顺序存 储的循环覆盖存储方式，步骤如下步骤A31:在SD存储卡中按物理地址顺序依次存储；步骤A32:存储到SD存储卡的最大物理地址时，将SD存储卡 中最早一天的数据删除掉；步骤A33:然后在最早一天存储内容的物理地址处继续存储数据，构成环形存储方式，并对索引内容进行相应改动。根据本专利技术的实施例，所述的索引还包括所述索引包含指向该日的数据内容的物理存储地址，存储索引 采用双索引的主份和备份的存储方式，内容相同的主份索引和备份索引存储在铁电存储器中不同的物理地址中，各自含有校验信息；存储索引由索引概要和索引内容组成，索引概要的内容包含索 引内容起始与结束物理地址、存储记录总数、物理存储器剩余空间， 索引内容是以天为单位生成的指向存储数据的索引信息。根据本专利技术的实施例，所述的嵌入式采集器实时数据存储方法中，其所述校验码R(X)多项式为CRC16循环校验码，其计算公 式为<formula>formula see original document page 8</formula>其中为要校验的n位二进制序列数，=义16 + Z'5 + Z2 +1为固定多项式，e(为整多项式，及U)余式为循环校验码，x是多项式自由变量。根据本专利技术的实施例，所述的嵌入式采集器实时数据存储方法 中，其所述实时数据值为单精度浮点数，由4字节表示，起始地址 和结束地址为整型数，由4字节表示。根据本专利技术的实施例，所述的嵌入式采集器实时数据存储方法 中，其所述SD存储卡的存储容量为256MB 4GB，所述铁电存储器 的存储容量为16KB 128KB。根据本专利技术的实施例，所述的嵌入式采集器实时数据存储方法中，其所述嵌入式采集器为由ARM处理器构成的移植嵌入式操作 系统的装置，该装置软件中不移植文件系统。本专利技术对实时数据进行存储的方法在嵌入式ARM采集器上的 应用。本专利技术提出的嵌入式采集器为硬件的采集系统中使用的可靠性 实时数据存储方法主要优点如下采用索引方式对数据内容进行管 理，可以减少每条数据内容所占用的字节数，提高了一定存储容量 下数据记录的存储数量；每条数据记录都采用CRC16校验，保证本文档来自技高网...

【技术保护点】
一种对实时数据进行存储的方法，是针对嵌入式ＡＲＭ采集器的设计，其特征在于：其存储步骤为：　步骤Ａ：先由采集器实时采集各传感器的数值，并经处理后得到需要存储的数据内容；　步骤Ｂ：读取主份索引概要信息；　步骤Ｃ：对主份索引概 要信息进行校验比较；如果校验主份索引概要信息正确，则执行步骤Ｄ；如果校验主份索引概要信息错误，则执行步骤Ｎ；　步骤Ｄ：提取主份索引内容的最新指针；　步骤Ｅ：读主份索引内容最新存储指针，利用最新存储指针在索引内容中读取最新一条索引 信息；　步骤Ｆ：对最新一条索引信息进行校验比较，如果校验错误，则执行步骤Ｎ，如果校验正确，则执行步骤Ｇ；　步骤Ｇ：从最新一条索引信息中提取步骤Ｑ的数据内容最新的存储指针，并在存储指针所在的地址中存储的时、分、秒、通道、数值的数据 内容和校验码；　步骤Ｈ：计算新索引内容和校验码，并根据存储指针是否到达物理最大存储地址来决定是否需要进行环形覆盖操作，若需覆盖则对索引年、月、日、存储内容起始地址、存储内容长度的内容进行相应调整；　步骤Ｉ：存储主份索引内容与校验 码；　步骤Ｊ：更新主份索引概要；　步骤Ｋ：存储主份索引概要；　步骤Ｌ：存储备份索引内容与校验码；　步骤Ｍ：存储备份索引概要，完成本次存储操作，并由步骤Ａ开始重新执行；　步骤Ｎ：读取备份索引概要，利用备份索引进行 相关操作；　步骤Ｏ：对备份索引概要操作时，进行校验比较，若备份索引概要中的内容校验错误，说明该存储器的数据已被完全损坏，利用软件不能继续维护，则执行步骤Ｒ；若备份索引中的内容也校验正确，则执行步骤Ｐ；　步骤Ｐ：获取备份索引最新 指针；　步骤Ｑ：读取数据内容最新存储指针，并执行步骤Ｇ；　步骤Ｒ：重新建立存储信息，从步骤Ａ开始重新执行。...

【技术特征摘要】
1. 一种对实时数据进行存储的方法，是针对嵌入式ARM采集器的设计，其特征在于其存储步骤为步骤A先由采集器实时采集各传感器的数值，并经处理后得到需要存储的数据内容；步骤B读取主份索引概要信息；步骤C对主份索引概要信息进行校验比较；如果校验主份索引概要信息正确，则执行步骤D；如果校验主份索引概要信息错误，则执行步骤N；步骤D提取主份索引内容的最新指针；步骤E读主份索引内容最新存储指针，利用最新存储指针在索引内容中读取最新一条索引信息；步骤F对最新一条索引信息进行校验比较，如果校验错误，则执行步骤N，如果校验正确，则执行步骤G；步骤G从最新一条索引信息中提取步骤Q的数据内容最新的存储指针，并在存储指针所在的地址中存储的时、分、秒、通道、数值的数据内容和校验码；步骤H计算新索引内容和校验码，并根据存储指针是否到达物理最大存储地址来决定是否需要进行环形覆盖操作，若需覆盖则对索引年、月、日、存储内容起始地址、存储内容长度的内容进行相应调整；步骤I存储主份索引内容与校验码；步骤J更新主份索引概要；步骤K存储主份索引概要；步骤L存储备份索引内容与校验码；步骤M存储备份索引概要，完成本次存储操作，并由步骤A开始重新执行；步骤N读取备份索引概要，利用备份索引进行相关操作；步骤O对备份索引概要操作时，进行校验比较，若备份索引概要中的内容校验错误，说明该存储器的数据已被完全损坏，利用软件不能继续维护，则执行步骤R；若备份索引中的内容也校验正确，则执行步骤P；步骤P获取备份索引最新指针；步骤Q读取数据内容最新存储指针，并执行步骤G；步骤R重新建立存储信息，从步骤A开始重新执行。2. 根据权利要求l所述的对实时数据进行存储的方法，其特征 在于，所述实时采集数据还包括步骤A1:将所述实时采集的包含通道号、年、月、日、时、 分、秒、数据值信息、校验码数据按日为单元生成索引和数据内容；步骤A2:将包含有年、月、日、起始地址、结束地址、校验码 的索引信息与已存储索引相比较，确定数据内容的存储地址；步骤A3:根据数据内容的存储地址判断是否需要对己存储数据 进行覆盖，如果需要覆盖，则将需要覆盖存储区的内容删除，在该 区域存储数据内容，并更改索引信息；如果不需要则直接将数据内 容存储在由步骤A2得到的存储地址中；...

【专利技术属性】
技术研发人员：李恩，谭民，梁自泽，侯增广，梁潇，尚继林，王硕，赵晓光，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：11[中国|北京]