用于嵌入式系统中的文件型实时历史数据库算法技术方案

本发明专利技术公开了用于嵌入式系统中的文件型实时历史数据库算法，属历史数据库领域。包括数据库结构定义和数据库算法，所述数据库结构定义包括数据文件格式定义、文件信息结构格式定义、数据段结构定义、采样数据结构定义，经过两次的数据过滤，依然保留下来的数据，就需要写入到数据库中，数据段采用固定块大小，是在保证一定的数据存储量的同时，能够实现快速的数据定位，整段数据加载至内存中，能够对数据进行快速处理。本发明专利技术结合了嵌入式监控应用的特性，对普通的历史文件算法进行了改进，达到数据处理快速且文件尺寸较小的要求。为了防止历史文件过于碎片化，采用一个月为一个单位，进行存储。

【技术实现步骤摘要】

本专利技术涉及历史数据库领域，具体地说，是用于嵌入式系统中的文件型实时历史数据库算法。
技术介绍
文件型实时历史数据库是嵌入式监控应用程序中不可缺少的一部分。文件历史数据库就是将采集到的数据变化过程记录下来，用来分析数据的变化过程及作为数据资料进行存档。由于主要应用于嵌入式系统中，嵌入式系统中的各种资源都是相对有限的，这就要求文件尺寸要尽可能的小。另外由于是应用于实时监控，处理数据时要尽可能的快速。以往的历史文件算法往往处理速度偏慢，且文件尺寸较大，很难长期稳定的应用于嵌入式应用的工作环境中。由于历史数据库是对数据变化过程的记录，就要求数据的时效及数据的真实性，基于这些特性，历史数据库仅提供数据插入及数据查询操作，以防止过程数据被篡改。
技术实现思路
本专利技术提供了用于嵌入式系统中的文件型实时历史数据库算法，结合了嵌入式监控应用的特性，对普通的历史文件算法进行了改进，达到数据处理快速且文件尺寸较小的要求。为了防止历史文件过于碎片化，采用一个月为一个单位，进行存储。本专利技术涉及用于嵌入式系统中的文件型实时历史数据库算法，包括数据库结构定义和数据库算法，其特征在于，所述数据库结构定义包括数据文件格式定义、文件信息结构格式定义、数据段结构定义、采样数据结构定义，所述数据文件格式定义如下：文字信息占20字节和n个数据段，每一个数据段占1024字节；所述文件信息结构格式定义如下：版本信息占4字节、创建时间占8字节、信息预留占8字节，所述创建时间为1970年1月1日到创建时间的毫秒数；所述数据段结构定义如下：采集数据点标识的Id占4字节、段有效长度占2字节、段实际长度占2字节、前趋段地址占2字节、后续段地址占2字节、起始时间占4字节、截止时间占4字节、变化阈值占4字节、采样数据占n字节，其中6≤n≤16；所述段有效长度为有效数据的长度；所述段实际长度在默认情况下与与有效长度相等，但是当过程数据有修改时则不一致；所述前趋段地址表示上一个Id的采样数据点的存储段地址；所述后续段地址表示下一个Id的采集数据点的存储段地址；所述起始时间为存储段的采样数据起始时间；所述截止时间为存储段采样数据截止时间，所述起始时间与所述截止时间均是相对于文件创建时间的毫秒数来计算；如果新添加的数据变化大于所述变化阈值则记录，否则抛弃。所述采样数据结构定义包括采样数据头和采样数据两部分，采样数据结构根据采样数据头结构定义，采样数据头结构定义如下：采样时间标签占2字节、采样数据类型及质量标签占1字节；采样数据结构定义如下：采样数据头占3字节、时间标签占4或0字节、采样值占1～8字节，所述采样时间标签为超过上一个采样数据的采样时间的毫秒数，如果没有上一个采样数据，则表示超过该数据段的起始时间的毫秒数；所述采样数据类型及质量标签包括采样数据类型标签和采样数据的质量标签，采样数据类型标签的采样值占1～4字节，采样数据的质量标签的采样值占5～8字节，所述采样数据的时间标签根据采样数据头来决定是否占字节，所述采样值根据采样数据头中的数据类型来决定采样值所占字节数。其数据存储方法如下：(1)查询新插入数据点是否已经存在于数据库中，如果未存在则创建新的数据段，并将数据直接写入，写入过程结束；(2)如果已经存在于数据库中则进行后续判断,首先判断数据变化是否超出变化阈值，如果未超出则直接将数据丢弃，写入过程结束；(3)如果变化超出了变化阈值，则采用旋转门算法进一步对数据进行过滤，(4)经过两次的数据过滤，依然保留下来的数据，就需要写入到数据库中，数据段采用固定块大小，是在保证一定的数据存储量的同时，能够实现快速的数据定位，整段数据加载至内存中，能够对数据进行快速处理。进一步地，所述起始时间、截止时间均采用相对于文件创建时间的毫秒数来计时，长度各为4个字节的无符号整型数据，最长能够表示4294967295毫秒，即49天，能够在存储尺寸较小的情况下保证数据文件记录一个月的时间范围。与现有技术相比，本专利技术的积极效果是：1.本专利技术结合了嵌入式监控应用的特性，对普通的历史文件算法进行了改进，达到数据处理快速且文件尺寸较小的要求。为了防止历史文件过于碎片化，采用一个月为一个单位，进行存储。附图说明图1是本专利技术的数据存储流程图具体实施方式本专利技术提供用于嵌入式系统中的文件型实时历史数据库算法，为使本专利技术的目的、技术方案及效果更佳清楚、明确，以下结合附图对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用与限定本专利技术。本专利技术本专利技术涉及用于嵌入式系统中的文件型实时历史数据库算法，包括数据库结构定义和数据库算法，其特征在于，所述数据库结构定义包括数据文件格式定义、文件信息结构格式定义、数据段结构定义、采样数据结构定义，所述数据文件格式定义如下：文字信息占20字节和n个数据段，每一个数据段占1024字节；所述文件信息结构格式定义如下：版本信息占4字节、创建时间占8字节、信息预留占8字节，所述创建时间为1970年1月1日到创建时间的毫秒数；所述数据段结构定义如下：采集数据点标识的Id占4字节、段有效长度占2字节、段实际长度占2字节、前趋段地址占2字节、后续段地址占2字节、起始时间占4字节、截止时间占4字节、变化阈值占4字节、采样数据占n字节，其中6≤n≤16；所述段有效长度为有效数据的长度；所述段实际长度在默认情况下与与有效长度相等，但是当过程数据有修改时则不一致；所述前趋段地址表示上一个Id的采样数据点的存储段地址；所述后续段地址表示下一个Id的采集数据点的存储段地址；所述起始时间为存储段的采样数据起始时间；所述截止时间为存储段采样数据截止时间，所述起始时间与所述截止时间均是相对于文件创建时间的毫秒数来计算；如果新添加的数据变化大于所述变化阈值则记录，否则抛弃。所述采样数据结构定义包括采样数据头和采样数据两部分，采样数据结构根据采样数据头结构定义，采样数据头结构定义如下：采样时间标签占2字节、采样数据类型及质量标签占1字节；采样数据结构定义如下：采样数据头占3字节、时间标签占4或0字节、采样值占1～8字节，所述采样时间标签为超过上一个采样数据的采样时间的毫秒数，如果没有上一个采样数据，则表示超过该数据段的起始时间的毫秒数；所述采样数据类型及质量标签包括采样数据类型标签和采样数据的质量标签，采样数据类型标签的采样值占1～4字节，采样数据的质量标签的采样值占5～8字节，所述采样数据的时间标签根据采样数据头来决定是否占字节，所述采样值根据采样数据头中的数据类型来决定采样值所占字节数。如图1所示，其数据存储方法如下：(1)查询新插入数据点是否已经存在于数据库中，如果未存在则创建新的数据段，并将数据直接写入，写入过程结束；(2)如果已经存在于数据库中则进行后续判断,首先判断数据变化是否超出变化阈值，如果未超出则直接将数据丢弃，写入过程结束；(3)如果变化超出了变化阈值，则采用旋转门算法进一步对数据进行过滤；(4)经过两次的数据过滤，依然保留下来的数据，就需要写入到数据库中，数据段采用固定块大小，是在保证一定的数据存储量的同时，能够实现快速的数据定位，整段数据加载至内存中，能够对数据进行快速处理。进一步地，所述起始时间、截止时间均采本文档来自技高网...

【技术保护点】
用于嵌入式系统中的文件型实时历史数据库算法，包括数据库结构定义和数据库算法，其特征在于，所述数据库结构定义包括数据文件格式定义、文件信息结构格式定义、数据段结构定义、采样数据结构定义，所述数据文件格式定义如下：文字信息占20字节和n个数据段，每一个数据段占1024字节；所述文件信息结构格式定义如下：版本信息占4字节、创建时间占8字节、信息预留占8字节，所述创建时间为1970年1月1日到创建时间的毫秒数；所述数据段结构定义如下：采集数据点标识的Id占4字节、段有效长度占2字节、段实际长度占2字节、前趋段地址占2字节、后续段地址占2字节、起始时间占4字节、截止时间占4字节、变化阈值占4字节、采样数据占n字节，其中6≤n≤16；所述段有效长度为有效数据的长度；所述段实际长度在默认情况下与与有效长度相等，但是当过程数据有修改时则不一致；所述前趋段地址表示上一个Id的采样数据点的存储段地址；所述后续段地址表示下一个Id的采集数据点的存储段地址；所述起始时间为存储段的采样数据起始时间；所述截止时间为存储段采样数据截止时间，所述起始时间与所述截止时间均是相对于文件创建时间的毫秒数来计算；如果新添加的数据变化大于所述变化阈值则记录，否则抛弃。所述采样数据结构定义包括采样数据头和采样数据两部分，采样数据结构根据采样数据头结构定义，采样数据头结构定义如下：采样时间标签占2字节、采样数据类型及质量标签占1字节；采样数据结构定义如下：采样数据头占3字节、时间标签占4或0字节、采样值占1～8字节，所述采样时间标签为超过上一个采样数据的采样时间的毫秒数，如果没有上一个采样数据，则表示超过该数据段的起始时间的毫秒数；所述采样数据类型及质量标签包括采样数据类型标签和采样数据的质量标签，采样数据类型标签的采样值占1～4字节，采样数据的质量标签的采样值占5～8字节，所述采样数据的时间标签根据采样数据头来决定是否占字节，所述采样值根据采样数据头中的数据类型来决定采样值所占字节数。其数据存储方法如下：(1)查询新插入数据点是否已经存在于数据库中，如果未存在则创建新的数据段，并将数据直接写入，写入过程结束；(2)如果已经存在于数据库中则进行后续判断,首先判断数据变化是否超出变化阈值，如果未超出则直接将数据丢弃，写入过程结束；(3)如果变化超出了变化阈值，则采用旋转门算法进一步对数据进行过滤，(4)经过两次的数据过滤，依然保留下来的数据，就需要写入到数据库中，数据段采用固定块大小，是在保证一定的数据存储量的同时，能够实现快速的数据定位，整段数据加载至内存中，能够对数据进行快速处理。...

【技术特征摘要】
1.用于嵌入式系统中的文件型实时历史数据库算法，包括数据库结构定义和数据库算法，其特征在于，所述数据库结构定义包括数据文件格式定义、文件信息结构格式定义、数据段结构定义、采样数据结构定义，所述数据文件格式定义如下：文字信息占20字节和n个数据段，每一个数据段占1024字节；所述文件信息结构格式定义如下：版本信息占4字节、创建时间占8字节、信息预留占8字节，所述创建时间为1970年1月1日到创建时间的毫秒数；所述数据段结构定义如下：采集数据点标识的Id占4字节、段有效长度占2字节、段实际长度占2字节、前趋段地址占2字节、后续段地址占2字节、起始时间占4字节、截止时间占4字节、变化阈值占4字节、采样数据占n字节，其中6≤n≤16；所述段有效长度为有效数据的长度；所述段实际长度在默认情况下与与有效长度相等，但是当过程数据有修改时则不一致；所述前趋段地址表示上一个Id的采样数据点的存储段地址；所述后续段地址表示下一个Id的采集数据点的存储段地址；所述起始时间为存储段的采样数据起始时间；所述截止时间为存储段采样数据截止时间，所述起始时间与所述截止时间均是相对于文件创建时间的毫秒数来计算；如果新添加的数据变化大于所述变化阈值则记录，否则抛弃。所述采样数据结构定义包括采样数据头和采样数据两部分，采样数据结构根据采样数据头结构定义，采样数据头结构定义如下：采样时间标签占2字节、采样数据类型及质量标签占1字节；采样数据结构定义如下：采样...

【专利技术属性】
技术研发人员：陈宝钧，
申请(专利权)人：天津九洲云物联科技有限公司，
类型：发明
国别省市：天津;12