一种提高智能网荷互动终端数据存储效率及安全性的方法技术

本发明专利技术涉及一种提高智能网荷互动终端数据存储效率及安全性的方法，属于网络通信技术领域。该方法包括存储步骤、提取步骤、常规读取、数据恢复、网络求救各步骤，不仅由于将逻辑文件以化零为整的方式存储于物理文件，因此显著增加了存储容量，并且引入了一级索引和二级索引文件，因此有效保证了数据的查找效率。此外，还采用了CRC32校验、压缩备份、网络求救多重保障机制，具备极强的数据恢复能力，确保了数据存储的安全性和终端运行的可靠性。

A method to improve the efficiency and security of the data storage of the intelligent network load interactive terminal

The invention relates to a method for improving the efficiency and security of the data storage of the intelligent network load interactive terminal, which belongs to the field of network communication technology. The method comprises the steps of storage, extraction, conventional reading, data recovery, network for each step, not only because of the logical file stored in the physical to gather parts into a whole file, thus significantly increase the storage capacity, and introduces a level index and two level index, thus effectively guarantee the efficiency of data search. In addition, CRC32 check, compression backup and network help multiple safeguard mechanism are adopted, which has strong data recovery ability, ensuring the safety of data storage and the reliability of terminal operation.

【技术实现步骤摘要】
一种提高智能网荷互动终端数据存储效率及安全性的方法
本专利技术涉及一种提高数据存储效率及安全性的方法，尤其是一种提高智能网荷互动终端数据存储效率及安全性的方法，属于网络通信

技术介绍
智能网荷互动系统是一种基于高速网络通信以快速响应为目的、用于多条供配电线路电气量的采集、控制实时测控系统（参见申请号201310124359.5、名称《一种基于智能电网的网荷互动多维运行系统》的中国专利文献），其中含有位数不少的嵌入式智能自动化装置。为了降低成本，这些装置所用数据存储器Block大小一般为4K，所用fat、yaffs等主流文件系统的最小处理单元与存储器Block一致，也为4K。因此，当文件大小仅为1K时，存储时实际占用的空间也会达到4K。结果，当存储的文件数量多且基本都是1K、2K的小文件时，存储空间的浪费十分严重，整体存储效率往往不足50%，结果无法满足数据存储量的需要。为此，不得不采用加大装置成本的大容量数据存储器。此外，上述现有装置由于缺少文件备份及恢复机制，因此数据安全性欠佳。当文件中个别字节发生异常时（比如因环境影响发生字节突变——0变成1、1变成0），很可能导致文件整体破坏，一旦被破坏的文件属于系统类或特别重要的参数类文件，有可能导致包括自动化装置进入错误运行模式在内的严重后果。
技术实现思路
本专利技术的目的在于：针对上述现有技术存在的问题，提出一种可以有效降低存储浪费空间、显著提高智能网荷互动终端数据存储效率及安全性的方法，从而以尽可能经济的成本满足数据存储需求。本申请将文件系统支持的文件称为物理文件，将数据存储器的单个物理Block称之为文件块（4K大小），将自动化装置使用的业务文件称为逻辑文件，逻辑文件面对用户程序，以参数属性分类。单个物理文件最大配置为256K（可根据产品需求调整），最多由64个文件块组成。逻辑文件大小不限，分别存储在物理文件上。为了达到以上目的，本专利技术提高智能网荷互动终端数据存储效率及安全性的方法包括以下步骤：第1步、存储步骤1.1步、将存储空间划分为常规区和备份区；1.2步、建立保存每个逻辑文件在物理文件中包括名称、地址、长度、校验码在内存储信息的二级索引文件；1.3步、针对二级索引文件，提取出逻辑文件名称，并按照字母先后进行排序，建立反映二级索引文件中相应的一级索引文件，存储于内存中；1.4步、将小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在常规区的物理文件上；同时将压缩后小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在备份区的物理文件上；第2步、提取步骤2.1步、在一级索引文件中查找指定逻辑文件名称，以确定该逻辑文件在二级索引文件中的下标位置；2.2步、根据在一级索引文件查找确定的下标位置，在二级索引文件中定位到指定逻辑文件，提取出该逻辑文件在常规区和备份区中对应的物理文件存储信息；第3步、常规读取3.1步、按照提取到的常规区存储信息中的物理文件名称，调用文件系统open函数尝试在常规区打开对应名称的物理文件；若打开失败，则提示打开不成功，进入数据恢复步骤；若打开成功，则提示可以进行物理文件的常规读写操作，进行下步；3.2步、按照提取到的常规区存储信息中的物理文件地址、大小，调用文件系统read函数尝试在常规区物理文件中读取对应逻辑文件的内容；若读取失败，则提示读取不成功，进入数据恢复步骤；若读取成功，则提示读取成功，返回实际读取文件；3.3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入数据恢复步骤；若校验成功，则提示逻辑文件内容正确；第4步、数据恢复4.1步、按照提取到的备份区存储信息中的物理文件名称，调用文件系统open函数尝试在备份区打开对应名称的备份物理文件；若打开失败，则提示打开不成功，进入网络求救步骤；若打开成功，则提示可以进行备份物理文件的常规读写操作，进行下步；4.2步、按照提取到的备份区存储信息中的物理文件地址、大小，调用文件系统read函数尝试在备份区物理文件中读取对应逻辑文件的内容；若提示读取不成功，进入网络求救步骤；若读取成功，提示读取成功，返回实际读取文件，进行下步；4.3步、尝试解压实际取得文件；若解压缩失败，则返回解压不成功，进入网络求救步骤；若解压成功，则提示解压成功，返回实际解压文件，进行下步；4.4步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入网络求救步骤；若校验成功，则提示逻辑文件内容正确，并修复对应常规区的逻辑文件；第5步、网络求救5.1步、以广播方式发送带终端自身地址addr以及身份标志identity的“网络求救”报文，等待回复；5.2步、接收到同伴终端回复的“愿意施救”报文后，与同伴终端建立密码为自身地址的FTP链接；5.3步、FTP链接建立成功后，下载自身异常的参数文件，下载成功后替换自身常规区、备份区内的异常文件。本专利技术进一步的完善是，所述1.3步为针对二级索引文件，提取出逻辑文件名称，并按照字母先后进行排序，建立反映二级索引文件中相应下标位置的一级索引文件，存储于内存中。因为二级索引内的逻辑文件名称通常是乱序的（例如第1个逻辑文件名是A，在二级索引中，下标位置是0；第2个逻辑文件名是B，在二级索引中，下标位置是1；第3个逻辑文件名是AY，在二级索引中，下标位置是2；第4个逻辑文件名是AZ，在二级索引中，下标位置是3；文件名A、B、AY、AZ，不是按照字母先后顺序排的），查找时需要逐一查找，效率低。而按照字母先后进行排序，重新生成了一份索引文件，即一级索引（例如第1个逻辑文件名是A，在二级索引中，下标位置是0；第2个逻辑文件名是AY，在二级索引中，下标位置是2；第3个逻辑文件名是AZ，在二级索引中，下标位置是3；第4个逻辑文件名是B，在二级索引中，下标位置是1），按字母排序查找，立即知其在二级文件中的下标后，即一步到位直接到二级文件对应下标，从而高效提取到所需逻辑文件。本专利技术又进一步的完善是：所述2.1步、在一级索引文件中采用二分查找法查找指定逻辑文件名称，以确定该逻辑文件在二级索引文件中的下标位置。这样可以避免逐一查找，实现快速定位。本专利技术还进一步的完善是：所述3.2步之后紧接3.3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入数据恢复步骤；若校验成功，则提示逻辑文件内容正确。本专利技术更进一步的完善是：所述4.2步和4.3步之间还具有4.2-3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入网络求救步骤；若校验成功，则提示逻辑文件内容正确，进行下步。本专利技术不仅由于将逻辑文件以化零为整的方式存储于物理文件，因此显著增加了存储容量，并且引入了一级索引和二级索引文件，因此有效保证了数据的查找效率。此外，还采用了CRC32校验、压缩备份、网络求救多重保障机制，具备极强的数据恢复能力，确保了数据存储的安全性和终端运行的可靠性。附图说明下面结合附图对本专利技术作进一步的说明。图1是本专利技术一个实施例的一级索引文件结本文档来自技高网...

【技术保护点】
一种提高智能网荷互动终端数据存储效率及安全性的方法，其特征在于包括以下步骤：第1步、存储步骤1.1步、将存储空间划分为常规区和备份区；1.2步、建立保存每个逻辑文件在物理文件中包括名称、地址、长度、校验码在内存储信息的二级索引文件；1.3步、针对二级索引文件，提取出逻辑文件名称，并按照字母先后进行排序，建立反映二级索引文件中相应的一级索引文件，存储于内存中；1.4步、将小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在常规区的物理文件上；同时将压缩后小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在备份区的物理文件上；第2步、提取步骤2.1步、在一级索引文件中查找指定逻辑文件名称，以确定该逻辑文件在二级索引文件中的下标位置；2.2步、根据在一级索引文件查找确定的下标位置，在二级索引文件中定位到指定逻辑文件，提取出该逻辑文件在常规区和备份区中对应的物理文件存储信息；第3步、常规读取3.1步、按照提取到的常规区存储信息中的物理文件名称，调用文件系统open函数尝试在常规区打开对应名称的物理文件；若打开失败，则提示打开不成功，进入数据恢复步骤；若打开成功，则提示可以进行物理文件的常规读写操作，进行下步；3.2步、按照提取到的常规区存储信息中的物理文件地址、大小，调用文件系统read函数尝试在常规区物理文件中读取对应逻辑文件的内容；若读取失败，则提示读取不成功，进入数据恢复步骤；若读取成功，则提示读取成功，返回实际读取文件；3.3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入数据恢复步骤；若校验成功，则提示逻辑文件内容正确；第4步、数据恢复4.1步、按照提取到的备份区存储信息中的物理文件名称，调用文件系统open函数尝试在备份区打开对应名称的备份物理文件；若打开失败，则提示打开不成功，进入网络求救步骤；若打开成功，则提示可以进行备份物理文件的常规读写操作，进行下步；4.2步、按照提取到的备份区存储信息中的物理文件地址、大小，调用文件系统read函数尝试在备份区物理文件中读取对应逻辑文件的内容；若提示读取不成功，进入网络求救步骤；若读取成功，提示读取成功，返回实际读取文件，进行下步；4.3步、尝试解压实际取得文件；若解压缩失败，则返回解压不成功，进入网络求救步骤；若解压成功，则提示解压成功，返回实际解压文件，进行下步；4.4步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入网络求救步骤；若校验成功，则提示逻辑文件内容正确，并修复对应常规区的逻辑文件；第5步、网络求救5.1步、以广播方式发送带终端自身地址addr以及身份标志 identity的“网络求救”报文，等待回复；5.2步、接收到同伴终端回复的“愿意施救”报文后，与同伴终端建立密码为自身地址的FTP链接；5.3步、FTP链接建立成功后，下载自身异常的参数文件，下载成功后替换自身常规区、备份区内的异常文件。...

【技术特征摘要】
1.一种提高智能网荷互动终端数据存储效率及安全性的方法，其特征在于包括以下步骤：第1步、存储步骤1.1步、将存储空间划分为常规区和备份区；1.2步、建立保存每个逻辑文件在物理文件中包括名称、地址、长度、校验码在内存储信息的二级索引文件；1.3步、针对二级索引文件，提取出逻辑文件名称，并按照字母先后进行排序，建立反映二级索引文件中相应的一级索引文件，存储于内存中；1.4步、将小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在常规区的物理文件上；同时将压缩后小于50%物理文件的逻辑文件以至少两件紧密存储在同一物理文件上的方式存储在备份区的物理文件上；第2步、提取步骤2.1步、在一级索引文件中查找指定逻辑文件名称，以确定该逻辑文件在二级索引文件中的下标位置；2.2步、根据在一级索引文件查找确定的下标位置，在二级索引文件中定位到指定逻辑文件，提取出该逻辑文件在常规区和备份区中对应的物理文件存储信息；第3步、常规读取3.1步、按照提取到的常规区存储信息中的物理文件名称，调用文件系统open函数尝试在常规区打开对应名称的物理文件；若打开失败，则提示打开不成功，进入数据恢复步骤；若打开成功，则提示可以进行物理文件的常规读写操作，进行下步；3.2步、按照提取到的常规区存储信息中的物理文件地址、大小，调用文件系统read函数尝试在常规区物理文件中读取对应逻辑文件的内容；若读取失败，则提示读取不成功，进入数据恢复步骤；若读取成功，则提示读取成功，返回实际读取文件；3.3步、按照存储信息中提示的校验码，采用国际CRC32标准算法尝试进行整体校验；若校验失败，则提示校验不成功，进入数据恢复步骤；若校验成功，则提示逻辑文件内容正确；第4步、数据恢复4.1步、按照提取到的备份区存储信息中的物理文件名称，调用文件系统open函数尝试在备份区打开对应名称的备份物理文件；若打开失败，则提示打开不成功，进入网络求救步骤；若打开成功，则提示可以进行备份物理文件的常规读写操作，进行下步；4.2步、按照提取到的备份区存储信息中的物理文件地址、大小，调用文件系...

【专利技术属性】
技术研发人员：翁红碗，孙启龙，戴成涛，王海俊，汪梦余，
申请(专利权)人：光一科技股份有限公司，
类型：发明
国别省市：江苏,32