数据读取、存储方法和数据读取、存储装置制造方法及图纸

本申请涉及一种数据读取、存储方法和装置。所述读取方法包括：接收读取文件数据的请求；响应于所述读取文件数据的请求并判断所述文件数据所在硬盘的运行状态；在所述硬盘处于激活状态下将所述文件数据拷入读缓冲区，且在拷入过程中根据预设条件实时触发读缓冲区清理操作；拷入完成后记录读访问时间；判断当前时间和上一次读访问时间的间隔；在所述间隔大于第一预设时间时，触发读关闭操作。本申请可以提高数据读取、存储的速度，解决数据读取、存储过程中功耗消耗过大的问题。

Data reading and storage method and data reading and storage device

【技术实现步骤摘要】
数据读取、存储方法和数据读取、存储装置
本申请涉及数据存读
，特别是涉及一种数据读取方法、数据读取装置、数据存储方法以及数据存储装置。
技术介绍
在野外艰苦环境，例如高海拔山区，南极内陆等等，运行的无人值守的科学仪器设备，例如望远镜，往往会生成大量的数据，在数据传输存储和读取的过程中要消耗大量的能量，而野外艰苦环境往往电力供应也极为有限，这就需要低功耗的数据读取设备和存储设备。目前市面上的商业存储设备根据容量大小，功耗往往都在1000W以上，不能满足在野外环境低功耗的数据读取和存储需求。
技术实现思路
基于此，有必要针对上述技术问题，提供一种低功耗数据读取方法、数据存储方法、数据读取装置和数据存储装置，以解决现有的数据读取方法、数据存储方法、数据读取装置和数据存储装置功耗消耗过大的问题。一种数据读取方法，所述方法包括：接收读取文件数据的请求；响应于所述读取文件数据的请求并判断所述文件数据所在硬盘的运行状态；在所述硬盘处于激活状态下将所述文件数据拷入读缓冲区，且在拷入过程中根据预设条件实时触发读缓冲区清理操作；拷入完成后记录读访问时间；判断当前时间和上一次读访问时间的间隔；在所述间隔大于第一预设时间时，触发读关闭操作。优选的，所述硬盘的运行状态包括硬盘开启、硬盘挂载、硬盘关闭，所述硬盘标记状态包括硬盘写入标记、硬盘读访问标记、硬盘损坏标记和硬盘已满标记，判断所述文件数据所在硬盘的运行状态时，包括：判断所述硬盘是否开启、是否挂载、是否关闭。优选的，若硬盘挂载，则判断硬盘处于激活状态，将所述文件数据拷入读缓冲区，并记录一条所述文件数据的读访问标记，同时将所述文件数据前后满足第二预设时间内生成的文件数据也拷入到读缓冲区，并将所述硬盘标记上读访问标记。优选的，若所述硬盘未开启，向程序可控电源分配单元（以下简称PDU）发送开启硬盘指令，若所述硬盘开启成功，挂载硬盘，若挂载失败，再重复两次，若都不成功，更新硬盘阵列列表，标记硬盘和文件数据损坏，向PDU发送硬盘关闭指令，给用户返回文件数据损坏。优选的，若硬盘未挂载，向PDU发送挂载硬盘指令，若挂载失败，再重复两次，若都不成功，更新硬盘阵列列表，标记硬盘和文件数据损坏，向PDU发送硬盘关闭指令，给用户返回文件数据损坏。优选的，所述预设条件是指读缓冲区可用剩余容量小于第一阈值；在所述文件数据拷入读缓冲区的过程中，当读缓冲区的可用剩余容量小于第一阈值时，满足预设条件，触发读缓冲区清理操作。优选的，所述读缓冲区清理操作包括如下步骤：找出最后访问时间大于第三预设时间的所有文件数据，按照最后访问时间倒序排序，逐个删除，直至读缓冲区可用剩余容量大于第二阈值，清理结束；以及优选的，所述读缓冲区清理操作还包括如下步骤：若删除所有最后访问时间大于第三预设时间的文件数据后，读缓冲区可用容量仍然小于第二阈值，则将读缓冲区内所有文件数据按照当从前时间回溯第四预设时间范围内访问总次数倒序排序，逐个删除，直至读缓冲区可用剩余大于第二阈值或所有文件数据删除完毕，清理结束。优选的，所述读关闭操作包括如下步骤：删除硬盘的读访问标志；判断硬盘是否标记有写访问标记；以及若否，向PDU发送硬盘关闭指令。优选的，在执行判断硬盘是否标记有写访问标记的步骤中，还包括步骤：若硬盘标记有写访问标志，则所述数据读取系统保持当前硬盘开启状态不变。一种数据存储方法，包括如下步骤：获取文件存储队列中当前待存储文件数据信息，其中，所述文件数据信息包括文件名和文件地址；获取可写入硬盘盘号；根据所述文件地址和所述硬盘盘号，提交文件数据存储请求；将所述文件数据存储请求所请求的的文件数据写入所述硬盘；文件写入成功后，更新文件信息数据库和硬盘阵列列表，并将所述硬盘标记上写访问标记；判断所述硬盘的可用剩余容量；在所述硬盘的可用剩余容量小于第三阈值时，标记硬盘已满，触发写关闭操作。优选的，所述获取可写入硬盘盘号的步骤包括：从硬盘阵列列表中找到健康状态且有足够容量的硬盘；判断硬盘的运行状态；以及若所述硬盘处于激活状态下，则返回硬盘盘号。优选的，在执行判断所述硬盘可用剩余容量的步骤中，还包括步骤：若所述硬盘的可用剩余容量大于第三阈值，则所述数据存储系统保持当前硬盘开启状态不变。优选的，所述写关闭操作包括如下步骤：删除硬盘的写访问标记；判断硬盘是否标记有读访问标记；以及若否，向PDU发送硬盘关闭指令。优选的，在执行写关闭操作操作时，判断硬盘是否标记有读访问标记的步骤中，还包括步骤：若硬盘标记有读访问标记，所述数据存储系统保持当前硬盘开启状态不变。优选的，所述文件信息数据库包括文件所在硬盘盘号、文件MD5效验码、文件大小和文件数据标记状态；所述硬盘阵列列表包括硬盘盘号、硬盘的运行状态、硬盘可用剩余容量和硬盘的标记状态。优选的，所述硬盘标记状态包括硬盘写入标记、硬盘读访问标记、硬盘损坏标记和硬盘已满标记；所述硬盘的运行状态包括硬盘开启、硬盘挂载、硬盘关闭；所述文件数据标记状态包括文件数据写入标记、文件数据读访问标记和文件数据损坏标记。一种数据读取装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：接收读取文件数据的请求；响应于所述读取文件数据的请求并判断所述文件数据所在硬盘的运行状态；在所述硬盘处于激活状态下将所述文件数据拷入读缓冲区，且在拷入过程中根据预设条件实时触发读缓冲区清理操作；拷入完成后记录读访问时间；判断当前时间和上一次读访问时间的间隔；在所述间隔大于第一预设时间时，触发读关闭操作。一种数据存储装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取文件存储队列中当前待存储文件数据信息，其中，所述文件数据信息包括文件名和文件地址；获取可写入硬盘盘号；根据所述文件地址和所述硬盘盘号，提交文件数据存储请求；将所述文件数据存储请求所请求的的文件数据写入所述硬盘；文件写入成功后，更新文件信息数据库和硬盘阵列列表，并将所述硬盘标记上写访问标记；判断所述硬盘的可用剩余容量；在所述硬盘的可用剩余容量小于第三阈值时，标记硬盘已满，触发写关闭操作。相较于现有技术，本申请的数据读取、存储方法和装置通过在文件数据的读取和存储的过程中，动态的进行硬盘运行状态（包括硬盘开启、硬盘挂载和硬盘关闭）和硬盘标记状态（硬盘读访问标记、硬盘写访问标记和硬盘损坏标记）的管理，来实现硬盘的实时开启和关闭，实现最小化影响数据存读体验的基础上来最大化节能。附图说明图1为一个实施例中数据读取方法的流程示意图；图2为另一个实施例中数据读取方法的流程示意图；...

【技术保护点】
1.一种数据读取方法，其特征在于，包括如下步骤： 接收读取文件数据的请求；/n响应于所述读取文件数据的请求并判断所述文件数据所在硬盘的运行状态；在所述硬盘处于激活状态下将所述文件数据拷入读缓冲区，且在拷入过程中根据预设条件实时触发读缓冲区清理操作；拷入完成后记录读访问时间；判断当前时间和上一次读访问时间的间隔；/n在所述间隔大于第一预设时间时，触发读关闭操作。/n

【技术特征摘要】
1.一种数据读取方法，其特征在于，包括如下步骤：接收读取文件数据的请求；
响应于所述读取文件数据的请求并判断所述文件数据所在硬盘的运行状态；在所述硬盘处于激活状态下将所述文件数据拷入读缓冲区，且在拷入过程中根据预设条件实时触发读缓冲区清理操作；拷入完成后记录读访问时间；判断当前时间和上一次读访问时间的间隔；
在所述间隔大于第一预设时间时，触发读关闭操作。


2.根据权利要求1所述的数据读取方法，其特征在于，所述硬盘标记状态包括硬盘写入标记、硬盘读访问标记、硬盘损坏标记和硬盘已满标记；所述硬盘的运行状态包括硬盘开启、硬盘挂载和硬盘关闭，判断所述文件数据所在硬盘的运行状态时，包括：判断所述硬盘是否开启、是否挂载、是否关闭；以及
若所述硬盘挂载，则判断所述硬盘处于激活状态，将所述文件数据拷入读缓冲区，并记录一条所述文件数据的读访问标记，同时将所述文件数据前后满足第二预设时间内生成的文件数据也拷入到读缓冲区，并将所述硬盘标记上读访问标记。


3.根据权利要求1所述的数据读取方法，其特征在于，所述预设条件是指读缓冲区可用剩余容量小于第一阈值；以及
在所述文件数据拷入读缓冲区的过程中，当读缓冲区的可用剩余容量小于第一阈值时，满足预设条件，触发读缓冲区清理操作。


4.根据权利要求1所述的数据读取方法，其特征在于，所述读缓冲区清理操作包括如下步骤：
找出最后访问时间大于第三预设时间的所有文件数据，按照最后访问时间倒序排序，逐个删除，直至读缓冲区可用剩余容量大于第二阈值，清理结束；以及
若删除所有最后访问时间大于第三预设时间的文件数据后，读缓冲区可用剩余容量仍然小于第二阈值，则将读缓冲区内所有文件数据按照当从前时间回溯第四预设时间范围内访问总次数倒序排序，逐个删除，直至读缓冲区可用剩余容量大于第二阈值或所有文件数...

【专利技术属性】
技术研发人员：胡义，马斌，商朝晖，胡柯良，刘强，王威，
申请(专利权)人：中国科学院国家天文台，
类型：发明
国别省市：北京;11