一种低功耗大容量可扩充数据存储方法技术

本发明专利技术涉及一种低功耗大容量可扩充数据存储方法。所述方法应用于数据存储系统中，所述数据存储系统包括低功耗工业控制计算机、程序可控电源分配单元和由若干硬盘组成的硬盘阵列。所述数据存储方法包括存储模式和备份模式两种，其在存储模式时一次只开启一块硬盘，在备份模式时最多开启三块硬盘，且硬盘阵列根据需要可以增加或减少硬盘数量和大小，从而同时实现存储设备的大容量和低功耗。本发明专利技术支持多个产生数据的设备同时提交存储任务，可根据实际功耗限制和容量需求，选用不同的工业控制计算机，定制性强。

A low power and large capacity expandable data storage method

The invention relates to a low power consumption large capacity expandable data storage method. The method is applied to a data storage system including a low-power industrial control computer, a program controlled power distribution unit and a hard disk array composed of several hard disks. The data storage method includes two kinds of storage mode and backup mode. In the storage mode, only one hard disk is turned on at a time, and in the backup mode, at most three hard disks are turned on. The hard disk array can increase or reduce the number and size of hard disks according to the needs, so as to realize the large capacity and low power consumption of the storage device at the same time. The invention supports multiple devices generating data to submit storage tasks at the same time. Different industrial control computers can be selected according to the actual power consumption limit and capacity requirements, with strong customization.

【技术实现步骤摘要】
一种低功耗大容量可扩充数据存储方法
本专利技术涉及数据存储
，尤其涉及一种低功耗大容量可扩充只写式数据存储方法。
技术介绍
在野外艰苦环境，例如高海拔山区，南极内陆等等，运行的无人值守的科学仪器设备，例如望远镜，往往会生成大量的数据，而野外艰苦环境往往都没有高速和可靠的有线和无线网络，因此这些数据无法通过网络传输到存储服务器或者云端，而只能在本地存储。而野外艰苦环境往往电力供应也极为有限，这就需要低功耗大容量的存储设备。目前市面上的商业存储设备根据容量大小，功耗往往都在1000W以上，不能满足在野外环境低功耗大容量的数据存储需求。
技术实现思路
本专利技术的目的是针对上述问题及现有技术的不足，提供一种低功耗大容量可扩充数据存储方法，该方法应用于数据存储系统中，该数据存储系统包括低功耗工业控制计算机（以下简称工控机）、程序可控电源分配单元（以下简称PDU）和由若干硬盘组成的硬盘阵列。该方法支持存储模式和备份模式两种。该方法工控机可根据实际可用功率大小、功耗限制和容量需求，选用不同型号的工控机，定制性强。通过自动监控硬盘运行状态，例如，硬盘是否开启、是否损毁、是否已满等，根据用户所选模式，有选择性地开启或关闭磁盘，实现一种低功耗的方式进行数据地写入操作。PDU用于执行来自工控机下发的硬盘操作指令，例如硬盘的开启和关闭操作，其在存储模式时一次只开启一块硬盘，在备份模式时最多开启三块硬盘，从而同时实现存储设备的大容量和低功耗。硬盘阵列，用于数据的存储，可根据场景需要增加或减少硬盘数量和大小。所述存储模式和备份模式的选择包括如下步骤：1）判断是否存在需要存储的文件，若是，进入步骤1.1），若否，进入步骤3）；1.1）开启存储模式，将文件写入工控机的缓冲区内，并加入存储文件队列；2）判断当前可用功率是否超过阈值，若是，进入步骤3），若否，进入步骤2.1）；2.1）关闭备份模式；3）开启备份模式，从备份文件队列中获取要备份的文件，将文件写入硬盘，返回步骤2）；具体的，所述存储模式下，需要存储的文件通过网络提交给工控机，所述工控机将文件保存在缓冲区，并将文件添加到存储文件队列里，具体的包括如下步骤：1）从存储文件队列中获取要存储的文件，如果存储文件队列为空，保持等待状态；2）从硬盘阵列列表中找到健康状态且有足够容量的硬盘；3）判断硬盘是否开启，如果没有开启进入步骤3.1），如果开启进入步骤4）；3.1）向PDU发送开启硬盘指令，如果硬盘开启成功，挂载硬盘，如果挂载失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；3.2）如果硬盘开启失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；4）检查硬盘是否挂载，如果硬盘已经挂载，进入步骤5）；4.1）挂载硬盘，如果挂载失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；5）将文件写入硬盘；5.1）如果写入成功，更新文件信息数据库，记录文件存储硬盘，文件MD5校验和文件大小，进入步骤6）；5.2）如果写入失败，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；6）更新硬盘阵列列表，修改硬盘容量信息，如果硬盘剩余容量小于设置阈值，关闭硬盘；最后回到步骤1）；具体的，所述备份模式包括如下步骤：1）从文件信息数据库中找到所有使用过且没有标记为损坏的硬盘，依次检测硬盘是否能开启和挂载，如果开启或者挂载失败，在文件信息数据库中标记在这块硬盘上的所有文件为损坏，同时在硬盘阵列列表中标记该硬盘损坏；2）从文件信息数据库中找到所有备份次数小于N次以及由于文件损坏导致备份次数小于N次的文件，加入备份文件队列，其中，N>=2；3）从备份文件队列中获取要备份的文件，如果备份文件队列为空，保持等待状态；4）从硬盘阵列列表中找到健康状态、有足够容量且没有存储该文件的硬盘；5）进入存储模式步骤3）到6），当探测到硬件错误时，回到备份模式步骤3）。所述工控机根据使用场景需求，选择功耗合适以及能提供足够多与硬盘连接的SATA接口的工控机，满足低功耗和大容量的需求。所述工控机的缓冲区为SSD或者内存型硬盘。所述硬盘阵列根据需要增加或减少硬盘数量和大小。本专利技术在存储模式时一次只开启一块硬盘，在可用功率和功耗限制允许时，例如存储模式设备不在使用或者白天太阳能充足时，同时进入备份模式，在备份模式时最多开启三块硬盘。相比于类似RAID0的同时开启多块硬盘，在存储数据时同时将数据存放于多块硬盘，本专利技术只有在备份模式下才会开启多块硬盘，在提高数据安全性的前提下，降低了硬盘开启时间，更能降低总的功耗。本专利技术支持多个产生数据的设备同时提交存储任务，可根据实际功耗限制和容量需求，选用不同的工业控制计算机，定制性强。附图说明图1为本专利技术一个实施例中一种低功耗大容量可扩充数据存储方法存储模式的流程图；图2为本专利技术一个实施例中一种低功耗大容量可扩充数据存储方法备份模式的流程图；图3为本专利技术一个实施例中一种低功耗大容量可扩充数据存储方法模式选择流程图。具体实施方式下面结合具体的实施例及附图对低功耗大容量可扩充数据存储方法的技术方案进行详细的描述，以使其更加清楚。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术一示例性实施例提供了一种低功耗大容量可扩充数据存储方法，该方法应用于数据存储系统中，该数据存储系统包括工控机、PDU和由若干硬盘组成的硬盘阵列。该方法支持存储模式和备份模式两种。该方法工控机可根据实际可用功率大小、功耗限制和容量需求，选用不同型号的工控机，定制性强。通过自动监控硬盘运行状态，例如，硬盘是否开启、是否损毁、是否已满等，根据用户所选模式，有选择性地开启或关闭磁盘，实现一种低功耗的方式进行数据地写入操作。PDU用于执行来自工控机下发的硬盘操作指令，例如硬盘的开启和关闭操作，其在存储模式时一次只开启一块硬盘，在备份模式时最多开启三块硬盘，从而同时实现存储设备的大容量和低功耗。硬盘阵列，用于数据的存储，可根据场景需要增加或减少硬盘数量和大小。在一个在实施中，采用磐仪FPC-7502工控机，工控机安装Linux操作系统，其中12GB做成tmpfs内存盘作为数据存储缓冲区。工控机选用16GB内存，安装两块西霸PCIe1.0转SATA卡，每块SATA卡有四个SATA接口，通过SATA数据线缆连接8块10TB3.5寸机械硬盘；使用自主研发的PDU，有8路5VDC和8路12VDC输出，每一路都是程序可控开关，为8块硬盘供电；PDU本文档来自技高网...

【技术保护点】
1.一种低功耗大容量可扩充数据存储方法，其特征在于，所述方法应用于数据存储系统中，所述数据存储系统包括低功耗工业控制计算机、程序可控电源分配单元和由若干硬盘组成的硬盘阵列，所述低功耗工业控制计算机以下简称工控机，所述程序可控电源分配单元以下简称PDU，所述低功耗大容量可扩充数据存储方法包括存储模式和备份模式两种；/n所述存储模式和备份模式的选择包括如下步骤：/n1）判断是否存在需要存储的文件，若是，进入步骤1.1），若否，进入步骤3）；/n1.1）开启存储模式，将文件写入工控机的缓冲区内，并加入存储文件队列；/n2）判断当前可用功率是否超过阈值，若是，进入步骤3），若否，进入步骤2.1）；/n2.1）关闭备份模式；/n3）开启备份模式，从备份文件队列中获取要备份的文件，将文件写入硬盘，/n返回步骤2）；/n所述存储模式包括如下步骤：/n1）从存储文件队列中获取要存储的文件，如果存储文件队列为空，保持等待状态；/n2）从硬盘阵列列表中找到健康状态且有足够容量的硬盘；/n3）判断硬盘是否开启，如果没有开启进入步骤3.1），如果开启进入步骤4）；/n3.1）向PDU发送开启硬盘指令，如果硬盘开启成功，挂载硬盘，如果挂载失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；/n3.2）如果硬盘开启失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；/n4）检查硬盘是否挂载，如果硬盘已经挂载，进入步骤5）；/n4.1） 挂载硬盘，如果挂载失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；/n5）将文件写入硬盘；/n5.1）如果写入成功，更新文件信息数据库，记录文件存储硬盘，文件MD5校验和文件大小，进入步骤6）；/n5.2）如果写入失败，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；/n6）更新硬盘阵列列表，修改硬盘容量信息，如果硬盘剩余容量小于设置阈值，关闭硬盘；最后回到步骤1）；/n所述备份模式包括如下步骤：/n1）从文件信息数据库中找到所有使用过且没有标记为损坏的硬盘，依次检测硬盘是否能开启和挂载，如果开启或者挂载失败，在文件信息数据库中标记在这块硬盘上的所有文件为损坏，同时在硬盘阵列列表中标记该硬盘损坏；/n2）从文件信息数据库中找到所有备份次数小于N次以及由于文件损坏导致备份次数小于N次的文件，加入备份文件队列，其中，N>=2；/n3）从备份文件队列中获取要备份的文件，如果备份文件队列为空，保持等待状态；/n4）从硬盘阵列列表中找到健康状态、有足够容量且没有存储该文件的硬盘；/n5）进入存储模式步骤3）到6），当探测到硬件错误时，回到备份模式步骤3）。/n...

【技术特征摘要】
1.一种低功耗大容量可扩充数据存储方法，其特征在于，所述方法应用于数据存储系统中，所述数据存储系统包括低功耗工业控制计算机、程序可控电源分配单元和由若干硬盘组成的硬盘阵列，所述低功耗工业控制计算机以下简称工控机，所述程序可控电源分配单元以下简称PDU，所述低功耗大容量可扩充数据存储方法包括存储模式和备份模式两种；
所述存储模式和备份模式的选择包括如下步骤：
1）判断是否存在需要存储的文件，若是，进入步骤1.1），若否，进入步骤3）；
1.1）开启存储模式，将文件写入工控机的缓冲区内，并加入存储文件队列；
2）判断当前可用功率是否超过阈值，若是，进入步骤3），若否，进入步骤2.1）；
2.1）关闭备份模式；
3）开启备份模式，从备份文件队列中获取要备份的文件，将文件写入硬盘，
返回步骤2）；
所述存储模式包括如下步骤：
1）从存储文件队列中获取要存储的文件，如果存储文件队列为空，保持等待状态；
2）从硬盘阵列列表中找到健康状态且有足够容量的硬盘；
3）判断硬盘是否开启，如果没有开启进入步骤3.1），如果开启进入步骤4）；
3.1）向PDU发送开启硬盘指令，如果硬盘开启成功，挂载硬盘，如果挂载失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；
3.2）如果硬盘开启失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发送硬盘关闭命令，回到步骤2）；
4）检查硬盘是否挂载，如果硬盘已经挂载，进入步骤5）；
4.1）挂载硬盘，如果挂载失败，再重复两次，如果都不成功，更新硬盘阵列列表，标记硬盘损坏，向PDU发...

【专利技术属性】
技术研发人员：胡义，胡柯良，商朝晖，马斌，刘强，王威，
申请(专利权)人：中国科学院国家天文台，
类型：发明
国别省市：北京;11