基于持久化内存的天文观测数据高可靠性采集方法和系统技术方案

本申请公开的基于持久化内存的天文观测数据高可靠性采集方法和系统，该方法包括：采集端通过科学级终端设备获取望远镜观测的流式数据；根据采集终端的速率要求计算采集数据量所需存储空间大小；并以此所计算持久化内存空间以及传统易失性内存空间大小；通过合理的空间调配算法在持久化和易失性内存之间的数据调度操作来实现持续性的高速流式数据存储；本发明专利技术利用一定量的高速内存空间实现接近内存速率的超高速天文数据存储技术；提供了一种可靠的持久化内存和传统内存的混合天文观测数据采集方法。本申请涉及的技术方案，其能够避免意外情况下采集数据容易丢失的问题，在保证超高速存储的同时提高了可靠性。

【技术实现步骤摘要】
基于持久化内存的天文观测数据高可靠性采集方法和系统
本申请涉及天文数据采集
，更具体地说，尤其涉及一种基于持久化内存的天文观测数据高可靠性采集方法，本申请还涉及一种基于持久化内存的天文观测数据高可靠性采集系统。
技术介绍
目前天文领域的光学、射电望远镜海量数据的采集是所有天文科学研究活动的基础性环节。高速甚至超高速观测终端对数据存储的性能提出了非常高的要求，例如科学级CCD/CMOS观测相机可以提供GB/s甚至几十GB/s的采集速率。天文观测数据是时序数据，每一分每一秒对观测对象例如：太阳、恒星等的数据都异常珍贵，在采集过程中一旦出现数据不能可靠地存储，将导致不可挽回的损失。这不仅对数据本身是一个损失，在某种情况下，也有可能错失人类进一步对与人类息息相关的天文观测对象的认识的机会。在现有技术中，出现突然的异常，如掉电，宕机等情况下，采集到持久化内存的数据容易存在丢失的情况，天文观测数据在存储的过程中可靠性有待提高。因此，如何提供一种基于持久化内存的天文观测数据高可靠性采集方法，其能够避免意外情况下采集的数据存在丢失的情况，本文档来自技高网...

【技术保护点】
1.一种基于持久化内存的天文观测数据高可靠性采集方法，其特征在于，包括如下步骤：/nS2)获取采集数据；/nS3)判断NVM存储空间是否有空余空间，所述NVM存储空间的容量大小为N；/nS301)若所述NVM存储空间无空余空间，则将采集数据存入内存存储空间，所述内存存储空间的容量大小为M；/nS302)若所述NVM存储空间有空余空间，则读取数据需要持久化存储配置，判断所述采集数据是否需要数据持久化处理；/nS30201)若需要数据持久化处理，则将所述采集数据存入NVM存储空间；/nS30202)若不需要数据持久化处理，则将所述采集数据存入内存存储空间；/nS5)判断NVM存储空间的剩余空间是否...

【技术特征摘要】
1.一种基于持久化内存的天文观测数据高可靠性采集方法，其特征在于，包括如下步骤：
S2)获取采集数据；
S3)判断NVM存储空间是否有空余空间，所述NVM存储空间的容量大小为N；
S301)若所述NVM存储空间无空余空间，则将采集数据存入内存存储空间，所述内存存储空间的容量大小为M；
S302)若所述NVM存储空间有空余空间，则读取数据需要持久化存储配置，判断所述采集数据是否需要数据持久化处理；
S30201)若需要数据持久化处理，则将所述采集数据存入NVM存储空间；
S30202)若不需要数据持久化处理，则将所述采集数据存入内存存储空间；
S5)判断NVM存储空间的剩余空间是否充足，若识别到NVM存储空间的剩余空间不足时执行步骤S6)，若识别到NVM存储空间的剩余空间充足时返回执行步骤S2)；
S6)将NVM存储空间内的采集数据转存写入外部持久化存储空间中，扩大NVM存储空间的可用空间。


2.根据权利要求1所述的基于持久化内存的天文观测数据高可靠性采集方法，其特征在于，还包括步骤：S1)进行数据采集初始化；S1)进行数据采集初始化包括：S101)读取预先配置信息，初始化内存存储空间，启动用于控制管理NVM存储空间的NVM管理模块，预制信息包括：内存存储空间和NVM存储空间的物理地址；S102)根据预先配置信息，挂载NVM存储空间的设备，挂载内存存储空间的设备；S103)利用Linux系统的Posixfallocate服务连通控制NVM存储空间的设备；S104)启动内存存储空间监控线程，执行步骤S4)。


3.根据权利要求1所述的基于持久化内存的天文观测数据高可靠性采集方法，其特征在于，S4)监控所述内存存储空间的剩余空间的大小，并将所述内存存储空间的数据转存入NVM存储空间或外部持久化存储空间中。


4.根据权利要求3所述的基于持久化内存的天文观测数据高可靠性采集方法，其特征在于，所述步骤S4)包括以下步骤：S401)识别所述内存存储空间的剩余空间是否小于10％M，若是则执行步骤S402)；S402)识别所述NVM存储空间的剩余空间是否大于40％N，若是则执行步骤S403)，若不是则执行步骤S404)和步骤S6)；S403)将内存存储空间的采集数据转存写入NVM存储空间中，扩大内存存储空间的可用空间；S404)将内存存储空间的采集数据转存写入外部持久化存储空间中，扩大内存存...

【专利技术属性】
技术研发人员：刘应波，吴瑕，邹恒，王锋，杨磊，
申请(专利权)人：云南财经大学，
类型：发明
国别省市：云南;53