射电天文数据存储性能优化方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术公开了一种射电天文数据存储性能优化方法、装置、服务器及存储介质，所述方法包括：接收数据采集终端采集的射电天文原始数据；填充FITS头和数据段；合成为一个射电天文数据FITS文件；将FITS文件写入存储服务器；在写入过程中，动态监测采集服务器的网络输出性能；根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；若是，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；若是，则计算当前内存中FITS文件数据；根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一，若是，则返回计算当前内存中FITS文件数据，并执行后续操作。本发明专利技术能够大大降低性能优化门槛，而且可以避免随机I/O带来的性能开销。

【技术实现步骤摘要】
射电天文数据存储性能优化方法、装置、服务器及存储介质
本专利技术涉及一种射电天文数据存储性能优化方法、装置、服务器及存储介质，属于天文技术和计算机应用

技术介绍
近几年来，中国射电观测设备的开发研制取得了较大的进展。每年成百上千TB的数据需要快速存储、管理和维护，并提供给科学家使用。海量数据的高速存储成为射电观测数据的一个显著特点。针对日益膨胀的海量天文数据，迫切需要有更好的解决方案对海量数据进行高速的存储、读取与处理。不但满足现阶段的需求而且考虑到未来的发展，提高观测结果的科研产出率和利用率，最终提高设备的使用价值。海量数据存储是所有大型望远镜设备需要面对的问题和挑战，如何提高数据存储的性能，一直以来都是该领域数据存储关心的问题。但是在天文领域主要存在如何两个方面的问题：1)天文领域的计算机专业人才少，计算机人才对天文领域了解不够深入，导致该领域的数据存储专业人才缺乏，从而导致智能依靠现有、通用的存储技术；2)传统的性能优化都是基于底层软硬件系统的改进，这些优化依赖于计算机专业知识。
技术实现思路
有鉴于此，本专利技术提供了一种射电天文数据存储性能优化方法、装置、服务器及存储介质，其从应用层优化存储性能，能够大大降低性能优化门槛，而且依托射电天文数据本身的可以任意扩展特点，结合存储系统对流式数据性能搞的I/O特点，即尽量使用连续I/O，避免随机I/O带来的性能开销。本专利技术的第一个目的在于提供一种射电天文数据存储性能优化方法。本专利技术的第二个目的在于提供一种射电天文数据存储性能优化装置。本专利技术的第三个目的在于提供一种射电天文数据采集系统。本专利技术的第四个目的在于提供一种采集服务器。本专利技术的第五个目的在于提供一种存储介质。本专利技术的第一个目的可以通过采取如下技术方案达到：一种射电天文数据存储性能优化方法，所述方法包括：接收数据采集终端采集的射电天文原始数据；根据射电天文原始数据，填充FITS头和数据段；将FITS头和数据段合成为一个射电天文数据FITS文件；将FITS文件写入存储服务器；在写入过程中，动态监测采集服务器的网络输出性能；根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；若FITS头分段数据加一，则计算当前内存中FITS文件数据；根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作。进一步的，所述根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能，具体包括：将采集服务器的网络输出性能与最大网络带宽进行比较；若采集服务器的网络输出性能等于最大网络带宽，则维持FITS头分段数据，返回填充FITS头和数据段，并执行后续操作；若采集服务器的网络输出性能小于最大网络带宽，则将FITS头分段数据加一，并检测存储服务器的I/O性能。进一步的，所述根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一，具体包括：将存储服务器的I/O性能与最大I/O性能进行比较；若存储服务器的I/O性能达到最大I/O性能，则维持FITS头分段数据，返回填充FITS头和数据段，并执行后续操作；若存储服务器的I/O性能未达到最大I/O性能，则将FITS头分段数据加一。进一步的，所述根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一，具体包括：将当前内存中FITS文件数据与预设最大FITS文件数据进行比较；若当前内存中FITS文件数据小于或等于预设最大FITS文件数据，则返回填充FITS头和数据段，并执行后续操作；若当前内存中FITS文件数据大于预设最大FITS文件数据，则将FITS头分段数据减一。进一步的，所述根据射电天文原始数据，填充FITS头和数据段之前，还包括：根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化。本专利技术的第二个目的可以通过采取如下技术方案达到：一种射电天文数据存储性能优化装置，所述装置包括：接收模块，用于接收数据采集终端采集的射电天文原始数据；填充模块，用于根据射电天文原始数据，填充FITS头和数据段；合成模块，用于将FITS头和数据段合成为一个射电天文数据FITS文件；写入模块，用于将FITS文件写入存储服务器；动态监测模块，用于在写入过程中，动态监测采集服务器的网络输出性能；第一判断模块，用于根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；第二判断模块，用于若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；计算模块，用于若FITS头分段数据加一，则计算当前内存中FITS文件数据；第三判断模块，用于根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；返回模块，用于若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作。进一步的，所述填充模块之前，还包括：初始化模块，用于根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化。本专利技术的第三个目的可以通过采取如下技术方案达到：一种射电天文数据采集系统，其特征在于，所述系统包括数据采集终端、采集服务器和存储服务器，所述采集服务器分别与数据采集终端、存储服务器相连；所述数据采集终端，用于采集射电天文原始数据；所述存储服务器，用于存储采集服务器处理后的数据；所述采集服务器，用于执行上述的射电天文数据存储性能优化方法。本专利技术的第四个目的可以通过采取如下技术方案达到：一种采集服务器，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的射电天文数据存储性能优化方法。本专利技术的第五个目的可以通过采取如下技术方案达到：一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的射电天文数据存储性能优化方法。本专利技术相对于现有技术具有如下的有益效果：1、本专利技术方法在应用层的优化不需要涉及太多的底层计算机存储I/O优化，不需要改进I/O栈结构，只需要通过应用层实现可伸缩的数据大小；使用动态聚合的UVFITS数据大小的方法，能够改变UVFITS小文件随机I/O的不足，对于计算机存储来说，尤其是基于机械硬盘的方式，随机I/O需要大量移动机械装置，从而带来存储延迟，降低了存储性能。所以通过动态聚合UVFITS数据的方式能够改随机I/O为顺序I/O，避免了机械装置的大量移动，并且实现简单方便，技术人员在编写天文数据采集软件的时候就可本文档来自技高网...

【技术保护点】
1.一种射电天文数据存储性能优化方法，其特征在于，所述方法包括：/n接收数据采集终端采集的射电天文原始数据；/n根据射电天文原始数据，填充FITS头和数据段；/n将FITS头和数据段合成为一个射电天文数据FITS文件；/n将FITS文件写入存储服务器；/n在写入过程中，动态监测采集服务器的网络输出性能；/n根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；/n若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；/n若FITS头分段数据加一，则计算当前内存中FITS文件数据；/n根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；/n若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作。/n

【技术特征摘要】
1.一种射电天文数据存储性能优化方法，其特征在于，所述方法包括：
接收数据采集终端采集的射电天文原始数据；
根据射电天文原始数据，填充FITS头和数据段；
将FITS头和数据段合成为一个射电天文数据FITS文件；
将FITS文件写入存储服务器；
在写入过程中，动态监测采集服务器的网络输出性能；
根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；
若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；
若FITS头分段数据加一，则计算当前内存中FITS文件数据；
根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；
若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作。


2.根据权利要求1所述的射电天文数据存储性能优化方法，其特征在于，所述根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能，具体包括：
将采集服务器的网络输出性能与最大网络带宽进行比较；
若采集服务器的网络输出性能等于最大网络带宽，则维持FITS头分段数据，返回填充FITS头和数据段，并执行后续操作；
若采集服务器的网络输出性能小于最大网络带宽，则将FITS头分段数据加一，并检测存储服务器的I/O性能。


3.根据权利要求1所述的射电天文数据存储性能优化方法，其特征在于，所述根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一，具体包括：
将存储服务器的I/O性能与最大I/O性能进行比较；
若存储服务器的I/O性能达到最大I/O性能，则维持FITS头分段数据，返回填充FITS头和数据段，并执行后续操作；
若存储服务器的I/O性能未达到最大I/O性能，则将FITS头分段数据加一。


4.根据权利要求1所述的射电天文数据存储性能优化方法，其特征在于，所述根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一，具体包括：
将当前内存中FITS文件数据与预设最大FITS文件数据进行比较；
若当前内存中FITS文件数据小于或等于预设最大FITS文件数据，则返回填充FITS头和数据段，并执行后续操作；
若当前内存中FITS文件数据大于预设最大FITS文件数据，则将FITS头分段数据减...

【专利技术属性】
技术研发人员：梅盈，王锋，邓辉，刘应波，王金，戴伟，梁波，
申请(专利权)人：广州大学，
类型：发明
国别省市：广东;44