【技术实现步骤摘要】
天文巡天数据处理方法、系统和存储介质
本专利技术涉及天文数据处理
，尤其涉及一种天文巡天数据处理方法、系统和存储介质。
技术介绍
随着大数据时代的全面到来，天文数据处理也迎来了新的时期。对TB甚至PB数量级的天文数据处理用传统的数据处理方法和传统的计算框架越来越吃力。郭守敬望远镜(LAMOST，大天区面积多目标光纤光谱天文望远镜)一次观测能够同时获得4000个天体的光谱，是世界上光谱获取率最高的巡天望远镜，该望远镜肩负着星体的普查工作，已经运行了多个年头，发布的光谱数据累计高达1000多万条。传统的处理方法是用高性能工作站来处理这些数据，如图1所示。图1中，管理工作站2用于进行巡天数据管理，将来自3U存储服务器3的巡天数据通过内部网络传送给一台或多台运算工作站4进行运算，用户终端1用于向管理工作站2发送操作指令。郭守敬望远镜巡天数据的一维光谱处理通过模板匹配进行光谱分类，在传统技术下利用奇异值分解(SVD：SingularValueDecomposition)来求多项式的系数进行模板匹配产生的计算量直接与模板的个数有关，增加模板个数就增加成倍的工作量，在处理...
【技术保护点】
1.一种天文巡天数据处理方法，其特征在于，该方法包括：数据分配步骤：将待处理光谱数据文件投递到分布式文件系统，并将所述待处理光谱数据文件分割为多个数据块，分配给多个计算节点；数据计算步骤：利用分布式计算框架，在各计算节点，通过模板光谱与多项式叠加后与待测光谱进行匹配的模板匹配方法对数据块中的待测光谱进行光谱分类，并存储光谱分类结果；其中，所述数据计算步骤包括：读取模板光谱，并提取模板通用算子，所述模板通用算子包括以下算子中的至少一个：矩阵X＝[fmW
【技术特征摘要】
1.一种天文巡天数据处理方法，其特征在于，该方法包括：数据分配步骤：将待处理光谱数据文件投递到分布式文件系统，并将所述待处理光谱数据文件分割为多个数据块，分配给多个计算节点；数据计算步骤：利用分布式计算框架，在各计算节点，通过模板光谱与多项式叠加后与待测光谱进行匹配的模板匹配方法对数据块中的待测光谱进行光谱分类，并存储光谱分类结果；其中，所述数据计算步骤包括：读取模板光谱，并提取模板通用算子，所述模板通用算子包括以下算子中的至少一个：矩阵X＝[fmW4fmW3fmW2fmWfm]值、矩阵X的转置XT值、矩阵X的转置XT和矩阵X的乘积XTX值，其中，fm为模板光谱流量值，W是所述多项式中波长方向上的变量；读取待测光谱；按照预定移动步长将红移进行平移来进行光谱匹配，计算出模板光谱流量值乘以多项式后和待测光谱流量值的卡方误差值；针对每个模板光谱，找到对应最小卡方误差和对应红移，从而确定待测光谱的分类。2.如权利要求1所述的方法，其特征在于，所述方法还包括：数据预处理步骤：提取巡天文件数据信息，对提取的信息进行格式化处理，得到待处理光谱数据文件。3.如权利要求2所述的方法，其特征在于，所述数据预处理步骤包括：读取FITS格式巡天文件数据，并提取FITS头信息和光谱数据，可将提取的信息进行格式化并合并。4.如权利要求1所述的方法，其特征在于，通过模板光谱与多项式叠加后与待测光谱进行匹配的模板匹配方法满足如下公式：其中，fo是待测光谱流量值，表示多项式，β表多项式的系数。5.如权利要求1所述的方法，其特征在于，所述方法还包括：将提取模板通用算子存储为广播变量，并发送给各个计算节点。6.如权利要求1所述的方法，其特征在于，所述针对每个模板光谱，找到对应最小卡方误差和对应红移的步骤包括：针对每一模板光谱，找到最小卡方误差及其周围的预定个数的卡方误差点，进行高斯拟合；根据高斯拟合曲线的最低点作为当前模板得到最小卡方误差及其对应的红外值。7.如权利要求1所述的方法，其特征在于...
【专利技术属性】
技术研发人员：邬科飞，罗阿理，赵东纬，孔啸，赵永恒，
申请(专利权)人：中国科学院国家天文台，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。