一种陆地大气气溶胶反演分布式工作流依赖关系刻画方法，涉及高性能地学计算领域，尤其面向云计算的MOSDIS数据，通过构建一个多元组，用6要元从数学形式化上描述一个分布在网络上的有限图，对气溶胶遥感反演分布式工作流依赖关系进行数学形式化刻画；通过对抽象刻画方法的解译，获取相关遥感处理任务、配置、控制信息后，将抽象的服务流进行资源映射，获得Web Service封装的遥感反演处理及数据处理相关服务，驱动气溶胶反演处理过程在分布式的运算环境下的执行。在流程定义阶段，调用Web Services；通过对与分叉、与合并、或分叉、或合并四种构造模块进行流转控制，实现在分布式的计算机环境中按照并行与串行、前趋与后续关系有序执行，实现气溶胶的快速反演。
【技术实现步骤摘要】
本专利技术涉及高性能地学计算领域，尤其是面向云计算的M0DIS数据陆地大气气溶胶反演分布式工作流依赖关系刻画方法。
技术介绍
M0DIS (英文 moderate-resolut1n imaging spectrorad1meter 的缩写，全称为中分辨率成像光谱仪)数据陆地大气气溶胶遥感反演需要进行大量的数据预处理和复杂的辐射传输方程的计算，运算量大，耗时长。这些处理过程主要包括，定标、辐射传输、集合校正等数据预处理，波段运算、图像变换、数据融合等图像处理，非线性方程组求解等反演运算以及后处理等操作。采用面向M0SDIS数据陆地大气气溶胶反演的分布式工作流技术可以对这些流程步骤进行分解，形成相互之间有依赖关系的子任务，并按照子任务前趋与后续、并行与串行关系在分布式的计算机环境中运行，进而可以降低整体反演处理时间，从而实现气溶胶的快速反演。在对这些过程进行描述时，采用自然语言或数据流图等方式，会引起相互冲突的陈述及对陈述不同方式的理解，几乎不可避免地会出现含糊性，并且这些描述方式不完整，抽象层次混乱。因此需要采用数学形式化的方法对上述过程进行简洁准确地描述其状态、现象或动作的结果，实现在不同的软件工程活动之间平滑过渡，但现有技术中没有如何实现的方法，如何实现是本领域技术人员不断探索的技术问题。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供，实现在分布式的计算机环境中按照并行与串行、前趋与后续关系有序执行，实现气溶胶的快速反演。为了达到上述目的，本专利技术采用的技术方案是: ，所述方法面向M0DIS数据，包括如下步骤: 步骤1.根据有限图DND= (S，T，I，0，N，D)规则构建的遥感反演服务流描述器对气溶胶定量反演处理步骤进行抽象化描述，形成有依赖关系的抽象服务流； 步骤2.服务流解析器对抽象服务流按照任务、配置信息、控制信息几个类别进行解析，分解成为服务匹配器可识别的相关参数，将抽象服务流进行资源映射； 步骤3.服务匹配器根据获取的任务、匹配信息、控制信息，与UDDI服务注册中心、元数据目录、数据分块管理、任务管理器进行通信，调度相关模块运行； 步骤4.任务管理器根据获取的服务地址、数据块地址、控制信息、配置信息，驱动执行器按序、并/串行执行Web服务流(即网页服务流)，并对执行过程监控，对异常报错，并重启执行； 步骤5.执行器在执行过程中遇到气溶胶反演处理服务调用点时，在服务注册库中查找到对应的Web服务发送给执行器，进行实例执行，并获取处理结果； 步骤6.在执行过程中，执行器依次从服务注册库中取出气溶胶反演处理服务来绑定调用；当一个气溶胶反演处理服务调用失败时，将其从服务注册库中删除，并触发异常处理器进行处理； 步骤7.重复步骤3-6，直至流程执行至无后继调用点，完成大气气溶胶的反演； 所述的DND规则通过六个要元描述一个分布在网络上的有限图，且DND= (S，T，I，0，N，D);其中S={Sl，s2..., sp}描述气溶胶遥感反演处理算法状态有限集合，p>0为S集的个数；Τ={?!, t2...，tj描述转换过程这一有限集合，k>0为转换过程的个数#={1^，n2...，nj为网络数据节点IP地址集，q>0为网络中数据节点个数^{山，d2...，dj为数据集及其分割集，u>0为一个MODIS HDF (HDF为Hierarchical Data Format的缩写，可以存储不同类型的图像和数码数据的文件格式)格式文件及其分割的数据块数；1: D X S X T->Z为输入函数，定义了被分布在不同数据节点上的HDFS (即Hadoop分布式文件系统)数据文件在S到T的有向弧的重复数或权的集合，此处Z={0，1，...}为非负整数集；0:TXDXS->N为输出函数，定义了气溶胶遥感反演处理算法在不同数据节点上进行转换，并将处理结果重映射到不同网络的过程的集合。作为本专利技术的较佳实施例，本专利技术所述S= {Si, s2...，sp}在气溶胶遥感定量分布式服务流运行状态刻画中，包括如下处理步骤: 步骤S101.对经玮度、太阳天顶角、传感器天顶角波段进行M0DIS数据提取； 步骤S102.对原始MODIS 1KM分辨率数据按照10KM、1KM、500M，进行经玮度和天顶角数据重采样； 步骤S103.根据研究区域，根据经玮度对天顶角进行M0DIS影像裁剪； 步骤S104.根据太阳天顶角、传感器天顶角进行M0DIS影像拼接； 步骤S105.根据经玮度对太阳天顶角、传感器天顶角进行几何校正； 步骤S106.从M0DIS原始文件提取云掩膜信息； 步骤S107.从原始M0DIS数据中提取Bandl，2，3，4，7的表现反射率； 步骤S108.根据地面观测点经玮度和卫星过境时间，提取与卫星同步的地面台站观测数据； 步骤S109.计算Α0Τ (英文Advanced Oxidat1n Technologies的缩写，中文意思为高级氧化技术)迭代反演的初始值； 步骤S110.计算Α0Τ ； 步骤S111.与地面实测比较，验证反演结果。作为本专利技术的较佳实施例，本专利技术所述0={山，d2...，du}包括如下数据和分割集: 步骤S201.将中分辨率成像光谱仪的一级数据产品M0D02、M0D03数据，大气标准产品M0D35、M0D04数据、AERNET (AErosol RObotic NETwork)数据这些待处理数据源按照时间单位天并入同一目录，然后按照月、年形成更高一层数据目录，以此形成输入数据集； 步骤S202.对与合并、或合并后的遥感专用软件产生的hdr与img格式的中间处理结果进行归档处理，并从T中任务管理节点集获取归档节点，形成中间归档数据集； 步骤S203.对与分叉、或分叉后的中间处理输入数据hdr、img进行数据分块，并从T集中任务管理节点集获取N集中的闲置节点，将数据映射到这些闲置节点，形成数据分块集；步骤S203.对中间归档数据集和数据分块集构建元数据管理集； 步骤S204.整个流程处理结果形成输出处理结果集。作为本专利技术的较佳实施例，本专利技术所述S集包括地面台站观测数据处理、信息提取、重采样、裁剪、几何校正、拼接、云信息提取、波段提取、云掩膜、Α0Τ反演初值计算、Α0Τ计算及地面实测比较验证步骤，所述步骤通过IDL (交互式数据语言Interactive DataLanguage)、Mat lab、C++进行开发，然后编译封装成为web服务形式。作为本专利技术的较佳实施例，本专利技术所述T集包括基于点积运算、领域运算、全局运算的气溶胶遥感反演处理任务集，遥感源数据的分布式接入、数据分块方法、数据压缩方法、数据索引方法，气溶胶遥感数据元数据管理、注册、服务发现，气溶胶遥感反演任务管理、映射，气溶胶遥感数据传输引擎、节点状态监控、节点任务监控、节点任务配置、节点任务重启、气溶胶遥感反演处理结果聚合。作为本专利技术的较佳实施例，本专利技术所述D集为MOSDIS HDF数据集及其分割集，包括分布式环境下气溶胶遥感源数据、MOSDIS HDF格式文件及其分割数据集、气溶胶当前第1页1 2 3 4&本文档来自技高网...
【技术保护点】
一种陆地大气气溶胶反演分布式工作流依赖关系刻画方法，所述方法面向MODIS数据，包括如下步骤：步骤1.根据DND规则构建的遥感反演服务流描述器对气溶胶定量反演处理步骤进行抽象化描述，形成有依赖关系的抽象服务流；步骤2.服务流解析器对抽象服务流按照任务、配置信息、控制信息几个类别进行解析，分解成为服务匹配器可识别的相关参数，将抽象服务流进行资源映射；步骤3.服务匹配器根据获取的任务、匹配信息、控制信息，与UDDI服务注册中心、元数据目录、数据分块管理、任务管理器进行通信，调度相关模块运行；步骤4.任务管理器根据获取的服务地址、数据块地址、控制信息、配置信息，驱动执行器按序、并/串行执行Web服务流，并对执行过程监控，对异常报错，并重启执行；步骤5.执行器在执行过程中遇到气溶胶反演处理服务调用点时，在服务注册库中查找到对应的Web服务发送给执行器，进行实例执行，并获取处理结果；步骤6.在执行过程中，执行器依次从服务注册库中取出气溶胶反演处理服务来绑定调用；当一个气溶胶反演处理服务调用失败时，将其从服务注册库中删除，并触发异常处理器进行处理；步骤7.重复步骤3‑6，直至流程执行至无后继调用点，完成大气气溶胶的反演；所述的DND规则通过六个要元描述一个分布在网络上的有限图，且DND=（S，T，I,O，N，D）；其中S={s1,s2...,sp}描述气溶胶遥感反演处理算法状态有限集合，p>0为S集个数；T={t1,t2...,tk}描述转换过程这一有限集合，k>0为转换过程的个数；N={n1,n2...,nq}为网络数据节点IP地址集，q>0为网络中数据节点个数；D={d1,d2...,du}为数据集及其分割集,u>0为一个MODIS HDF格式文件及其分割的数据块数；I:D×S×T‑>Z为输入函数，定义了被分布在不同数据节点上的HDFS数据文件在S到T的有向弧的重复数或权的集合，此处Z={0,1，...}为非负整数集；O:T×D×S‑>N为输出函数，定义了气溶胶遥感反演处理算法在不同数据节点上进行转换，并将处理结果重映射到不同网络的过程的集合。...
【技术特征摘要】
【专利技术属性】
技术研发人员：刘敏霞，吴木营，郭文琦，徐永钊，王红成，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。