一种多源影像处理流程的控制调度方法及装置制造方法及图纸

一种多源影像处理流程的控制调度方法及装置，属于图像处理领域，其特征在于包括：梳理所获取的影像数据的命名规则，指定筛选影像数据的条件；通过标识对筛选到的影像进行二次区分得到待处理影像数据；将用于影像数据处理的处理算法模块化，生成处理模板；将待处理影像填入处理模板生成任务流程；在一个任务完成后，使用遍历算法遍历有向无环图的节点任务，找到依赖于当前任务的待完成任务，查询待完成任务的其他依赖任务是否满足提交条件，满足则进行提交，否则结束，等待其他依赖任务触发提交；依次循环，直到所有的算法模块完成。自动处理为主，人工干预为辅，在工作量的不变的前提下减少人工参与，同时能够保证数据处理精度，节省人力成本。节省人力成本。节省人力成本。

【技术实现步骤摘要】
一种多源影像处理流程的控制调度方法及装置


[0001]本专利技术属于图像处理领域，尤其涉及一种多源影像处理流程的控制调度方法及装置。

技术介绍

[0002]科技的高速发展，带来了硬件设备的性能提升和软件功能及算法的优化，在对地观测领域同样影响重大。各种遥测设备如卫星、航空飞机、无人机等，能够生产的影像种类、影像数量以及影像尺寸都给影像处理带来了巨大的机遇和挑战。由于遥感影像数据的特点，处理过程对计算机的性能要求较高，使用已有的高性能计算框架能够明显提升处理效率。但已有的HPC（高性能计算）调度框架，如HTCondor，它支持任务流，是利用亲缘关系来描述算法执行的顺序，所有的任务执行都基于文件描述；SLURM不支持任务流调度，如果需要提交任务流，则需要提交时依次建立依赖关系。提交任务后，上述两种都可以自动完成算法任务执行，但是结合行业特点，大批量的数据，导致任务编排难度变大，且人工参与度太高；遇到流程复杂的任务，运行过程中无法进行人工干预，对潜在问题及时修正。因此，考虑业务背景，设计一种新的调度及控制方法尤为必要。结合已有的影像处理系统，存在以下不足：1.数据量的增大，导致任务编排困难；影像处理的各个环节都需要人工参与，人力成本投入较大；与此同时，大量的重复工作，也给作业人员带来不好的工作体验，不能重点发挥人的主观能动性；2.处理过程耦合性较高，在面对不同载荷影像数据处理时，可能处理流程多变；用户根据自身需求制定流程处理时麻烦，灵活性不足；集成新算法时比较复杂，且调试困难。种种问题导致处理任务难以及时设计完成，使得最终产品交付面临风险；3.计算机资源使用存在不合理的情况，如处理算法执行的时序性、资源匹配调度的高效性、算法流程执行的可控性等，都会对硬件资源造成浪费。
[0003]处理流程中每一环节的滞后，都会如木桶效应一般极大的制约了整体的处理效率。

技术实现思路

[0004]本专利技术旨在解决上述问题，提供一种对影像数据高效编排、流程灵活组织的多源影像处理流程的控制调度方法及装置。
[0005]第一方面，本专利技术提供一种多源影像处理流程的控制调度方法，包括梳理所获取的影像数据的命名规则，指定筛选影像数据的条件；所述筛选影像数据的条件包括标识；所述标识用于区分影像数据的类型，出现在文件名中，例如MSS、PAN等；依据筛选条件筛选影像；再通过标识对筛选到的影像进行二次区分，完成影像对的组织，得到待处理影像数据；标识是对影像名称的识别，用来区分其属于哪一类影像；将用于影像数据处理的处理算法模块化，并将模块化后的处理算法以有向无环图
的方式进行组织；同时依据处理算法的依赖关系，完成算法的关联，生成处理模板；将待处理影像填入处理模板生成任务流程；根据任务流程中包括的任务参数信息及配置信息，形成支持SLURM的sbatch提交的任务文件；然后为每个任务文件生成预执行（pre）和后执行（post）任务文件；例如存在一算法A，该算法的提交流程变成了A_pre
‑
>A
‑
>A_post，使其形成A依赖于A_pre、A_post依赖于A的关系，这三者构成一个提交单位；在一个任务完成后，使用遍历算法遍历有向无环图的节点任务，找到依赖于当前任务的所有待完成任务，再查询待完成任务的其他依赖任务是否满足提交条件，满足则进行提交，否则结束，等待其他依赖任务触发提交；依次循环，直到所有的算法模块完成。
[0006]进一步，本专利技术所述多源影像处理流程的控制调度方法，所述处理算法模块化时需制定算法的输入、输出、可变参数的规则，形成任务描述文件。
[0007]进一步，本专利技术所述多源影像处理流程的控制调度方法，所述筛选数据的条件还包括载荷和正则表达式；所述载荷是对获取影像数据的传感器的命名，作为处理算法的原始输入标志，例如全色、多光谱等；所述正则表达式进行书写时对同一对影像的相同部分须匹配，不同部分可以通过通配符来匹配任意字符，是能够筛选出所需影像的关键。
[0008]进一步，本专利技术所述多源影像处理流程的控制调度方法，所述处理算法至少包含一个输入路径、一个输出路径以及资源参数；所述资源参数包括进程数、CPU数、GPU数及内存大小；所述资源参数是完成算法调度的基本依据。
[0009]进一步，本专利技术所述多源影像处理流程的控制调度方法，所述处理算法根据输入数据与输出数据的对应关系，将处理算法划分为一对一或一对多或多对多或多对一的类型，以便在算法任务组织时的进行数据填充，例如一组相关输入生成一组相关的输出，称之为“一对一”，依次类推。
[0010]进一步，本专利技术所述多源影像处理流程的控制调度方法，所述待处理影像填入处理模板生成任务流程之前，先将待处理影像组织成工程文件，以工程文件的形式作为任务流程的原始输入。
[0011]第二方面，本专利技术提供一种多源影像处理流程的控制调度系统，包括目标影像获取模块、处理算法模块化模块和任务处理模块；所述目标影像获取模块用于根据所获取的影像数据的命名规则，指定筛选影像数据的条件；所述筛选影像数据的条件包括标识；所述标识用于区分影像数据的类型；依据筛选条件筛选影像；再通过标识对筛选到的影像进行二次区分，完成影像对的组织，得到待处理影像数据；标识是对影像名称的识别，用来区分其属于哪一类影像；所述处理算法模块化模块用于将处理算法模块化，并将模块化后的处理算法以有向无环图的方式进行组织；同时依据处理算法的依赖关系，完成算法的关联，生成处理模板；将待处理影像填入处理模板生成任务流程；所述任务处理模块用于根据任务流程中包括的任务参数信息及配置信息，形成支
持SLURM的sbatch提交的任务文件；然后为每个任务文件生成预执行和后执行任务文件；所述任务处理模块执行调度管理，具体为：在一个任务完成后，使用遍历算法遍历有向无环图的节点任务，找到依赖于当前任务的所有待完成任务，再查询待完成任务的其他依赖任务是否满足提交条件，满足则进行提交，否则结束，等待其他依赖任务触发提交；依次循环，直到所有的算法模块完成。
[0012]进一步，本专利技术所述多源影像处理流程的控制调度系统，所述筛选数据的条件还包括载荷和正则表达式；所述载荷是对获取影像数据的传感器的命名，作为处理算法的原始输入标志；所述正则表达式进行书写时对同一对影像的相同部分须匹配，不同部分可以通过通配符来匹配任意字符。
[0013]第三方面，本专利技术提供一种多源影像处理流程的控制调度电子装置，包括相电连接的处理器和存储器；所述存储器用于存储计算机程序；所述处理器执行前述计算机程序时，可实现前述第一方面所述的多源影像处理流程的控制调度方法。
[0014]第四方面，本专利技术提供一种计算机可读存储介质，所述存储介质上存储有计算机程序；所述计算机程序被执行时，可实现前述第一方面所述的多源影像处理流程的控制调度方法。
[0015]本专利技术所述多源影像处理流程的控制调度方法及装置具有以下技术效果：（1）自动处理为主，人工干预为辅，在工作量的不变的前提下减少人工参与，同时能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源影像处理流程的控制调度方法，其特征在于包括：梳理所获取的影像数据的命名规则，指定筛选影像数据的条件；所述筛选影像数据的条件包括标识；所述标识用于区分影像数据的类型；依据筛选条件筛选影像；再通过标识对筛选到的影像进行二次区分，完成影像对的组织，得到待处理影像数据；将用于影像数据处理的处理算法模块化，并将模块化后的处理算法以有向无环图的方式进行组织；同时依据处理算法的依赖关系，完成算法的关联，生成处理模板；将待处理影像填入处理模板生成任务流程；根据任务流程中包括的任务参数信息及配置信息，形成支持SLURM的sbatch提交的任务文件；然后为每个任务文件生成预执行和后执行任务文件；在一个任务完成后，使用遍历算法遍历有向无环图的节点任务，找到依赖于当前任务的所有待完成任务，再查询待完成任务的其他依赖任务是否满足提交条件，满足则进行提交，否则结束，等待其他依赖任务触发提交；依次循环，直到所有的算法模块完成。2.根据权利要求1所述多源影像处理流程的控制调度方法，其特征在于：所述处理算法模块化时需制定算法的输入、输出、可变参数的规则，形成任务描述文件。3.根据权利要求1所述多源影像处理流程的控制调度方法，其特征在于：所述筛选数据的条件还包括载荷和正则表达式；所述载荷是对获取影像数据的传感器的命名，作为处理算法的原始输入标志；所述正则表达式进行书写时对同一对影像的相同部分须匹配，不同部分可以通过通配符来匹配任意字符。4.根据权利要求2所述多源影像处理流程的控制调度方法，其特征在于：所述处理算法至少包含一个输入路径、一个输出路径以及资源参数；所述资源参数包括进程数、CPU数、GPU数及内存大小。5.根据权利要求4所述多源影像处理流程的控制调度方法，其特征在于：所述处理算法根据输入数据与输出数据的对应关系，将处理算法划分为一对一或一对多或多对多或多对一的类型。6.根据权利要求1所述多源影像处理流程的控制调度方法，其特征在于：所述待处理影像填入处理模板生成任务流程之前，先将待处理影像组织成工程文件，以工程文件的形式作为任务流程的原...

【专利技术属性】
技术研发人员：陈绍立，雷昌昆，靳笑琳，马宏伟，陈楚，
申请(专利权)人：中科星图空间技术有限公司，
类型：发明
国别省市：