【技术实现步骤摘要】
本专利技术涉及数字信息数据处理，特别是涉及一种基于时空大数据引擎的数据处理方法和装置。
技术介绍
1、新时代下，数据资源已经成为国家重要基础战略资源之一，大数据、云计算、物联网等新一代信息技术的不断创新发展为自然资源时空大数据的存储和分析创造了新条件，例如：计算机硬件与网络的发展为自然资源信息化提供了高效的计算和访问能力，云计算、大数据与人工智能的创新为自然资源智能管理与服务提供了技术手段等；时空大数据技术在海量数据存储、数据挖掘、图像视频智能分析等方面有着显著优势，但时代的发展也对这些数据信息的利用提出了更高的要求。现有方式主要是通过时空大数据技术，对时空大数据进行处理和分析挖掘，以及使用经典gis功能的分布式重构，对经典时空数据进行管理和处理。
2、但是，现有技术在对时空大数据的多源数据集进行分析和管理时所使用的模型众多，且经常变化调整，导致资源利用率低，并且，由于时空大数据的数据量庞大，导致无法从中及时获取目标数据信息并进行一站式管理，严重降低了数据的利用率。
技术实现思路
1、本专利技术提供一种基于时空大数据引擎的数据处理方法和装置，以解决难以及时从多源数据集中获取目标数据以进行一站式智能管理的问题。
2、为了解决上述问题，本专利技术提供了一种基于时空大数据引擎的数据处理方法，包括：
3、获取多源数据集和若干时空大数据任务；
4、将所述多源数据集分解为前后依赖的若干子过程，根据所述若干子过程中各数据集群的负载信息和吞吐率值建立
5、根据所述若干时空大数据任务的任务数量选择对应的引擎，得到若干引擎；
6、根据所述若干资源洞察模型的任务负载量和任务吞吐率对所述若干引擎的负载进行控制，使所述若干引擎对所述多源数据集进行资源调度，得到调度数据；
7、对所述调度数据进行数据治理和多维分析挖掘，得到目标数据。
8、本专利技术通过数据分解所得到的若干弹性分布式数据集是存储在子过程的不同节点上的，因此当需要进行数据计算的时候可以在这些节点上并行操作，能够加快数据的处理过程；根据各数据集群的负载信息和吞吐率值建立资源洞察模型，可以充分考虑到数据的变化情况，使所得到的资源洞察模型能够反馈准确的数据实时处理动态信息，因此能够以时空大数据任务为基础，通过引擎负载调整，以集中资源在众多数据中进行搜寻调度，可以在避免引擎过劳使用的同时，充分发挥引擎的效用，快速得到所需要的调度数据；最后通过数据治理和多维分析挖掘，能够对数据进行进一步优化处理和遗漏排除，使所得到的目标数据准确有效。
9、相比于现有技术，本专利技术通过对多源数据集进行分析处理，建立对应的资源洞察模型以控制引擎进行搜索，能够快速得到调度数据以做进一步处理，使最后得到的目标数据拥有完善且高价值的信息，所以能够解决难以及时从多源数据集中获取目标数据以进行一站式智能管理的问题。
10、作为优选方案，将所述多源数据集分解为前后依赖的若干子过程，根据所述若干子过程中各数据集群的负载信息和吞吐率值建立对应的资源洞察模型，得到若干资源洞察模型，具体为：
11、按照所述若干时空大数据任务的任务数量将所述多源数据集分解为前后依赖的若干子过程，使每一个任务包含对应的若干子过程，且每一个子过程包含对应的若干弹性分布式数据集；
12、将所述多源数据集的数据重新分配到所述若干弹性分布式数据集中，使所述若干弹性分布式数据集对重新分配的数据进行整合处理；
13、根据所述若干弹性分布式数据集在进行整合处理时的数据信息计算得到负载信息集和数据吞吐率集，根据所述负载信息集和所述数据吞吐率集和预设权重，建立所述若干资源洞察模型。
14、本优选方案通过数据分解所得到的若干弹性分布式数据集是存储在子过程的不同节点上的，因此当需要进行数据计算的时候可以在这些节点上并行操作，能够加快数据的处理过程；由于若干子过程是前后依赖的关系，所以能够降低数据并发执行的限制，提高了各数据集的数据处理的性能和吞吐量。
15、作为优选方案，根据所述若干弹性分布式数据集在进行整合处理时的数据信息计算得到负载信息集和数据吞吐率集，根据所述负载信息集和所述数据吞吐率集和预设权重，建立所述若干资源洞察模型，具体为：
16、根据所述若干弹性分布式数据集在进行整合处理时的cpu利用率、任务占有率、磁盘等待队列长度、活跃任务数、周期吞吐率和未处理数据量，计算得到所述负载信息集和所述数据吞吐率集；
17、根据时空大数据任务的下发速度和当前时空大数据任务的处理速度，计算得到模型权重；
18、根据所述负载信息集、所述数据吞吐率集和所述模型权重建立所述若干资源洞察模型。
19、本优选方案使用若干弹性分布式数据集在进行整合处理时的数据信息建立资源洞察模型，能够充分考虑到进行整合处理时数据的变化情况，使所得到的资源洞察模型能够反馈准确的数据实时处理动态信息，以便后续以此进行资源调度。
20、作为优选方案，根据所述若干资源洞察模型的任务负载量和任务吞吐率对所述若干引擎的负载进行控制，使所述若干引擎对所述多源数据集进行资源调度，得到调度数据，具体为：
21、根据所述若干资源洞察模型的任务负载量和任务吞吐率建立负载信息样本集和历史吞吐率集；
22、根据所述若干资源洞察模型的模型权重和所述负载信息样本集计算得到所述若干时空大数据任务的若干吞吐率洞察值；
23、根据所述若干吞吐率洞察值、数据吞吐率集和所述若干时空大数据任务的负载数据量对所述若干引擎的负载进行控制，使所述若干引擎对所述多源数据集进行资源调度，得到调度数据。
24、本优选方案是资源调度过程的具体描述，根据若干吞吐率洞察值、数据吞吐率集和负载数据量对若干引擎的负载进行控制，能够以时空大数据任务为基础，集中资源在众多数据中进行搜寻调度与引擎负载调整，能够在避免引擎过劳使用的同时，充分发挥引擎的效用，快速得到所需要的调度数据，该调度控制方式针对性强，调度效果立竿见影。
25、作为优选方案，对所述调度数据进行数据治理和多维分析挖掘，得到目标数据，具体为：
26、通过对所述调度数据进行信息注册的方式，将所述调度数据与预设的大数据分析资源池建立连接；其中，所述大数据分析资源池是根据分布式文件系统、云存储、列式存储建立的数据库；
27、对建立连接之后的调度数据进行数据清洗与融合，得到过渡数据；
28、在多维空间上对所述过渡数据进行近似数据查找与汇总，得到所述目标数据。
29、本优选方案对调度数据进行数据清洗与融合，相当于在原有调度数据的基础上做了数据提取与修剪，使所得到的过渡数据条理清晰、数据正常，且数据特征得到了加强；
30、在多维空间上对过渡数据进行近似数据查找与汇总，能够以优化后的过渡数据为基础，通过不同纬度在多源数据集中再次进行数据分本文档来自技高网...
【技术保护点】
1.一种基于时空大数据引擎的数据处理方法，其特征在于，包括：
2.如权利要求1所述的一种基于时空大数据引擎的数据处理方法，其特征在于，将所述多源数据集分解为前后依赖的若干子过程，根据所述若干子过程中各数据集群的负载信息和吞吐率值建立对应的资源洞察模型，得到若干资源洞察模型，具体为：
3.如权利要求2所述的一种基于时空大数据引擎的数据处理方法，其特征在于，根据所述若干弹性分布式数据集在进行整合处理时的数据信息计算得到负载信息集和数据吞吐率集，根据所述负载信息集和所述数据吞吐率集和预设权重，建立所述若干资源洞察模型，具体为：
4.如权利要1所述的一种基于时空大数据引擎的数据处理方法，其特征在于，根据所述若干资源洞察模型的任务负载量和任务吞吐率对所述若干引擎的负载进行控制，使所述若干引擎对所述多源数据集进行资源调度，得到调度数据，具体为：
5.如权利要求1所述的一种基于时空大数据引擎的数据处理方法，其特征在于，对所述调度数据进行数据治理和多维分析挖掘，得到目标数据，具体为：
6.如权利要求1所述的一种基于时空大数据引擎的数据处
7.如权利要求6所述的一种基于时空大数据引擎的数据处理方法，其特征在于，将所述目标数据渲染后输入预设的三维地图中形成若干点位，具体为：
8.如权利要求1所述的一种基于时空大数据引擎的数据处理方法，其特征在于，在所述得到目标数据之后，还包括：
9.如权利要求1所述的一种基于时空大数据引擎的数据处理方法，其特征在于，在所述获取多源数据集和若干时空大数据任务之后，还包括：
10.一种基于时空大数据引擎的数据处理装置，其特征在于，包括获取模块、构建模块、遴选模块、调度模块和综合模块；
...【技术特征摘要】
1.一种基于时空大数据引擎的数据处理方法，其特征在于，包括：
2.如权利要求1所述的一种基于时空大数据引擎的数据处理方法，其特征在于，将所述多源数据集分解为前后依赖的若干子过程，根据所述若干子过程中各数据集群的负载信息和吞吐率值建立对应的资源洞察模型，得到若干资源洞察模型，具体为：
3.如权利要求2所述的一种基于时空大数据引擎的数据处理方法，其特征在于，根据所述若干弹性分布式数据集在进行整合处理时的数据信息计算得到负载信息集和数据吞吐率集，根据所述负载信息集和所述数据吞吐率集和预设权重，建立所述若干资源洞察模型，具体为：
4.如权利要1所述的一种基于时空大数据引擎的数据处理方法，其特征在于，根据所述若干资源洞察模型的任务负载量和任务吞吐率对所述若干引擎的负载进行控制，使所述若干引擎对所述多源数据集进行资源调度，得到调度数据，具体为：
<...【专利技术属性】
技术研发人员：何剑锋，张鸿辉，冯亮，罗伟玲，张恒，朱水勋，马昊翔，崔学森，沈亨，吴泳兴，陈建桥，刘映弟，
申请(专利权)人：广东国地规划科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。