一种分布式架构的城市超脑并行计算方法和系统技术方案

本发明专利技术公开了一种分布式架构的城市超脑并行计算方法和系统，方法包括以下步骤：采用多个集群进行分布式计算；每个集群包括数据资源设备、智能分析运算设备、控制调度设备和集群协调设备；通过集群协调设备建立总循环任务流和相应的多个并行分循环任务流，并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源，且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。该方法和系统具有可降低通信开销和通信延迟，通信实时性高，提高运算能力，减少出错率和延迟率等优点。

A parallel computing method and system of urban Super Brain Based on distributed architecture

【技术实现步骤摘要】
一种分布式架构的城市超脑并行计算方法和系统
本专利技术涉及城市管理及人工智能领域，具体涉及一种分布式架构的城市超脑并行计算方法和系统。
技术介绍
近年来，随着“城市超脑”技术的迅速发展，在北京、杭州、铜陵等多个城市都已经开始搭建实际的“城市超脑”平台。从形式上看，“城市超脑”是将各领域的“行业超脑”组合在一起，通过相互感知和相互操作，产生协同价值。“城市超脑”是支撑智慧城市的基础信息化与智能化设施，“城市超脑”主要由前端设备部分、数据传输部分和后台分析部分组成。前端设备部分是核心，可以得到实时、海量、多样化的城市数据资源；数据传输部分是基础，通过覆盖城市范围的广域物联网进行数据实时共享传输；后台分析部分是对数据的运用，需要在后台构建一个统一的大型计算机平台，通过智能化和预测性的分析，对城市资源进行调度控制，调整城市各个部分运行的偏差。通过“城市超脑”，可以打通城市各个领域的平台，推动城市数字化管理。目前，城市超脑技术主要面临的问题如下：1、城市超脑需要承载海量的、高并发、多样化的数据量和计算量，对参与运算的软硬件要求极高，很容易因为运算能力的不足产生拥塞、延迟增大、计算错误等问题；现有技术中采取的办法是在城市后台搭建一个超级计算机，作为全部数据承载和运算的中心，但是超级计算机的搭建和运营成本非常高，而且一旦超级计算机出现故障，就会给整个城市运行带来难以估量的损失。2、城市超脑覆盖城市的广域范围，数据从前端采集部分传输到后台分析部分，以及将运算结果和控制命令下发给城市各处的执行设备，都会带来通信开销和通信延迟的情况，从而导致城市超脑系统无法满足高实时性的需求，带来严重的负面影响。
技术实现思路
针对现有技术存在的上述不足，本专利技术的目的在于：如何设计一种分布式架构的城市超脑并行计算方法和系统，来解决现有技术中城市超脑因通信开销和通信延迟导致的城市超脑系统无法满足高实时性的需求，以及因为运算能力的不足产生拥塞、延迟增大、计算错误等问题，具有可降低通信开销和通信延迟，通信实时性高，提高运算能力，减少出错率和延迟率等优点。一种分布式架构的城市超脑并行计算方法，包括以下步骤：采用多个集群进行分布式计算；每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备；所述数据资源设备对数据进行存储和整合，所述智能分析运算设备对数据进行分析和预测，所述控制调度设备根据数据分析和预测来控制和调度前端设备；每个集群包括至少一个集群协调设备，通过集群协调设备建立总循环任务流和相应的多个并行分循环任务流，并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源，且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。进一步地，所述总循环任务流包括预期任务环节、运行任务环节、测评任务环节和反馈任务环节，形成任务闭环。进一步地，所述预期任务环节包括，根据应用场景进行总体预期，对该应用场景的数据资源进行预估与测算，制定总体目标、运行方式和调度策略，确定总体量化评估标准。进一步地，所述运行环节包括，根据预期任务环节的总体目标、运行方式和调度策略，建立多个并行的分循环任务流；针对每个分循环任务流，采用活跃任务池和非活跃任务池进行分类，对分配给每个分循环任务流的内存空间和运算资源进行调节。进一步地，所述采用活跃任务池和非活跃任务池进行分类，对分配给每个分循环任务流的内存空间和运算资源进行调节包括：将所有分循环任务流都置于非活跃任务池中，对非活跃任务池中的分循环任务流分配M个内存空间和运算资源；根据总循环任务流在运行环节下达的调用指令，将被调用的分循环任务流从非活跃任务池转入活跃任务池，对该分循环任务流再分配N个内存空间和运算资源；根据总循环任务流在运行环节下达的中止调用指令，将被中止调用的分循环任务流从活跃任务池转回非活跃任务池，并收回对应的N个内存空间和运算资源；其中，M和N表示内存空间的大小和运算资源的多少。进一步地，所述N个内存空间和运算资源是固定或动态调节的。进一步地，所述并行分循环任务流之间需要数据共享时，需求数据的分循环任务流向总循环任务流的运行环节发送数据共享请求；总循环任务流将数据共享请求转发给具有被需求数据的分循环任务流，具有被需求数据的分循环任务流将被需求数据发送给需求数据的分循环任务流共享。进一步地，所述并行分循环任务流之间发生对内存空间或者运算资源的冲突时，发生冲突中的至少一个分循环任务流向总循环任务流的运行环节发送冲突裁决请求；总循环任务流的运行环节对冲突进行裁决，裁决后再为有冲突的分循环任务流分配内存空间或者运算资源。进一步地，所述测评任务环节包括，获取每个分循环任务流上传的运行结果数据，将运行结果数据和总体量化评估标准分析对比，得到测评数据；所述反馈任务环节包括，根据测评任务环节的测评数据，调整总体目标，调整总体的运行方式和调度策略，并重新确定总体量化评估标准。一种分布式架构的城市超脑并行计算系统，包括：多个集群，用于进行分布式计算；每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备；所述数据资源设备用于对数据存储和整合，所述智能分析运算设备用于对数据分析和预测，所述控制调度设备用于根据数据分析和预测来控制和调度前端设备；每个集群包括至少一个集群协调设备，用于建立总循环任务流和相应的多个并行分循环任务流，并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源，且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。相比于现有技术，本专利技术具有以下优点：本专利技术提供的一种分布式架构的城市超脑并行计算方法和系统，采用多个集群进行分布式计算，解决了城市超脑因通信开销和通信延迟导致的城市超脑系统无法满足高实时性的需求的问题，采用多个循环任务流并行计算，解决了因为运算能力的不足产生拥塞、延迟增大、计算错误等问题，具有可降低通信开销和通信延迟，通信实时性高，提高运算能力，减少出错率和延迟率等优点。附图说明图1为本专利技术实施例一中分布式架构的城市超脑并行计算方法的流程图；图2为本专利技术实施例二中分布式架构的城市超脑并行计算系统的系统框图。具体实施方式下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只是作为示例，而不能以此来限制本专利技术的保护范围。实施例一：参照图1，一种分布式架构的城市超脑并行计算方法，其特征在于，包括以下步骤：采用多个集群进行分布式计算；每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备；所述数据资源设备对数据进行存储和整合，所述智能分析运算设备对数据进行分析和预测，所述控制调度设备根据数本文档来自技高网...

【技术保护点】
1.一种分布式架构的城市超脑并行计算方法，其特征在于，包括以下步骤：/n采用多个集群进行分布式计算；/n每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备；所述数据资源设备对数据进行存储和整合，所述智能分析运算设备对数据进行分析和预测，所述控制调度设备根据数据分析和预测来控制和调度前端设备；/n每个集群包括至少一个集群协调设备，通过集群协调设备建立总循环任务流和相应的多个并行分循环任务流，并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源，且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。/n

【技术特征摘要】
1.一种分布式架构的城市超脑并行计算方法，其特征在于，包括以下步骤：
采用多个集群进行分布式计算；
每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备；所述数据资源设备对数据进行存储和整合，所述智能分析运算设备对数据进行分析和预测，所述控制调度设备根据数据分析和预测来控制和调度前端设备；
每个集群包括至少一个集群协调设备，通过集群协调设备建立总循环任务流和相应的多个并行分循环任务流，并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源，且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。


2.根据权利要求1所述的城市超脑并行计算方法，其特征在于，所述总循环任务流包括预期任务环节、运行任务环节、测评任务环节和反馈任务环节，形成任务闭环。


3.根据权利要求2所述的城市超脑并行计算方法，其特征在于，所述预期任务环节包括：根据应用场景进行总体预期，对该应用场景的数据资源进行预估与测算，制定总体目标、运行方式和调度策略，确定总体量化评估标准。


4.根据权利要求3所述的城市超脑并行计算方法，其特征在于，所述运行环节包括：
根据预期任务环节的总体目标、运行方式和调度策略，建立多个并行的分循环任务流；
针对每个分循环任务流，采用活跃任务池和非活跃任务池进行分类，对分配给每个分循环任务流的内存空间和运算资源进行调节。


5.根据权利要求4所述的城市超脑并行计算方法，其特征在于，所述采用活跃任务池和非活跃任务池进行分类，对分配给每个分循环任务流的内存空间和运算资源进行调节包括：
将所有分循环任务流都置于非活跃任务池中，对非活跃任务池中的分循环任务流分配M个内存空间和运算资源；
根据总循环任务流在运行环节下达的调用指令，将被调用的分循环任务流从非活跃任务池转入活跃任务池，对该分循环任务流再分配N个内存空间和运算资源；
根据总循环任务流在运行环节下达的中止调用指令，将被中止调用的分循环任务流从活跃任务池转回非活跃任务池...

【专利技术属性】
技术研发人员：鲍敏，
申请(专利权)人：重庆特斯联智慧科技股份有限公司，
类型：发明
国别省市：重庆;50