基于时空域的数据流处理方法技术

本发明专利技术提供了一种基于时空域的数据流处理方法，通过建立全局的时空域管理与信息分发机制，将数据和计算过程以及计算资源均与时空域属性进行关联，通过基于时空域的调度优化和任务编排，实现高效的时空数据流处理计算能力，具体包括：步骤1：构建时空流处理框架的整体架构；步骤2：进行时空域定义；步骤3：部署时空域服务；步骤4：进行时空域管理；步骤5：进行时空域计算任务调度。本发明专利技术将数据和计算均导入时空域，通过统一的时空域管理，实现数据与计算尽可能在相同或相近的时空域中进行处理，提升数据本地化，进而提升数据处理效率。进而提升数据处理效率。进而提升数据处理效率。

【技术实现步骤摘要】
基于时空域的数据流处理方法


[0001]本专利技术涉及信息
，具体地，涉及一种基于时空域的数据流处理方法。

技术介绍

[0002]数字孪生对高性能数据分析和处理提出了更高的要求，针对各类智慧应用，需要实时处理分析海量数据。作为数据处理技术的一种，流数据分析引擎所需面临的海量处理压力尤为明显。通过增强数据本地化，实现将计算下沉到靠近数据源的边缘节点，是提示数据处理效率的重要手段之一。
[0003]流数据本身携带时间属性，因为数据是按时间顺序产生，每个数据对应一个空间为主。对于大量传感器产生实时数据流，如何进行有效处理，是数字孪生应用待解决的问题。传统流处理引擎，设定数据生产方何消费方，但数据消费方以计算节点位置作为主要的部署考量，因此在具有复杂网络环境的数字孪生应用环境下，会引发部署后的数据处理效率问题。
[0004]专利文献CN101001379A(申请号：CN200610000542.4)公开了一种对视频数据进行处理的方法，包括：如果数据流中存在数据丢失，则判断是否在软件处理层完成丢失数据预测估计及补偿，否则对视频数据进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空域的数据流处理方法，其特征在于，通过建立全局的时空域管理与信息分发机制，将数据和计算过程以及计算资源均与时空域属性进行关联，通过基于时空域的调度优化和任务编排，实现高效的时空数据流处理计算能力，具体包括：步骤1：构建时空流处理框架的整体架构；步骤2：进行时空域定义；步骤3：部署时空域服务；步骤4：进行时空域管理；步骤5：进行时空域计算任务调度。2.根据权利要求1所述的基于时空域的数据流处理方法，其特征在于，所述时空流处理框架的整体架构包括时空域管理和流计算管理；所述时空域管理是对数据源、数据存储和计算设备进行时空数据的关联与管理，包括对每个数据源、存储空间和计算节点打上时空标签；所述流计算管理是将传统流处理的分阶段任务在基于时空域的数据计算管理体系中定位最佳运行位置，通过分析计算任务所关联的数据源、存储设备来确定其运行的目标计算节点。3.根据权利要求1所述的基于时空域的数据流处理方法，其特征在于，所述时空域定义包括：以时间+空间的数据向量的方式进行时空域的表达；时间区间：通过[start,end]形式来表达，start和end均为浮点数，代表具体的时间信息，如果end为0，则代表无穷；空间区间：通过8组空间坐标表达一个空间立方体，每个坐标点均为X、Y、Z的3维空间坐标；或节省存储空间，用2组空间坐标，即对角点或者一个空间点坐标，结合3个维度的长度；整个空间区域以不同粒度的立方体所表达，对于不规则区域，由多个立方体进行近似表达。4.根据权利要求1所述的基于时空域的数据流处理方法，其特征在于，所述时空域服务为全局服务，通过树形结构部署，来覆盖不同网段所部署的数据和计算资源。5.根据权利要求1所述的基于时空域的数据流处理方法，其特征在于，所述时空域管理负责维护全局的时空信息，包括系统所覆盖的时间空间领域和在时间空间领域上注册的传感器数据源、数据存储、计算过程和计算资源；对所覆盖时间空间领域的管理包括时空区域的增加、修改和删除；增加时空域：通过增加空间区间或扩展时间区间来实现；修改时空域：修改时间区间，或增加、删除空间区间；删除时空域：对时空域中的部分时间区域进行缩减或删除，对空间区域进行删除，或将较大的空间区域替换为较小的空间区域，实现空间区域的缩减。6.根据权利要求2所述的基于时空域的数据流处理方法，其特征在于，对于数据源，时空域管理包括：注册时空域：数据源为传感器数据，在其上线时，由用户手工关联时空域，并向其所在网段内的时空域管理服务器注册；或向其所在网段内的时空域管理服务器发起请求，由时空域服务器为其指定时空域；
修改时空域：由用户手工修改，并向其所在网段内的时空域管理服务器发起更新；或由其所在网段内的时空域管理服...

【专利技术属性】
技术研发人员：赵继胜，
申请(专利权)人：上海孚典智能科技有限公司，
类型：发明
国别省市：