【技术实现步骤摘要】
本申请涉及时空流数据处理，特别是涉及一种面向时空流数据的处理方法、装置和计算机设备。
技术介绍
1、随着大数据时代的盛行，在各种不同的领域兴起一种数据密集型应用——流数据，这种数据具有实时性，大量性以及高度的时变性，目前盛行的几大流数据处理引擎框架能够对流数据的处理起到较好的支撑的作用，但是在对于流数据进行处理之后的数据存储中的查询以及在保障流数据从采集到应用的环节中的安全性部分存在有欠缺，现行对于数据库中的数据的查询多使用传统索引来进行查询加速，但是由于传统索引本身的索引空间占据成本较大，且不能够熟悉数据的分布，在查询效率上有所缺失，以及在流数据的整体处理过程中，流数据处理可能会出现处理结果与数据输入不符合的场景，以及在处理过程中的安全性存在有欠缺。
2、学习索引结构是近几年兴起的模型，它能够学习数据的具体分布，在此基础上对于数据库中的多维度数据进行索引，这能够在一定程度上保证索引的高效率，并加快查询速度，同时学习索引结构融入了一些机器学习或者深度学习的线性模型等，相较于传统索引的所占内存，它在系统中所占的体积更小，因此学习索引在保证高效率查询的同时降低了存储成本，能够很好加快数据库中的数据的查询速度从而为支持数据的应用做出很好的支撑。
3、区块链技术则是为解决安全信任问题提供了技术途径，区块链以区块(block，数据块)组织数据，并以链表形式将多个区块进行链接，上一个区块的哈希值存入下一个区块，如果改动某一区块中的数据，那么后续的区块校验无法通过并可检查出篡改者。可以将其看做不可随意篡改的数据库，因此
4、相关方案：
5、文献[1]针对实时数据的传输与处理，设计了一种集数据传输，数据处理以及数据回放于一体的数据传输与处理系统，其中在数据的处理部分，利用flink的流数据处理技术来进行实时处理服务，并整合了中间层和流数据处理的架构整合，形成了传输处理一体化的系统架构，在此基础上，实现了态势数据的时序回放部分。
6、文献[2]专利技术提供了一种基于flink的实时雷达数据的三维点云呈现方法及系统，在进行数据采集之后基于flink对采集到的数据进行处理并存入数据库中，根据业务需求对数据进行处理和输出对应的信息，并将信息传达给前端并进行可视化。
7、文献[3]专利技术提供了一种基于流数据的区块链系统及方法，所述系统包含：身份认证节点提供数字证书；数据采集设备采集流数据，通过数字证书将流数据签名后发送至区块链节点；根据流数据生成数据文件，将数据文件上传至区块链节点；区块链节点通过数字证书对数据采集设备进行验证，当验证通过后根据流数据生成哈希链，将哈希链共识至区块链网络；根据数据文件计算获得哈希链，将数据文件计算获得的哈希链与区块链网络共识的哈希链比对，当比对通过后将数据文件交由区块链文件系统；区块链网络文件系统将数据文件存储至预定存储位置，将数据文件的存储路径交由区块链节点，由区块链节点根据数据文件与哈希链的对应关系将存储路径和哈希链关联后存储。
8、文献[4]提供了一种交通事故时空分析系统，包括数据层：采集基础地理信息数据，数据清洗和融合校验，建立标准化事故数据仓库；应用层:根据标准化事故数据仓库分析事故多发区域、挖掘致因、建立致因对策库、提出整改意见；展示层：展示应用层的分析结果，包括交通事故信息、多发区域等等。其系统基于browser/server分布式架构的网络地理信息系统来进行构建，提升交通事故数据管理、分析水平，拜托了终端束缚，可以将孤立的交通事故数据整合分析。利用编码算法的迭代，得到交通事故的准确位置。运用对照统计、回归分析、聚类分析模型建立事故致因分析模型，诊断交通事故特征级发生原因，并建立事故致因对策库。
9、文献[5]专利技术了一种交通流混合时空预测方法及系统、设备及介质，所述时空预测方法包括：根据目标高速公路的路网结构定义管控单元；通过管控单元内各传感器采集的数据建立管控单元的交通流时序数据集；应用图卷积神经网络gcn和循环神经网络lstm混合模型算法，将周期时空影响因子邻接矩阵序列和交通流周期统计特征序列输入至混合模型的图卷积神经网络中，将具有时空特征的交通流时序数据训练集输入至所述混合模型的循环神经网络中进行训练获得交通流预测模型；根据所述交通流预测模型进行交通流预测。
10、[1].刘智博.基于时序流数据的实时数据处理技术应用研究[d].中国电子科技集团公司电子科学研究院,2022.doi:10.27728/d.cnki.gdzkx.2022.000008.
11、[2].陈立,陈曙光,翁毅.一种基于flink的实时雷达数据的三维点云呈现方法及系统[p].福建省：cn116561392a,2023-08-08.
12、[3].姚新亮,李曼潇,苏恒等.基于流数据的区块链系统及方法[p].北京市：cn111382463b,2022-11-29.
13、[4].范占永,蔡东健,岳顺.一种交通事故时空分析系统[p].江苏省：cn108959196b,2019-06-28.
14、[5].孙丹；卢晓煜；刘逸霏；贾淼.一种交通流混合时空预测方法及系统、设备及介质[p].cn202310027858.6,2023-01-09.
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种面向时空流数据的处理方法、装置和计算机设备，用以解决流数据在从采集到使用的过程中可能会出现数据行为的不一致性和完整性的问题。
2、一种面向时空流数据的处理方法，所述方法包括：
3、构建时空流数据处理框架；所述时空流数据处理框架包括：引接节点、清洗节点、转换节点、机器学习节点、过程库、索引库以及成果库，其中，所述引接节点、清洗节点、转换节点、机器学习节点均部署在区块链中，并且构成区块链网络，所述过程库用于存储所述引接节点和所述清洗节点产生的中间数据，所述索引库用于给所述过程库和所述成果库建立索引，并且提供索引接口；
4、在进行数据处理时，通过所述引接节点接收多源的时空流数据，并将所述时空流数据保存为时空流数据格式；所述时空流数据格式包括：基础信息字段、附带信息字段以及区块链地址字段；所述基础信息字段用于表示时空流数据的基础数据信息，所述附带信息字段用于表示所述时空流数据被引接后生成的信息，所述区块链地址字段是通过上链至引接节点中计算得到的；
5、通过所述清洗节点对所述时空流数据格式的时空流数据进行数据清洗，生成清洗标识，将所述清洗标识加入所述时空流数据格式中，得到清洗时空流数据格式；其中所述清洗时空流数据格式中的区块链地址字段是通过上链至清洗节点中计算得到的；
6、通过所述转换节点将所述清洗时空流数据格式附加转换标识后，存入所述成果库中；其中，附加转换标识后的所述清洗时空流数据格式中的区块本文档来自技高网...
【技术保护点】
1.一种面向时空流数据的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过所述引接节点接收多源的时空流数据，并将所述时空流数据保存为时空流数据格式，包括：
3.根据权利要求2所述的方法，其特征在于，所述清洗标识包括：重复标识和错误标识；
4.根据权利要求3所述的方法，其特征在于，通过所述清洗节点对所述时空流数据格式的时空流数据进行重复检查，将重复的时空流数据格式通过重复标识进行标记，包括：
5.根据权利要求3所述的方法，其特征在于，调用错误检查接口将未标识重复标识的时空流数据格式进行错误检查，若出现错误则修正所述时空流数据格式并标记错误标识，得到清洗时空流数据格式，包括：
6.根据权利要求4所述的方法，其特征在于，通过所述转换节点将所述清洗时空流数据格式附加转换标识后，存入所述成果库中，包括：
7.根据权利要求5所述的方法，其特征在于，通过所述转换节点将所述清洗时空流数据格式附加转换标识后，存入所述成果库中，包括：
8.根据权利要求2至7任一项所述的方法，其特征在
9.一种面向时空流数据的处理装置，其特征在于，所述装置包括：引接节点、清洗节点、转换节点、机器学习节点、过程库、索引库以及成果库；所述引接节点、清洗节点、转换节点、机器学习节点均部署在区块链中，并且构成区块链网络，所述过程库用于存储所述引接节点和所述清洗节点产生的中间数据，所述索引库用于给所述过程库和所述成果库建立索引，并且提供索引接口；
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
...【技术特征摘要】
1.一种面向时空流数据的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过所述引接节点接收多源的时空流数据，并将所述时空流数据保存为时空流数据格式，包括：
3.根据权利要求2所述的方法，其特征在于，所述清洗标识包括：重复标识和错误标识；
4.根据权利要求3所述的方法，其特征在于，通过所述清洗节点对所述时空流数据格式的时空流数据进行重复检查，将重复的时空流数据格式通过重复标识进行标记，包括：
5.根据权利要求3所述的方法，其特征在于，调用错误检查接口将未标识重复标识的时空流数据格式进行错误检查，若出现错误则修正所述时空流数据格式并标记错误标识，得到清洗时空流数据格式，包括：
6.根据权利要求4所述的方法，其特征在于，通过所述转换节点将所述清洗时空流数据格式附加转换标识后，存入所述成果库中，包括：
7.根据权利要...
【专利技术属性】
技术研发人员：张翀，唐雯，吴继冰，黄宏斌，葛斌，杨济伟，何春辉，刘丽华，李璇，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。