一种数据实用流化分散整合方法技术

本发明专利技术公开了一种数据实用流化整合分散方法，包括步骤A）：进行数据采集任务；步骤B）：将数据表结构中的全量数据打散为格数据，再将打散的全量数据存储到数据库；步骤C）：采集数据库增量数据；步骤D）：用户进行选择订阅信息；步骤E）包括数据初始化流程和数据增量流程。本发明专利技术将多张数据表进行数据打散，把数据解构到数据格级别，将不同数据表的格数据内容进行关联，实现关联订阅可对数据进行自由的组合、筛选，订阅方无需将一张数据表的全量数据订阅，只需订阅自己需要的，而且全流程的数据都进行流化处理，对数据的计算在流中处理，使采集与订阅满足实时性，订阅方可在秒内获取所需数据，既保证数据的实时性，又提高了效率。

A Practical Fluidized and Decentralized Data Integration Method

【技术实现步骤摘要】
一种数据实用流化分散整合方法
本专利技术涉及通信
，尤其涉及一种数据实用流化整合分散方法。
技术介绍
在信息越来越发达的今天，人们对于数据信息的获取需求随之也越来越大，尤其是互联网这张大网所笼罩下的数据大幕，越来越受到人们的重视，人们强烈呼吁传输和处理海量数据的方法技术的更迭换代，其中数据的流化分散整合处理成为了提升网络数据实时传输性能的关键技术之一。现有的数据流化方法体现在订阅方如果想要订阅一张数据表的某一块信息，必须将数据表中的全量数据订阅，这样订阅方才能获取其关注的信息，效率低下，而对于数据整合手段仅仅是整合数据表，而整合数据表无法对数据进行分解，无法做到单独提取订阅某一块信息，而且数据表与数据表之间无法实现信息关联。
技术实现思路
本专利技术针对现有技术中的不足，提供了一种数据实用流化分散整合方法，将多张数据表进行数据打散，把数据解构到数据格级别，将不同数据表的格数据内容进行关联，实现关联订阅可对数据进行自由的组合、筛选，订阅方无需将一张数据表的全量数据订阅，只需订阅自己需要的，而且全流程的数据都进行流化处理，对数据的计算在流中处理，使采集与订阅满足实时性，订阅方可在秒内获本文档来自技高网...

【技术保护点】
1.一种数据实用流化分散整合方法，其特征在于，包括步骤A）：进行数据采集任务，取出数据库中的全量数据；步骤B）：将数据表结构中的全量数据打散为格数据，再将打散的全量数据存储到数据库；步骤C）：通过读取数据库的操作记录与变更时间，采集数据库增量数据，将增量数据直接流化处理；步骤D）：用户进行选择订阅信息，该用户能自主选择所需的数据格数据，并选择计算模型来订阅计算后的信息；步骤E）包括数据初始化流程和数据增量流程，所述数据初始化流程包括以下步骤：步骤a1）：进行初始化订阅任务，将用户需订阅的相关数据从存储的数据库中筛选出来，再还原成行数据，再对行数据进行流化处理，存入订阅数据流；步骤b1）：取得订...

【技术特征摘要】
1.一种数据实用流化分散整合方法，其特征在于，包括步骤A）：进行数据采集任务，取出数据库中的全量数据；步骤B）：将数据表结构中的全量数据打散为格数据，再将打散的全量数据存储到数据库；步骤C）：通过读取数据库的操作记录与变更时间，采集数据库增量数据，将增量数据直接流化处理；步骤D）：用户进行选择订阅信息，该用户能自主选择所需的数据格数据，并选择计算模型来订阅计算后的信息；步骤E）包括数据初始化流程和数据增量流程，所述数据初始化流程包括以下步骤：步骤a1）：进行初始化订阅任务，将用户需订阅的相关数据从存储的数据库中筛选出来，再还原成行数据，再对行数据进行流化处理，存入订阅数据流；步骤b1）：取得订阅数据流中的全量数据，在数据流中对数据进行处理，转化成用户所需的数据；步骤c1）：进行入库任务，把流化处理后的数据处理结果存储到用户指定的数据库中；所述数据增量流程包括以下步骤：步骤a2）：进行增量订阅任务，采集到已流化的增量数据，存入订阅数据流；步骤b2）：依序取得订阅数据流中的数据，在数据流中对数据进行处理，转化成用...

【专利技术属性】
技术研发人员：费建华，
申请(专利权)人：宁波中数云创信息技术有限公司，
类型：发明
国别省市：浙江,33