一种基于大数据采集分析的数据中台系统技术方案

技术编号:40036226 阅读:37 留言:0更新日期:2024-01-16 19:01
本发明专利技术公开了一种基于大数据采集分析的数据中台系统,设计数据通信处理领域;包括:数据采集模块,其连接于多个“孤岛”数据库,并采集“孤岛”数据库的数据信息;数据清洗模块,其用于对数据采集模块采集的数据进行清洗;数据整合模块,用于清洗后的多源数据进行整合;服务器,其用于对整合后数据进行储存。本发明专利技术通过对异常数据进行分析,然后再采用逐级缩小范围的形式匹配其原本所属的项目类型中,其可以自动匹配,也可以人工参与填充,从而可保证整合时的数据完整性对于整合后的数据采用随机法提取,然后双向验证的形式进行数据准确性检验,从而可保证整合数据的精确度,另外在检验出现遗漏时,还可对遗漏进行自动填充,进一步增加精度。

【技术实现步骤摘要】

本专利技术涉及数据通信处理领域,尤其涉及一种基于大数据采集分析的数据中台系统


技术介绍

1、数据中台系统是为了解决“数据孤岛”问题,其通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径,把数据统一之后形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。

2、例如,经检索,中国专利公开号为cn115168474b的专利,公开了一种基于大数据模型的物联中台系统搭建方法,包括以下步骤:(s1)选择消息中间件kafka作为数据采集和物联中台的中间桥梁,用于接收物联感知系统接入的设备数据;(s2)选择flink分布式数据处理引擎对kafka接收的不同设备的数据进行清洗过滤、规则匹配;(s3)选择分布式计算引擎spark批次抽取iotdb不同设备的数据;(s4)选择atlas工具构建元数据管理体系,对业务元数据、技术元数据和操作元数据进行管理;(s5)二次开发aj-report进行数据报表可视化展示。

3、上述专利存在以下不足:由于“孤岛”数据在录入时,可能会由于工作人员的操作失误导致位置差异,即数据录入位本文档来自技高网...

【技术保护点】

1.一种基于大数据采集分析的数据中台系统,其特征在于,其包括:

2.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述S2步骤中,数据清洗包括以下步骤:

3.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述S3步骤中,数据整合的方法为:

4.根据权利要求3所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述S3中,对异常数据二次整合的方法包括以下步骤:

5.根据权利要求4所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述S33b中,存在以下情况:

6.根据权利要...

【技术特征摘要】

1.一种基于大数据采集分析的数据中台系统,其特征在于,其包括:

2.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述s2步骤中,数据清洗包括以下步骤:

3.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述s3步骤中,数据整合的方法为:

4.根据权利要求3所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述s3中,对异常数据二次整合的方法包括以下步骤:

5.根据权利要求4所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述s33b中,存在以下情况:

6.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述数据中台系统还...

【专利技术属性】
技术研发人员:蒋剑辉戴子君
申请(专利权)人:杭州数亮科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1