【技术实现步骤摘要】
本专利技术涉及数据通信处理领域,尤其涉及一种基于大数据采集分析的数据中台系统。
技术介绍
1、数据中台系统是为了解决“数据孤岛”问题,其通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径,把数据统一之后形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。
2、例如,经检索,中国专利公开号为cn115168474b的专利,公开了一种基于大数据模型的物联中台系统搭建方法,包括以下步骤:(s1)选择消息中间件kafka作为数据采集和物联中台的中间桥梁,用于接收物联感知系统接入的设备数据;(s2)选择flink分布式数据处理引擎对kafka接收的不同设备的数据进行清洗过滤、规则匹配;(s3)选择分布式计算引擎spark批次抽取iotdb不同设备的数据;(s4)选择atlas工具构建元数据管理体系,对业务元数据、技术元数据和操作元数据进行管理;(s5)二次开发aj-report进行数据报表可视化展示。
3、上述专利存在以下不足:由于“孤岛”数据在录入时,可能会由于工作人员的操作失误导致位
...【技术保护点】
1.一种基于大数据采集分析的数据中台系统,其特征在于,其包括:
2.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述S2步骤中,数据清洗包括以下步骤:
3.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述S3步骤中,数据整合的方法为:
4.根据权利要求3所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述S3中,对异常数据二次整合的方法包括以下步骤:
5.根据权利要求4所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述S33b中,存在以下情况:
...【技术特征摘要】
1.一种基于大数据采集分析的数据中台系统,其特征在于,其包括:
2.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述s2步骤中,数据清洗包括以下步骤:
3.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述s3步骤中,数据整合的方法为:
4.根据权利要求3所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述s3中,对异常数据二次整合的方法包括以下步骤:
5.根据权利要求4所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述s33b中,存在以下情况:
6.根据权利要求1所述的一种基于大数据采集分析的数据中台系统,其特征在于,所述数据中台系统还...
【专利技术属性】
技术研发人员:蒋剑辉,戴子君,
申请(专利权)人:杭州数亮科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。