基于实时数仓的物业数据处理方法、装置、设备、介质制造方法及图纸

本发明专利技术提出了基于实时数仓的物业数据处理方法、装置、设备、介质，该方法包括：构建记载预设DW层、数据类型标识和数据库标识的第一映射表，构建记载预设DM层、预设功能单元和预设DW层的映射关系的第二映射表；将携带有第一标识和第二标识的实时业务数据后存入关联的预设ODS层，第一标识用于表征数据类型，第二标识为数据库标识；基于第一映射表，将实时业务数据从预设ODS层保存至预设DW层；各个预设DM层基于第二映射表从预设DW层中获取实时业务数据，生成功能业务数据后发送至对应的预设功能单元。利用第一标识、第二标识和第一映射表实现数据存储的灵活分类，利用第二映射表确保各个DM层的输入输出数据的准确性，提高数据应用的可靠性。

【技术实现步骤摘要】

本专利技术涉及数据仓库，特别涉及一种基于实时数仓的物业数据处理方法、装置、设备、介质。

技术介绍

1、目前，物业管理企业开始应用数据仓库为业务需求和管理决策提供支撑，常见的数据仓库主要基于datax系统进行数据同步、利用hive系统进行数据湖存储，利用spark系统进行数据处理，利用clickhouse系统作为olap引擎。但是现有的数据仓库系统较多导致架构复杂，而且datax系统的时效性不强，hive系统的数据处理效率较慢，spark系统的资源用量大，通常只能实现离线数仓。然而，物业管理需要基于各类业务数据或者监控数据进行实时管控，现有的数据仓库无法满足物业管理对数据的实时性和高效性的要求。

2、在相关技术中，提出了基于变更数据捕获（flink change data capture，flinkcdc）技术和doris数据库搭建的实时数据仓库，利用flink cdc技术实现数据的实时捕获，利用doris数据库的操作型数据存储（operational data store，ods）层进行原始数据存储，利用数据仓库（data warehouse，本文档来自技高网...

【技术保护点】

1.一种基于实时数仓的物业数据处理方法，其特征在于，应用于实时数仓系统，所述实时数仓系统连接于多个物业数据库，所述实时数仓系统包括Flink CDC模块、Doris数据库和多个预设功能单元；所述Doris数据库包括多个预设ODS层、多个预设DW层和多个预设DM层，每个所述预设ODS层关联一个所述物业数据库和至少一个所述预设DW层；所述基于实时数仓的物业数据处理方法，包括：

2.根据权利要求1所述的基于实时数仓的物业数据处理方法，其特征在于，通过所述Flink CDC模块从各个所述物业数据库获取多个实时业务数据，包括：

3.根据权利要求2所述的基于实时数仓的物业数据...

【技术特征摘要】

1.一种基于实时数仓的物业数据处理方法，其特征在于，应用于实时数仓系统，所述实时数仓系统连接于多个物业数据库，所述实时数仓系统包括flink cdc模块、doris数据库和多个预设功能单元；所述doris数据库包括多个预设ods层、多个预设dw层和多个预设dm层，每个所述预设ods层关联一个所述物业数据库和至少一个所述预设dw层；所述基于实时数仓的物业数据处理方法，包括：

2.根据权利要求1所述的基于实时数仓的物业数据处理方法，其特征在于，通过所述flink cdc模块从各个所述物业数据库获取多个实时业务数据，包括：

3.根据权利要求2所述的基于实时数仓的物业数据处理方法，其特征在于，将所述实时业务数据存入所述物业数据库关联的所述预设ods层，包括：

4.根据权利要求1所述的基于实时数仓的物业数据处理方法，其特征在于，将所述实时业务数据从所述预设ods层保存至对应的所述预设dw层，包括：

5.根据权利要求4所述的基于实时数仓的物业数据处理方法，其特征在于，从关联的所述预设dw层中获取所述实时业务数据，基于所述实时业务数据生成功能业务数据...

【专利技术属性】
技术研发人员：吴波，余成园，林志远，
申请(专利权)人：霖久智慧广东科技有限公司，
类型：发明
国别省市：