一种数据仓库的数据处理方法技术

本发明专利技术实施例涉及一种数据仓库的数据处理方法，所述方法包括：设置数据仓库的原始采集数据结构、原始对象数据结构、标准对象数据结构和报告列字段结构；对前置数据探针进行布放；进行标准数据存储桶和清洗数据存储桶初始化；进行报告数据表的列字段初始化；运行前置数据探针进行实时信息采集生成原始采集数据；将原始采集数据存入分布式存储系统；定期对所述分布式存储系统进行批量数据提取与原始对象数据转换；进行无效对象数据清洗；进行标准对象数据转换；将标准、清洗对象数据集合存入标准、清洗数据存储桶；清空分布式存储系统中的原始对象数据集合。通过本发明专利技术提高了原始采集数据的缓存、转换和存储效率，提高了数据分析性能。析性能。析性能。

【技术实现步骤摘要】
一种数据仓库的数据处理方法


[0001]本专利技术涉及数据处理
，特别涉及一种数据仓库的数据处理方法。

技术介绍

[0002]在处理广告投放或电商平台销售时，需要对广告投放效果和电商销售产品销售效果进行定期分析，以便能进一步提高投放广告投放精度和产品销量。在进行定期分析时，就需要解决前端用户数据采集、采集数据存储以及后端数据分析等技术问题。当前市场上用于处理上述技术问题的工具大多是分立的，例如专注于前端数据采集的探针管理系统，专注于数据存储的各型数据库，专注于数据检索与分析的信息检索系统等。广告运维平台和电商平台基于上述分立工具，就需要定期安排人力将采集到的原始数据分类导入到指定数据库中。这种操作方式受人工因素影响往往数据格式不统一、效率较低、实时性较弱，尤其在对数据库的选型上常会因为忽略了数据阶段性特征而选错数据库类型继而导致采集数据导入缓慢、数据分析难度较大等问题。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种数据仓库的数据处理方法、电子设备及计算机可读存储介质，将前端到后端的整个数据处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据仓库的数据处理方法，其特征在于，所述方法包括：设置数据仓库的原始采集数据结构、原始对象数据结构、标准对象数据结构和报告列字段结构；根据所述原始采集数据结构，对所述数据仓库的前置数据探针进行布放；并根据所述原始对象数据结构和所述标准对象数据结构，对所述数据仓库的对象型数据库进行标准数据存储桶和清洗数据存储桶初始化；并根据所述报告列字段结构，对所述数据仓库的关系型数据库进行报告数据表的列字段初始化；运行对应授权状态为激活状态的所述前置数据探针进行实时信息采集，生成数据结构满足所述原始采集数据结构的原始采集数据；将所述原始采集数据存入所述数据仓库的分布式存储系统；定期对所述分布式存储系统进行批量数据提取与原始对象数据转换处理，生成满足所述原始对象数据结构的原始对象数据集合；并对所述原始对象数据集合进行无效对象数据清洗处理生成清洗对象数据集合；并对所述清洗对象数据集合进行标准对象数据转换处理，得到满足所述标准对象数据结构的标准对象数据集合；并将所述标准对象数据集合存入所述对象型数据库的标准数据存储桶,将所述清洗对象数据集合存入所述对象型数据库的清洗数据存储桶；并清空所述分布式存储系统中与所述原始对象数据集合对应的存储数据；接收查询指令并对其进行识别；若所述查询指令为数据库查询指令，则根据所述数据库查询指令的指令参数对所述标准数据存储桶进行数据查询处理生成对应的查询报告，并为所述查询报告分配一个对应的报告标识，并根据所述报告标识、所述查询报告的生成时间和所述查询报告更新所述关系型数据库的所述报告数据表，并将所述查询报告和所述报告标识作为指令反馈数据进行返回；若所述查询指令为报告查询指令，则根据所述报告查询指令的报告标识参数从所述关系型数据库的所述报告数据表中读取对应的所述查询报告作为指令反馈数据进行返回。2.根据权利要求1所述的数据仓库的数据处理方法，其特征在于，所述报告数据表的列字段至少包括报告标识字段、报告时间字段和报告字段；所述分布式存储系统包括多个关键字
‑
属性值存储单元；所述关键字
‑
属性值存储单元包括关键字和关键字属性值；所述原始采集数据包括探针标识、采集时间和多个原始数据字段；所述原始数据字段包括原始字段名和原始字段值；所述原始对象数据集合包括多个原始对象数据；所述原始对象数据包括原始对象名、原始对象版本和多个原始对象属性字段；所述原始对象属性字段包括原始对象属性名和原始对象属性值；所述原始对象数据的数据结构与所述原始采集数据的数据结构对应；所述原始对象名对应所述探针标识；所述原始对象版本对应所述采集时间；所述原始对象属性字段对应所述原始数据字段；所述原始对象属性名对应所述原始字段名；所述原始对象属性值对应所述原始字段值；所述标准对象数据集合包括多个标准对象数据；所述标准对象数据包括标准对象名、标准对象版本和多个标准对象属性字段；所述标准对象属性字段包括标准对象属性名和标
准对象属性值。3.根据权利要求1所述的数据仓库的数据处理方法，其特征在于，所述根据所述原始采集数据结构，对所述数据仓库的前置数据探针进行布放，具体包括：根据所述原始采集数据结构，在预设应用类型的应用页面的页面组件上进行对应的前置数据探针加载处理；并向用户发送信息采集授权申请，并接收用户反馈的授权信息；并对所述授权信息进行识别，若所述授权信息为允许采集则设置当前应用的所有所述前置数据探针的授权状态为激活状态，若所述授权信息为不允许采集则设置所述当前应用的所有所述前置数据探针的授权状态为失活状态；所述应用类型包括广告投放展示应用类型和电商产品销售应用类型；所述应用页面包括浏览器应用页面和APP应用页面。4.根据权利要求1所述的数据仓库的数据处理方法，其特征在于，所述根据所述原始对象数据结构和所述标准对象数据结构，对所述数据仓库的对象型数据库进行标准数据存储桶和清洗数据存储桶初始化，具体包括：在所述对象型数据库中，创建第一数据存储桶记为清洗数据存储桶，创建第二数据存储桶记为标准数据存储桶；并根据所述原始对象数据结构，为所述清洗数据存储桶配置对应的桶内数据对象结构；并根据所述标准对象数据结构，为所述标准数据存储桶配置对应的桶内数据对象结构。5.根据权利要求1所述的数据仓库的数据处理方法，其特征在于，所述根据所述报告列字段结构，对所述数据仓库的关系型数据库进行报告数据表的列字段初始化，具体包括：在所述关系型数据库中创建内容为空的所述报告数据表，并根据所述报告列字段结构为所述报告数据表创建对应的列字段。6.根据权利要求2所述的数据仓库的数据处理方法，其特征在于，所...

【专利技术属性】
技术研发人员：杨福祥，刘雄，陈涛，
申请(专利权)人：北京维卓网络科技有限公司，
类型：发明
国别省市：