用于数据实时分析的数据存储方法及装置制造方法及图纸

本申请实施例公开了一种用于数据实时分析的数据存储方法及装置，获取资源平台产生的平台数据以及资源投放媒体产生的媒体数据；将平台数据和媒体数据写入数据库中，并在数据写入过程中采用宽表数据结构对平台数据和媒体数据进行数据存储得到数据表；其中，在数据表中通过数据键和来源字段管理平台数据和媒体数据；按照数据键，对数据表中所存储的平台数据和媒体数据进行聚合计算，得到聚合后的数据表，本申请采用宽表数据结构作为基础数据存储结构，将媒体数据通过全量方式写入数据库，将平台数据通过增量方式写入数据库，实现差异化场景处理方式；通过对数据表中的数据进行聚合计算，从而提升数据聚合度，保障数据查询的实时性。时性。时性。

【技术实现步骤摘要】
用于数据实时分析的数据存储方法及装置


[0001]本申请实施例涉及数据分析
，具体涉及一种用于数据实时分析的数据存储方法及装置。

技术介绍

[0002]现有技术中对海量数据的实时分析场景，常用的解决方案是采用关系型数据库，其中，星型、雪花模型和联机分析处理(Online Analytical Processing，OLAP)数据库等为关系型数据库中具有代表性的宽表模型。对于关系型数据库方案，通过将事实表数据和各个维度表数据分别存储到不同的关系表中，针对事实表数据量较大的场景，需要对事实表进行分库、分表处理，在进行数据查询时，需要将相关的维度表和事实表数据的多张分表进行关联查询。
[0003]上述解决方案虽然每张数据表中的数据更新比较灵活，可以进行以行为粒度的数据更新，但是在进行复杂聚合查询时，需要进行多张表关联查询，查询逻辑比较复杂，当业务数据量增加时，聚合查询效率会降低，很难满足海量数据实时分析的需求。

技术实现思路

[0004]鉴于上述问题，本申请提出了一种用于数据实时分析的数据存储方法、装置、计算设备及计算机存储介质，用于解决以下问题：现有的数据表聚合查询效率较低，无法满足海量数据实时分析的需求。
[0005]根据本申请实施例的一个方面，提供了一种用于数据实时分析的数据存储方法，包括：
[0006]获取资源平台产生的平台数据以及资源投放媒体产生的媒体数据；
[0007]将平台数据和媒体数据写入数据库中，并在数据写入过程中采用宽表数据结构对平台数据和媒体数据进行数据存储得到数据表；其中，在数据表中通过数据键和来源字段管理平台数据和媒体数据；
[0008]按照数据键，对数据表中所存储的平台数据和媒体数据进行聚合计算，得到聚合后的数据表。
[0009]进一步地，获取资源平台产生的平台数据以及资源投放媒体产生的媒体数据进一步包括：
[0010]获取资源平台增量产生的平台数据；
[0011]获取资源提供方利用媒体接口通过定时任务从资源投放媒体全量拉取的媒体数据。
[0012]进一步地，在获取资源平台增量产生的平台数据之前，该方法还包括：
[0013]通过实时数据处理工具对资源平台的日志数据进行处理，确定资源平台增量产生的平台数据。
[0014]进一步地，将平台数据和媒体数据写入数据库中，并在数据写入过程中采用宽表
数据结构对平台数据和媒体数据进行数据存储得到数据表进一步包括：
[0015]将平台数据采用增量方式写入数据库中，在平台数据写入过程中，针对每个平台数据，在数据表中根据该平台数据的数据内容为该平台数据设置对应的数据键和对应的来源字段中的平台数据字段，并将该平台数据对应的来源字段中的媒体数据字段设置为预设值；
[0016]将媒体数据采用全量方式写入数据库中，在媒体数据写入过程中，针对每个媒体数据，在数据表中根据该媒体数据的数据内容为该媒体数据设置对应的数据键和对应的来源字段中的媒体数据字段，并将该媒体数据对应的来源字段中的平台数据字段设置为预设值。
[0017]进一步地，数据键包括：维度数据和分区；
[0018]针对每个平台数据，在数据表中根据该平台数据的数据内容为该平台数据设置对应的数据键进一步包括：在数据表中根据该平台数据的数据内容，为该平台数据设置对应的数据键中的维度数据，并将该平台数据对应的数据键中的分区设置为平台标识；
[0019]针对每个媒体数据，在数据表中根据该媒体数据的数据内容为该媒体数据设置对应的数据键进一步包括：在数据表中根据该媒体数据的数据内容，为该媒体数据设置对应的数据键中的维度数据，并将该媒体数据对应的数据键中的分区设置为媒体标识。
[0020]进一步地，将媒体数据采用全量方式写入数据库中进一步包括：
[0021]在数据库中创建临时分区，将媒体数据写入至临时分区中，利用临时分区替换媒体数据对应的目标分区，以完成数据库中媒体数据的更新。
[0022]进一步地，来源字段为数值形式的字段；
[0023]按照数据键，对数据表中所存储的平台数据和媒体数据进行聚合计算，得到聚合后的数据表进一步包括：
[0024]每隔预设时长在数据表中查询具有相同数据键的平台数据和具有相同数据键的媒体数据；
[0025]将具有相同数据键的平台数据对应的来源字段进行累加处理，形成对应的聚合后的平台数据；
[0026]将具有相同数据键的媒体数据对应的来源字段进行累加处理，形成对应的聚合后的媒体数据。
[0027]根据本申请实施例的另一方面，提供了一种用于数据实时分析的数据存储装置，包括：
[0028]数据获取模块，用于获取资源平台产生的平台数据以及资源投放媒体产生的媒体数据；
[0029]数据存储模块，用于将平台数据和媒体数据写入数据库中，并在数据写入过程中采用宽表数据结构对平台数据和媒体数据进行数据存储得到数据表；其中，在数据表中通过数据键和来源字段管理平台数据和媒体数据；
[0030]数据聚合模块，用于按照数据键，对数据表中所存储的平台数据和媒体数据进行聚合计算，得到聚合后的数据表。
[0031]根据本申请实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
[0032]存储器用于存放至少一可执行指令，可执行指令使处理器执行上述一种用于数据实时分析的数据存储方法对应的操作。
[0033]根据本申请实施例的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述一种用于数据实时分析的数据存储方法对应的操作。
[0034]根据本申请实施例提供的一种用于数据实时分析的数据存储方法及装置，获取资源平台产生的平台数据以及资源投放媒体产生的媒体数据；将平台数据和媒体数据写入数据库中，并在数据写入过程中采用宽表数据结构对平台数据和媒体数据进行数据存储得到数据表；其中，在数据表中通过数据键和来源字段管理平台数据和媒体数据；按照数据键，对数据表中所存储的平台数据和媒体数据进行聚合计算，得到聚合后的数据表，本申请采用宽表数据结构作为基础数据存储结构，可以提升数据查询效率，且将媒体数据通过全量方式写入数据库，将平台数据通过增量方式写入数据库，实现差异化场景处理方式；针对实时分析需求，通过定时对数据表中的数据进行聚合计算，从而有效地提升数据聚合度，实现海量数据复杂聚合，对聚合后的数据进行数据查询，可以保障数据查询的实时性。
[0035]上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请实施例的具体实施方式。
附图说明
[0036]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数据实时分析的数据存储方法，包括：获取资源平台产生的平台数据以及资源投放媒体产生的媒体数据；将所述平台数据和所述媒体数据写入数据库中，并在数据写入过程中采用宽表数据结构对所述平台数据和所述媒体数据进行数据存储得到数据表；其中，在所述数据表中通过数据键和来源字段管理所述平台数据和所述媒体数据；按照所述数据键，对所述数据表中所存储的所述平台数据和所述媒体数据进行聚合计算，得到聚合后的数据表。2.根据权利要求1所述的方法，其中，所述获取资源平台产生的平台数据以及资源投放媒体产生的媒体数据进一步包括：获取所述资源平台增量产生的平台数据；获取资源提供方利用媒体接口通过定时任务从资源投放媒体全量拉取的媒体数据。3.根据权利要求2所述的方法，其中，在所述获取所述资源平台增量产生的平台数据之前，所述方法还包括：通过实时数据处理工具对所述资源平台的日志数据进行处理，确定所述资源平台增量产生的平台数据。4.根据权利要求1
‑
3任一项中所述的方法，其中，所述将所述平台数据和所述媒体数据写入数据库中，并在数据写入过程中采用宽表数据结构对所述平台数据和所述媒体数据进行数据存储得到数据表进一步包括：将所述平台数据采用增量方式写入数据库中，在平台数据写入过程中，针对每个平台数据，在所述数据表中根据该平台数据的数据内容为该平台数据设置对应的数据键和对应的所述来源字段中的平台数据字段，并将该平台数据对应的所述来源字段中的媒体数据字段设置为预设值；将所述媒体数据采用全量方式写入数据库中，在媒体数据写入过程中，针对每个媒体数据，在所述数据表中根据该媒体数据的数据内容为该媒体数据设置对应的数据键和对应的所述来源字段中的媒体数据字段，并将该媒体数据对应的所述来源字段中的平台数据字段设置为预设值。5.根据权利要求4所述的方法，其中，所述数据键包括：维度数据和分区；所述针对每个平台数据，在所述数据表中根据该平台数据的数据内容为该平台数据设置对应的数据键进一步包括：在所述数据表中根据该平台数据的数据内容，为该平台数据设置对应的数据键中的维度数据，并将该平台数据对应的数据键中的分区设置为平台标识；所述针对每个媒体数据，在所述数据表中根据该媒体数据的...

【专利技术属性】
技术研发人员：李文博，
申请(专利权)人：上海幻电信息科技有限公司，
类型：发明
国别省市：