数据处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、电子设备及可读存储介质，属于通信技术领域。该方法包括：在第一数据分片满足数据转移条件的情况下，将第一数据分片转移至目标数据库，并向查询节点发送所述第一数据分片的第一元数据信息；所述第一数据分片为实时计算节点基于目标计算任务计算得到的数据；将基于目标计算任务计算得到的新数据在实时计算节点进行存储，得到第二数据分片，并向所述查询节点发送所述第二数据分片的第二元数据信息；在查询节点获取到数据查询请求的情况下，查询节点根据所述数据查询请求、第一元数据信息和所述第二元数据信息，得到目标查询结果。得到目标查询结果。得到目标查询结果。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及可读存储介质


[0001]本申请属于通信
，具体涉及一种数据处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着信息技术的深入应用，科学计算、数据分析等对电子设备的计算效率和性能的要求越来越高。目前可以通过实时计算节点读取数据，并对数据进行计算之后存储到第三方存储，然后，用户可以通过第三方存储进行数据查询。
[0003]现有的数据查询方法无法查询到最新的实时数据，导致查询的数据不够全面；且当数据存储在不同的第三方存储时，在查询数据是需要使用不同的查询方言，实现起来比较复杂。

技术实现思路

[0004]本申请实施例的目的是提供一种数据处理方法、装置、电子设备及可读存储介质，能够解决查询到的结果数据不够全面的问题。
[0005]第一方面，本申请实施例提供了一种数据处理方法，该方法包括：在第一数据分片满足数据转移条件的情况下，将第一数据分片转移至目标数据库，并向查询节点发送所述第一数据分片的第一元数据信息；所述第一数据分片为实时计算节点基于目标计算任务计算得到的数据；将基于目标计算任务计算得到的新数据在实时计算节点进行存储，得到第二数据分片，并向所述查询节点发送所述第二数据分片的第二元数据信息；在查询节点获取到数据查询请求的情况下，查询节点根据所述数据查询请求、第一元数据信息和所述第二元数据信息，得到目标查询结果；其中，上述第一元数据信息包括所述第一数据分片的位置信息，所述第二元数据信息包括所述第二数据分片的位置信息。
[0006]第二方面，本申请实施例提供了一种数据存储装置，该装置包括：
[0007]处理模块和查询模块，其中：处理模块，用于在第一数据分片满足数据转移条件的情况下，将第一数据分片转移至目标数据库，并向查询节点发送第一数据分片的第一元数据信息；第一数据分片为实时计算节点基于目标计算任务计算得到的数据；处理模块，还用于将基于目标计算任务计算得到的新数据在实时计算节点进行存储，得到第二数据分片，并向所述查询节点发送所述第二数据分片的第二元数据信息；查询模块，用于在获取到数据查询请求的情况下，根据所述数据查询请求、所述第一元数据信息和所述第二元数据信息，得到目标查询结果；其中，第一元数据信息包括第一数据分片的位置信息，第二元数据信息包括第二数据分片的位置信息。
[0008]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0009]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程
序或指令，所述程序或指令被处理器执行时实现如第一方面或者实现如第三方面所述的方法的步骤。
[0010]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或者实现如第三方面所述的方法。
[0011]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面或者第三方面所述的方法。
[0012]在本申请实施例中，在第一数据分片满足数据转移条件的情况下，将第一数据分片转移至目标数据库，并向查询节点发送所述第一数据分片的第一元数据信息；所述第一数据分片为实时计算节点基于目标计算任务计算得到的数据；将基于目标计算任务计算得到的新数据在实时计算节点进行存储，得到第二数据分片，并向查询节点发送所述第二数据分片的第二元数据信息；在查询节点获取到数据查询请求的情况下，查询节点根据所述数据查询请求、第一元数据信息和所述第二元数据信息，得到目标查询结果；其中，上述第一元数据信息包括所述第一数据分片的位置信息，第二元数据信息包括所述第二数据分片的位置信息。通过该方法，数据处理装置可以将满足转移条件的第一数据分片转移至目标数据库，并基于计算任务得到的新数据生成第二数据分片，并将第一数据分片的第一元数据信息和第二数据分片的第二元数据信息发送给查询节点，使得用户能够通过查询节点基于数据分片的位置信息，查询到基于目标计算任务得到的已经转移的旧数据和未转移的新数据，从而保证查询到的结果数据的全面性，提高结果数据查询的时效性。
附图说明
[0013]图1为本申请实施例提供的计算任务的计算、数据存储以及数据查询流程示意图；
[0014]图2为本申请实施例提供的实时统计网址访问量的流程示意图；
[0015]图3为本申请实施例提供的数据处理方法的示意图；
[0016]图4为本申请实施例提供的数据处理方法的流程示意图；
[0017]图5为本申请实施例提供的数据处理方法的流程示意图；
[0018]图6为本申请实施例提供的数据处理装置的结构示意图；
[0019]图7为本申请实施例提供的电子设备的结构示意图；
[0020]图8为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0021]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0022]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符
“
/”，一般表示前后关联对象是一种“或”的关系。
[0023]以下对本申请实施例中涉及的专有名词进行解释说明：
[0024]实时计算节点：用来读取实时数据，并对数据进行加工处理的进程。
[0025]第三方存储：用于存储实时计算节点计算好的结果数据，如：关系型数据库管理系统MySQL、远程字典服务(Remote Dictionary Server，Redis)、分布式文件系统(Hadoop Distributed File System，Hdfs)等等。
[0026]数据转移：实时计算节点的结果数据存储到第三方存储系统的步骤。
[0027]查询节点：用于查询数据的进程，用户可以使用结构化查询语言(Structured Query Language，SQL)查询数据。
[0028]实时数据：历史数据为保存在实时计算节点上的结果数据。
[0029]历史数据：实时计算节点对数据进行加工处理过程中，结果数据累计到一定量之后，转移到第三方存储的数据。
[0030]需要说明的是，历史数据也本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：在第一数据分片满足数据转移条件的情况下，将所述第一数据分片转移至目标数据库，并向查询节点发送所述第一数据分片的第一元数据信息；所述第一数据分片为实时计算节点基于目标计算任务计算得到的数据；将基于所述目标计算任务计算得到的新数据在实时计算节点进行存储，得到第二数据分片，并向所述查询节点发送所述第二数据分片的第二元数据信息；在所述查询节点获取到数据查询请求的情况下，所述查询节点根据所述数据查询请求、所述第一元数据信息和所述第二元数据信息，得到目标查询结果；其中，所述第一元数据信息包括所述第一数据分片的位置信息，所述第二元数据信息包括所述第二数据分片的位置信息。2.根据权利要求1所述的方法，其特征在于，所述查询节点根据所述数据查询请求、所述第一元数据信息和所述第二元数据信息，得到目标查询结果，包括：所述查询节点根据所述第一元数据信息和所述第二元数据信息，生成目标数据表，所述目标数据表包括所述第一元数据信息、所述第二元数据信息和表结构信息，所述表结构信息是基于所述第一元数据信息、所述第二元数据信息计算得到的；所述查询节点根据所述数据查询请求和所述目标数据表进行查询，得到查询结果。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述第一元数据信息或所述第二元数据信息更新的情况下，查询节点基于更新后的所述第一元数据信息或所述第二元数据信息更新所述目标数据表。4.根据权利要求2所述的方法，其特征在于，所述查询节点根据所述数据查询请求和所述目标数据表进行查询，得到目标查询结果，包括：所述查询节点根据所述数据查询请求和所述目标数据表在所述目标数据库中进行查询，得到第一查询结果；所述查询节点根据所述数据查询请求和所述目标数据表在所述实时计算节点进行查询，得到第二查询结果；将所述第一查询查询结果和所述第二查询结果进行合并，得到所述目标查询结果。5.一种数据处理装置，其特征在于，所述装置包括：处理模块和查询模块，其中：所述处理模块，用于在第一数据分片满足数据转移条件的情况下，将所述第一数据分片转移至目标数...

【专利技术属性】
技术研发人员：郑小峰，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：