数据处理方法及装置、电子设备、存储介质、程序产品制造方法及图纸

本申请的实施例揭示了一种数据处理方法及装置、电子设备、存储介质、程序产品，该方法包括：获取来自于客户端的实时数据，若实时数据的获取时间晚于所存储数据包的更新时间，则将实时数据存储至增量包中，并从数据包和增量包中读取数据，并对读取到的数据进行处理；其中，数据包是从数据服务器获取得到的，数据服务器用于将客户端发送的数据自适应存储至数据包中，数据包的更新时间是指数据服务器更新数据包的时间。本申请实施例的技术方案能够提升数据的实时性，并且，进行数据包的回滚时，来自客户端的实时数据也不会丢失，提升可靠性。提升可靠性。提升可靠性。

【技术实现步骤摘要】
数据处理方法及装置、电子设备、存储介质、程序产品


[0001]本申请涉及计算机
，具体而言，涉及一种数据处理方法及装置、电子设备、计算机可读存储介质、计算机程序产品。

技术介绍

[0002]客户端在运行过程中会产生数据，服务端会获取客户端产生的数据并进行存储。目前，数据存储的实时性较低，导致无法从服务端存储的数据中及时获取到客户端产生的实时数据。

技术实现思路

[0003]为解决上述技术问题，本申请的实施例提供了一种数据处理方法及装置、电子设备、计算机可读存储介质、计算机程序产品。
[0004]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0005]根据本申请实施例的一个方面，提供了一种数据处理方法，包括：
[0006]获取来自于客户端的实时数据；
[0007]若所述实时数据的获取时间晚于所存储数据包的更新时间，则将所述实时数据存储至增量包中，其中，所述数据包是从数据服务器获取得到的，所述数据服务器用于将客户端发送的数据自适应存储至所述数据包中，所述数据包的更新时间是指所述数据服务器更新所述数据包的时间；
[0008]从所述数据包和所述增量包中读取数据，并对读取到的数据进行处理。
[0009]根据本申请实施例的一个方面，提供了一种数据处理装置，所述装置包括：
[0010]获取模块，配置为获取来自于客户端的实时数据；
[0011]存储模块，配置为若所述实时数据的获取时间晚于所存储数据包的更新时间，则将所述实时数据存储至增量包中，其中，所述数据包是从数据服务器获取得到的，所述数据服务器用于将客户端发送的数据自适应存储至所述数据包中，所述数据包的更新时间是指所述数据服务器更新所述数据包的时间；
[0012]处理模块，配置为从所述数据包和所述增量包中读取数据，并对读取到的数据进行处理。
[0013]根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的数据处理方法。
[0014]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的数据处理方法。
[0015]根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计
算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的数据处理方法。
[0016]在本申请的实施例所提供的技术方案中，获取来自于客户端的实时数据，若实时数据的获取时间晚于所存储数据包的更新时间，则将实时数据存储至增量包中，并从数据包和增量包中读取数据，并对读取到的数据进行处理；其中，数据包是从数据服务器获取得到的，数据服务器用于将客户端发送的数据自适应存储至数据包中，数据包的更新时间是指数据服务器更新数据包的时间；一方面，客户端产生的实时数据可以及时存储并进行处理，提升了数据的实时性；另一方面，将客户端产生的实时数据存储至增量包中，这样，即使进行数据包的回滚，客户端产生的实时数据也不会丢失，提升可靠性。
[0017]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0019]图1是本申请涉及的一种实施环境的示意图。
[0020]图2是本申请的一示例性实施例示出的一种数据处理方法的流程图。
[0021]图3是图2所示实施例中的步骤S120在一示例性实施例中的流程图。
[0022]图4是图2所示实施例中的步骤S130在一示例性实施例中的流程图。
[0023]图5是图4所示实施例中的步骤S132在一示例性实施例中的流程图。
[0024]图6是图4所示实施例中的步骤S132在一示例性实施例中的流程图。
[0025]图7是图6所示实施例中的步骤S320在一示例性实施例中的流程图。
[0026]图8是本申请的一示例性实施例示出的数据存储的框图。
[0027]图9是本申请的一示例性实施例示出的索引信息读取的流程图。
[0028]图10是本申请的一示例性实施例示出的数据读取的流程图。
[0029]图11是本申请的一示例性实施例示出的数据处理装置的框图。
[0030]图12是本申请的一示例性实施例示出的电子设备的结构示意图。
具体实施方式
[0031]这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0032]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0033]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0034]还需要说明的是：在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0035]相关技术中，服务端会获取客户端产生的数据并将获取到的数据进行存储，但是，服务端通常是将获取到的数据周期性存储至数据包，或者根据自身处理能力动态调整存储数据的时间，从而导致数据的实时性差，无法及时获取到客户端产生的实时数据。基于此，本申请实施例提出了及一种数据处理方法及装置、电子设备、计算机可读存储介质、计算机程序产品，可以在一定程度上提升数据存储的实时性。
[0036]请参阅图1，图1是本申请涉及的一种实施环境的示意图。该实施环境包括客户端100、数据服务器200和数据处理装置300，客户端100、数据服务器200和数据处理装置300之间通过有线或者无线网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取来自于客户端的实时数据；若所述实时数据的获取时间晚于所存储数据包的更新时间，则将所述实时数据存储至增量包中，其中，所述数据包是从数据服务器获取得到的，所述数据服务器用于将客户端发送的数据自适应存储至所述数据包中，所述数据包的更新时间是指所述数据服务器更新所述数据包的时间；从所述数据包和所述增量包中读取数据，并对读取到的数据进行处理。2.如权利要求1所述的方法，其特征在于，所述数据包包括多种类型的数据包，不同类型的数据包设置有对应的增量包；所述若所述实时数据的获取时间晚于所存储数据包的更新时间，则将所述实时数据存储至增量包中，包括：从所述多种类型的数据包中确定标签与所述实时数据中含有的标签相匹配的数据包；若所述实时数据的获取时间晚于确定出的数据包的更新时间，则将所述实时数据存储至确定出的数据包所对应的增量包中。3.如权利要求1所述的方法，其特征在于，所述数据包和所述增量包分别包含多个数据分片；所述从所述数据包和所述增量包中读取数据，包括：获取所述数据包和所述增量包各自包含的数据分片的索引信息；基于获取到的索引信息从对应数据分片中读取数据。4.如权利要求3所述的方法，其特征在于，所述基于获取到的索引信息从对应数据分片中读取数据，包括：基于获取到的索引信息生成每一数据分片对应的读取请求；根据所述读取请求中含有的索引信息读取对应数据分片中含有的数据。5.如权利要求3所述的方法，其特征在于，所述基于获取到的索引信息从对应数据分片中读取数据，包括：根据获取到的索引信息从所述数据包所含有的数据分片中读取数据；在所述数据包所含有的数据分片中的数据读取完毕后，根据获取到的索引信息从所述增量包所含有的数据分片中读取数据。6.如权利要求5所述的方法，其特征在于，所述根据获取到的索引信息从所述增量包所含有的数据分片中读取...

【专利技术属性】
技术研发人员：王晗，王玉叶，王进，岳宏伟，马彦梅，孙超，汤佳，郭俊峰，张晨光，赵文亮，叶伟毅，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：