数据处理方法及装置制造方法及图纸

本公开涉及一种数据处理方法及装置，所述方法包括：接收数据读取请求，所述数据读取请求用于请求从数据库的多张表中读取数据；获取所述多张表中每张表的投票信息，所述投票信息为表中保存的数据的最新时间戳；根据获取的所述投票信息，确定从所述多张表中读取的数据的时间戳；从所述多张表中读取所确定的时间戳对应的数据。由此，能够降低读操作的等待时间，并且能够确保读取的数据的完整性。

Data Processing Method and Device

The present disclosure relates to a data processing method and apparatus, which includes: receiving a data reading request for reading data from multiple tables in a database; obtaining voting information for each table in the multiple tables, the voting information being the latest timestamp of the data stored in the table; and determining a plurality of tables from the obtained voting information. The timestamp of the data read in the table; the data corresponding to the determined timestamp is read from the plurality of tables. Thus, the waiting time of the read operation can be reduced and the integrity of the read data can be ensured.

【技术实现步骤摘要】
数据处理方法及装置
本公开涉及数据处理
，尤其涉及一种数据处理方法及装置。
技术介绍
在分析数据时，通常需要对多数据源的同一批次的数据进行关联以得到完整的原始数据样本。然而，由于数据采集的时间和数据写入的时间不同，因此读取的数据的批次可能不一致或读取的数据不完整，从而难以保证多数据源的同一批次的数据的一致性和完整性，由此导致分析结果不准确。相关技术中，通过如下方式来保证多数据源的同一批次的数据的一致性：在执行写操作时，对数据库中的表上锁，其中在写操作期间禁止从上锁的表读取数据；在写操作完成后，释放锁并且从释放了锁的表读取数据。然而，当同时对数据库中的大量的表执行写操作时，占用了较大的资源并且延长了读操作的等待时间，从而降低了用户体验。另外，在读操作的等待时间过长的情况下，读线程被杀死而无法返回数据，或者为了避免读线程被杀死，而仅能够从释放了锁的表读取数据，从而导致读取的数据不完整。因此，上述保证多数据源的同一批次的数据的一致性的方式是不合适的。
技术实现思路
有鉴于此，本公开提出了一种数据处理方法及装置。根据本公开的一方面，提供了一种数据处理方法，所述方法包括：接收数据读取请求，所本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：接收数据读取请求，所述数据读取请求用于请求从数据库的多张表中读取数据；获取所述多张表中每张表的投票信息，所述投票信息为表中保存的数据的最新时间戳；根据获取的所述投票信息，确定从所述多张表中读取的数据的时间戳；从所述多张表中读取所确定的时间戳对应的数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：接收数据读取请求，所述数据读取请求用于请求从数据库的多张表中读取数据；获取所述多张表中每张表的投票信息，所述投票信息为表中保存的数据的最新时间戳；根据获取的所述投票信息，确定从所述多张表中读取的数据的时间戳；从所述多张表中读取所确定的时间戳对应的数据。2.根据权利要求1所述的方法，其特征在于，若获取的所述多张表的投票信息中包括第一时间戳和第二时间戳，所述第二时间戳晚于所述第一时间戳，则根据获取的所述投票信息，确定从所述多张表中读取的数据的时间戳，包括：统计投票信息为所述第二时间戳的表的数量；计算所述统计的数量与所述多张表的数量的比值；若所述比值小于或等于预设阈值，则确定从所述多张表中读取的数据的时间戳为所述第一时间戳。3.根据权利要求2所述的方法，其特征在于，还包括：若所述比值大于所述预设阈值并且所述比值小于1，则在预设时间内，针对投票信息为所述第一时间戳的目标表：获取所述目标表的投票信息；统计本次获取投票信息后，所述多张表中投票信息为所述第二时间戳的表的数量；计算所述多张表中投票信息为第二时间戳的表数量与所述多张表的数量的比值；若该比值等于1，则确定从所述多张表中读取的数据的时间戳为所述第二时间戳；否则返回执行获取所述目标表的投票信息。4.根据权利要求3所述的方法，其特征在于，还包括：若在所述预设时间内，最后一次统计的所述比值不等于1，则在所述预设时间到达时，确定从所述多张表中读取的数据的时间戳为所述第一时间戳。5.根据权利要求2所述的方法，其特征在于，若获取的所述多张表的投票信息均为所述第二时间戳，则确定从所述多张表中读取的数据的时间戳为所述第二时间戳。6.一种数据处理装置，其特征在于，...

【专利技术属性】
技术研发人员：郝向东，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南,41