【技术实现步骤摘要】
数据处理方法、装置、计算机可读存储介质及处理器
本专利技术涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、计算机可读存储介质及处理器。
技术介绍
服务器从平台拉取数据时，由于数据量非常大，服务器通常需要先对拉取到的海量数据进行预处理，然后才能进行后续的数据处理步骤。然而，海量的数据中会存在大量的重复数据，对重复数据进行重复处理会极大地耗费服务器的算力，加重服务器的负担，同时使得服务器处理数据的效率低下，成本升高。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据处理方法、装置、计算机可读存储介质及处理器，以至少解决服务器处理从平台获取的大量重复数据时耗费算力的技术问题。根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：获取目标数据，其中，所述目标数据包括：目标标识数据和目标指标数据；在数据库中查找是否存在第一预存数据，其中，所述第一预存数据包括：第一标识数据和第一指标数据，所述第一标识数据与所述目标标识数据相同；在所述第一预存数据...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取目标数据，其中，所述目标数据包括：目标标识数据和目标指标数据；/n在数据库中查找是否存在第一预存数据，其中，所述第一预存数据包括：第一标识数据和第一指标数据，所述第一标识数据与所述目标标识数据相同；/n在所述第一预存数据存在的情况下，比较所述第一指标数据和所述目标指标数据是否相同；/n在所述第一指标数据和所述目标指标数据不同的情况下，根据所述目标数据，更新所述第一预存数据，得到第二预存数据，以及根据所述目标数据和当前时间，更新第一时间戳数据，得到第二时间戳数据，其中，所述第一时间戳数据包括所述第一预存数据的生成时间，所述第二时...
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取目标数据，其中，所述目标数据包括：目标标识数据和目标指标数据；
在数据库中查找是否存在第一预存数据，其中，所述第一预存数据包括：第一标识数据和第一指标数据，所述第一标识数据与所述目标标识数据相同；
在所述第一预存数据存在的情况下，比较所述第一指标数据和所述目标指标数据是否相同；
在所述第一指标数据和所述目标指标数据不同的情况下，根据所述目标数据，更新所述第一预存数据，得到第二预存数据，以及根据所述目标数据和当前时间，更新第一时间戳数据，得到第二时间戳数据，其中，所述第一时间戳数据包括所述第一预存数据的生成时间，所述第二时间戳数据包括所述当前时间；
将所述第二预存数据和所述第二时间戳数据发送给服务器。
2.根据权利要求1所述的方法，其特征在于，根据所述目标数据和当前时间，更新第一时间戳数据，得到第二时间戳数据，包括：
确定与所述第一预存数据对应的所述第一时间戳数据，其中，所述第一时间戳数据包括：第三标识数据和第一时间戳，所述第三标识数据与所述第一标识数据相同，所述第一时间戳存储所述第一预存数据的生成时间；
根据所述当前时间，生成当前时间戳；
使用所述当前时间戳替换所述第一时间戳，得到所述第二时间戳数据。
3.根据权利要求1所述的方法，其特征在于，还包括：
在所述数据库中不存在所述第一预存数据的情况下，在所述数据库中生成第三预存数据和第三时间戳数据，其中，所述第三预存数据和所述第三时间戳数据与所述目标数据对应，所述第三时间戳数据存储所述第三预存数据的生成时间；
将所述第三预存数据和所述第三时间戳数据发送给所述服务器。
4.根据权利要求1所述的方法，其特征在于，获取所述目标数据，包括：
根据预定时间间隔，定时向目标平台发送请求数据，其中，所述请求数据包括：请求的标识数据和请求的指标数据类型；
接收所述目标平台返回的所述目标数据，其中，所述目标数据的目标标识数据与所述请求的标识数据相同，所述目标指标数据的类型包括所述请求的指标数据类型。
5.根据权利要求4所述的方法，其特征在于，还包括：
根据所述当前时间和所述第一预存数据的生成时间，确定第一时...
【专利技术属性】
技术研发人员：张文洋，张国栋，
申请(专利权)人：北京深演智能科技股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。