数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及存储介质，该方法包括：控制目标驻守线程从分片控制表中获取待处理的目标数据分片的分片编号，控制目标驻守线程根据目标数据分片的分片编号，从快速访问表中获取对应的分片编号与目标数据分片的分片编号相同的多个目标数据，其中，目标数据分片包括多个目标数据，多个目标数据为数据库中相同热点字段对应的数据，控制目标驻守线程依次处理多个目标数据。其具有以下技术效果：目标驻守线程以顺序执行的方式依次处理多个目标数据，数据处理过程复杂度低、性能损坏程度低，同时，可以实现热点字段按照预期被更新。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
本专利技术实施例涉及通信
，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
在对数据库进行操作的过程中，某些字段中的数据需要被并发频繁更新，可以将这些字段称为热点字段。如果在同一时间，接收到的多个数据均是对某一热点字段进行更新时，如何实现对热点字段的更新非常重要。目前，在同一时间，接收到同一热点字段对应的多个数据时，会根据这些数据，并行对热点字段进行更新。但是，上述更新过程，一方面，可能导致更新过程复杂度较高、性能损耗较高，另一方面，并行更新可能导致热点字段无法按照预期被更新。
技术实现思路
本专利技术提供一种数据处理方法、装置、设备及存储介质，以解决目前更新热点字段时，复杂度较高、性能损耗较高以及无法按照预期更新的技术问题。第一方面，本专利技术实施例提供一种数据处理方法，包括：控制目标驻守线程从分片控制表中获取待处理的目标数据分片的分片编号；控制所述目标驻守线程根据所述目标数据分片的分片编号，从快速访问表中获取对应的分片编号与所述目标数据分片的分片编号相同的多个目标数据；其中，所述目标数据分片包括所述多个目标数据，所述多个目标数据为数据库中相同热点字段对应的数据；控制所述目标驻守线程依次处理多个所述目标数据。第二方面，本专利技术实施例提供一种数据处理装置，包括：第一获取模块，用于控制目标驻守线程从分片控制表中获取待处理的目标数据分片的分片编号；第二获取模块，用于控制所述目标驻守线程根据所述目标数据分片的分片编号，从快速访问表中获取对应的分片编号与所述目标数据分片的分片编号相同的多个目标数据；其中，所述目标数据分片包括所述多个目标数据，所述多个目标数据为数据库中相同热点字段对应的数据；处理模块，用于控制所述目标驻守线程依次处理多个所述目标数据。第三方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的数据处理方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的数据处理方法。本实施例提供一种数据处理方法、装置、设备及存储介质，该方法包括：控制目标驻守线程从分片控制表中获取待处理的目标数据分片的分片编号，控制目标驻守线程根据目标数据分片的分片编号，从快速访问表中获取对应的分片编号与目标数据分片的分片编号相同的多个目标数据，其中，目标数据分片包括多个目标数据，多个目标数据为数据库中相同热点字段对应的数据，控制目标驻守线程依次处理多个目标数据。其具有以下技术效果：目标驻守线程以顺序执行的方式依次处理多个目标数据，相较于目前以并行方式处理同一热点字段对应的多个数据而导致更新过程复杂度较高、性能损耗较高，以及，导致热点字段无法按照预期被更新的情况，本实施例提供的数据处理方法避免以并行方式处理多个目标数据，数据处理过程复杂度低、性能损坏程度低，同时，可以实现热点字段按照预期被更新。附图说明图1为本专利技术一个实施例提供的数据处理方法的流程示意图；图2为本专利技术实施例中表之间交互的示意图；图3为本专利技术一个实施例提供的数据处理装置的结构示意图；图4为本专利技术一个实施例提供的计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。图1为本专利技术一个实施例提供的数据处理方法的流程示意图。本实施例适用于对数据库中的热点字段进行更新的场景中。本实施例可以由数据处理装置来执行，该数据处理装置可以由软件和/或硬件的方式实现，该数据处理装置可以集成于计算机设备中。如图1所示，本实施例提供的数据处理方法包括如下步骤：步骤101：控制目标驻守线程从分片控制表中获取待处理的目标数据分片的分片编号。具体地，本实施例中设置有多个驻守线程，驻守线程的数量可以在yml配置文件中指定。本实施例中的分片控制表中存储有各个数据分片的分片编号，以区分不同的数据分片。也即，分片控制表的主键为分片编号。本实施例中的数据分片指的是用来更新数据库中的相同热点字段的数据的集合。本实施例中的热点字段可以是根据业务场景和实际需求预先定义的字段。热点字段可以为一个或者多个字段，例如，“状态”、“进度”、“作业的时间戳”、“错误码”以及“错误描述”等字段。多个驻守线程通过竞争的方式从分片控制表中获取待处理的目标数据分片的分片编号。本实施例中，为了描述方便，将当前竞争到数据分片的驻守线程称为目标驻守线程，将当前被竞争到的数据分片称为目标数据分片。本实施例中的目标数据分片包括多个目标数据。也即，本实施例中的目标数据分片实质为多个目标数据的集合。这多个目标数据为数据库中相同热点字段对应的数据，即，这多个目标数据为用来更新数据库中相同热点字段的数据。以下对目标驻守线程如何获取目标数据分片的分片编号的实现过程进行详细说明。一种实现方式中，分片控制表中还包括锁标志。其中，一个分片编号对应一个锁标志。锁标志用来标识该数据分片当前是否被处理。当锁标志为锁定状态时，表示该数据分片当前在被处理；当锁标志为释放状态时，表示该数据分片当前未被处理。在该实现方式中，控制目标驻守线程从分片控制表中获取第一数据分片的锁标志；若第一数据分片的锁标志为释放状态，则控制目标驻守线程将第一数据分片确定为目标数据分片，将第一数据分片的分片编号确定为目标数据分片的分片编号。本实施例中的第一数据分片可以是指分片控制表中的任一个数据分片。上述过程中，控制目标驻守线程从分片控制表中获取任一个数据分片(为描述方便，称为第一数据分片)的锁标志，如果该锁标志为释放状态，说明该第一数据分片当前未被处理。则控制驻守线程将该第一数据分片作为目标数据分片，将该第一数据分片的分片编码作为目标数据分片的分片编码。更进一步地，基于上述实现方式，分片控制表还包括：令牌及执行开始时间。一个分片编号对应一个锁标志、一个令牌以及一个执行开始时间。在控制目标驻守线程依次处理目标数据之后，控制目标驻守线程将分片控制表中目标数据分片的锁标志修改为锁定状态，以表示该目标数据分片目前正在被处理；控制目标驻守线程将分片控制表中目标数据分片的令牌更新为目标驻守线程的令牌，以表示该目标数据分片目前正在被该目标驻守线程处理；在目标驻守线程开始依次处理目标数据后，控制目标驻守更新分片控制表中目标数据分片的执行开始时间，以表示从何时开始该目标数据分片被处理。上述修改锁标志、更新令牌以及更新执行开始时间的步骤之间没有时序关系。在另一种实现方式中，在获取目标数据分片的分片编号的过程中，若第一数本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n控制目标驻守线程从分片控制表中获取待处理的目标数据分片的分片编号；/n控制所述目标驻守线程根据所述目标数据分片的分片编号，从快速访问表中获取对应的分片编号与所述目标数据分片的分片编号相同的多个目标数据；其中，所述目标数据分片包括所述多个目标数据，所述多个目标数据为数据库中相同热点字段对应的数据；/n控制所述目标驻守线程依次处理多个所述目标数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
控制目标驻守线程从分片控制表中获取待处理的目标数据分片的分片编号；
控制所述目标驻守线程根据所述目标数据分片的分片编号，从快速访问表中获取对应的分片编号与所述目标数据分片的分片编号相同的多个目标数据；其中，所述目标数据分片包括所述多个目标数据，所述多个目标数据为数据库中相同热点字段对应的数据；
控制所述目标驻守线程依次处理多个所述目标数据。


2.根据权利要求1所述的方法，其特征在于，所述分片控制表还包括：锁标志；
所述控制目标驻守线程从分片控制表中获取待处理的目标数据分片的分片编号，包括：
控制所述目标驻守线程从所述分片控制表中获取第一数据分片的锁标志；
若所述第一数据分片的锁标志为释放状态，则控制所述目标驻守线程将所述第一数据分片确定为所述目标数据分片，将所述第一数据分片的分片编号确定为所述目标数据分片的分片编号。


3.根据权利要求2所述的方法，其特征在于，所述分片控制表还包括：令牌及执行开始时间；
所述控制所述目标驻守线程依次处理所述目标数据之后，所述方法还包括：
控制所述目标驻守线程将所述分片控制表中所述目标数据分片的锁标志修改为锁定状态；
控制所述目标驻守线程将所述分片控制表中所述目标数据分片的令牌更新为所述目标驻守线程的令牌；
在所述目标驻守线程开始依次处理所述目标数据后，控制所述目标驻守更新所述分片控制表中所述目标数据分片的执行开始时间。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述第一数据分片的锁标志为锁定状态，则确定所述第一数据分片的执行开始时间与当前时间的差值的绝对值是否大于预设时间阈值；
若确定所述第一数据分片的执行开始时间与当前时间的差值的绝对值大于所述预设时间阈值，则将所述第一数据分片确定为所述目标数据分片，将所述第一数据分片的分片编号确定为所述目标数据分片的分片编号；
控制所述目标驻守线程将所述分片控制表中所述目标数据分片的令牌更新为所述目标驻守线程的令牌；
在所述目标驻守线程开始依次处理所述目标数据后，控制所述目标驻守更新所述分片控制表中所述目标数据分片的执行开始时间；
控制所述目标驻守线程在依次处理所述目标数据的过程中，判断所述目标数据分片的令牌...

【专利技术属性】
技术研发人员：邱城晓，熊涛，
申请(专利权)人：中国建设银行股份有限公司，建信金融科技有限责任公司，
类型：发明
国别省市：北京;11