一种基于多线程的分布式数据处理方法及服务器技术

本发明专利技术适用于计算机技术领域，提供了一种基于多线程的分布式数据处理方法及服务器，包括：获取信息库所存储的增量数据，并确定与增量数据的数据类型匹配的工作线程；若匹配的工作线程的数目为至少两个，则根据预设的线程令牌表确定匹配的工作线程的执行顺序；根据匹配的工作线程各自的执行顺序控制目标分布式设备启动目标工作线程，以通过目标工作线程对增量数据进行处理；接收目标分布式设备返回的用于标识目标工作线程执行完成的确认信息；确认信息用于重新确定目标工作线程以及启动所述重新确定的目标工作线程。本发明专利技术实施例能够避免工作线程抢占资源，节省系统资源，也避免了同一线程重复执行扰乱制证操作流程的情况发生，能够提高制证效率。

【技术实现步骤摘要】
一种基于多线程的分布式数据处理方法及服务器
本专利技术属于计算机
，尤其涉及一种基于多线程的分布式数据处理方法及服务器。
技术介绍
传统的制证方法是通过人工手动采集业务数据，再对该业务数据进行格式审核和添加必要的制证信息(如制证日期等)，最终将经过格式审核的业务数据和添加的制证信息一起存储到制证表中，从而完成制证。在整个制证过程中，业务数据涉及调取数据、核算以及制证等多个阶段的操作流程，而每一阶段的流程分别由相应的工作线程来进行处理。然而，现有技术中，当业务数据出现错误时，工作线程的整个处理流程也会受到影响，可能会出现同一业务数据被多个工作线程同时存取的情况，因增加数据处理压力而造成系统资源浪费，可能导致同一线程重复执行扰乱制证操作流程，同时也降低了制证效率。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于多线程的分布式数据处理方法及服务器，以解决现有技术中，当业务数据出现错误时，可能会出现同一业务数据被多个工作线程同时存取的情况，从而导致同一线程重复执行扰乱制证操作流程，也降低了制证效率的问题。本专利技术实施例的第一方面提供了一种基于多线程的分布式数据处理方法，包括：获取本文档来自技高网...

【技术保护点】
1.一种基于多线程的分布式数据处理方法，其特征在于，包括：获取信息库所存储的增量数据，并确定与所述增量数据的数据类型匹配的工作线程；若所述匹配的工作线程的数目为至少两个，则根据预设的线程令牌表确定所述匹配的工作线程的执行顺序；根据所述匹配的工作线程各自的执行顺序控制目标分布式设备启动目标工作线程，以通过所述目标工作线程对所述增量数据进行处理；其中，分布式设备用于为工作线程提供运行环境，所述目标工作线程为当前需要启动的工作线程，所述目标分布式设备为用于执行所述目标工作线程的分布式设备，任意时刻只有一个工作线程处于启动状态；接收所述目标分布式设备返回的用于标识所述目标工作线程执行完成的确认信息；所...

【技术特征摘要】
1.一种基于多线程的分布式数据处理方法，其特征在于，包括：获取信息库所存储的增量数据，并确定与所述增量数据的数据类型匹配的工作线程；若所述匹配的工作线程的数目为至少两个，则根据预设的线程令牌表确定所述匹配的工作线程的执行顺序；根据所述匹配的工作线程各自的执行顺序控制目标分布式设备启动目标工作线程，以通过所述目标工作线程对所述增量数据进行处理；其中，分布式设备用于为工作线程提供运行环境，所述目标工作线程为当前需要启动的工作线程，所述目标分布式设备为用于执行所述目标工作线程的分布式设备，任意时刻只有一个工作线程处于启动状态；接收所述目标分布式设备返回的用于标识所述目标工作线程执行完成的确认信息；所述确认信息用于重新确定目标工作线程以及启动所述重新确定的目标工作线程。2.根据权利要求1所述的基于多线程的分布式数据处理方法，其特征在于，所述根据所述匹配的工作线程各自的执行顺序控制目标分布式设备启动目标工作线程，以通过所述目标工作线程对所述增量数据进行处理之后，还包括：获取所述目标工作线程对应的预设执行时长；若在所述预设执行时长对应的结束时刻未接收到所述目标分布式设备返回的用于标识所述目标工作线程执行完成的确认信息，则向所述目标分布式设备发送超时告警信息；所述超时告警提示信息用于通知所述目标分布式设备提示用户是否终止所述目标工作线程。3.根据权利要求1所述的基于多线程的分布式数据处理方法，其特征在于，所述获取信息库所存储的增量数据，并确定与所述增量数据的数据类型匹配的工作线程之前，还包括：按预设时间间隔统计每种数据类型的数据的读取次数以及读取信息量；基于每种所述数据类型的数据的读取次数以及读取信息量，确定每种所述数据类型的数据的活跃度；将每种所述数据类型的数据缓存至与所述数据类型的数据的活跃度匹配的缓存区域；所述获取信息库所存储的增量数据，并确定与所述增量数据的数据类型匹配的工作线程，包括：获取所述缓存区域中的增量数据，并确定与所述增量数据的数据类型匹配的工作线程。4.根据权利要求3所述的基于多线程的分布式数据处理方法，其特征在于，所述基于每种所述数据类型的数据的读取次数以及读取信息量，计算每种所述数据类型的数据的活跃度，包括：基于每种所述数据类型的数据的读取次数以及读取信息量，通过活跃度计算公式计算每种所述数据类型的数据的活跃度；其中，所述活跃度计算公式为：所述Acti表示一种数据类型的数据的活跃度，所述RdWdm表示第m次所读取的该种数据类型的数据的读取信息量；所述RdWtm表示该种数据类型的数据在第m次被读取时，其读取信息量所对应的权重比值系数；所述RdTime表示预设时间间隔内种数据类型的数据的读取次数；所述RdWtTime表示与所述读取次数所属区间对应的预设系数。5.根据权利要求1至4任一项所述的基于多线程的分布式数据处理方法，其特征在于，所述根据所述匹配的工作线程各自的执行顺序控制目标分布式设备启动目标工作线程，以通过所述目标工作线程对所述增量数据进行处理之后，还包括：获取所述分布式设备发送的异常告警日志；根据所述异常告警日志统计每个统计周期的告警概率；根...

【专利技术属性】
技术研发人员：任练，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44