数据处理方法技术

本申请实施例属于数据处理及数字医疗领域，涉及一种数据处理方法，包括：获取待处理数据，按照预设的拆分策略将所述待处理数据拆分为若干个子任务，并将各个所述子任务加入

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质


[0001]本申请涉及数据处理领域及数字医疗领域，应用于对保险业务中产生的大量医疗服务结算数据进行处理的场景中，尤其涉及一种数据处理方法
、
装置
、
计算机设备及存储介质
。

技术介绍

[0002]随着数字医疗的快速发展，保险行业对于医疗服务结算数据的信息管理也提出了更高的要求
。
各个企业不仅希望实现医疗服务结算业务的流程自动化，还希望可以更好地对医疗服务的结算数据进行汇总和分析，从而对数据资源进行有效利用
。
[0003]然而，对于保险行业而言，医疗服务方面每天都会产生大量的业务数据和结算数据，并且由于业务数据和结算数据要求的保存时间长，这些数据会不断地积累
。
在这种情况下，就需要对长时间积累的海量数据进行汇总和分析，以去除各种各样的脏数据
。
[0004]目前，常用的解决方式是将数据分组后，通过多线程通道实现多线程并行处理
。
但在该过程中，由于数据量过大
、
数据不完整以及数据不一致等因素，不仅容易给系统造成较大的压力，还会导致系统无法快速响应，从而影响数据处理的效率
。

技术实现思路

[0005]本申请实施例的目的在于提出一种数据处理方法
、
装置
、
计算机设备及存储介质，以解决通过多线程处理医疗服务所产生的大量数据时系统快速响应能力不足的技术问题
。
[0006]为了解决上述技术问题，本申请实施例提供一种数据处理方法，采用了如下所述的技术方案：
[0007]获取待处理数据，按照预设的拆分策略将所述待处理数据拆分为若干个子任务，并将各个所述子任务加入
RocketMQ
队列；
[0008]采用异步线程，从所述
RocketMQ
队列中获取待执行子任务，并通过原始数据库对所述待执行子任务进行结果查询，得到结果集；
[0009]根据预设协议对所述结果集进行序列化，得到序列化数据并存储；
[0010]根据预配置的匹配库对已存储的序列化数据进行聚类，得到聚类数据；
[0011]对所述聚类数据进行数据标准化
、
数据联合以及数据清洗后，得到目标数据
。
[0012]进一步的，所述根据预设协议对所述结果集进行序列化，得到序列化数据并存储的步骤，具体包括：
[0013]根据所述预设协议，将所述结果集转化为可传输的字节序列，作为所述序列化数据；
[0014]将所述序列化数据存储至结果数据库
。
[0015]进一步的，所述根据预配置的匹配库对已存储的序列化数据进行聚类，得到聚类数据的步骤，具体包括：
[0016]采用异步线程，从所述结果数据库中读取所述序列化数据；
[0017]根据所述匹配库确定所述序列化数据的关联数据，并将所述序列化数据与所述关联数据结合，得到所述聚类数据
。
[0018]进一步的，所述根据所述匹配库确定所述序列化数据的关联数据，并将所述序列化数据与所述关联数据结合，得到所述聚类数据的步骤，具体包括：
[0019]将所述序列化数据与所述匹配库中的各个预设配置信息进行对比，确定与所述序列化数据匹配的目标配置信息，作为所述关联数据；
[0020]从所述匹配库中提取所述关联数据，并将所述关联数据写入所述序列化数据，得到所述聚类数据
。
[0021]进一步的，所述获取待处理数据，按照预设的拆分策略将所述待处理数据拆分为若干个子任务，并将各个所述子任务加入
RocketMQ
队列的步骤，具体包括：
[0022]获取批处理任务池中当前批次的待处理数据；
[0023]根据不同的任务维度将所述待处理数据划分为不同的主任务，并对各个所述主任务进行拆分，得到各个所述子任务；
[0024]将各个所述子任务加入所述
RocketMQ
队列，并根据各个所述主任务和各个所述子任务构建所述当前批次对应的任务关系表
。
[0025]进一步的，在所述对所述聚类数据进行数据标准化
、
数据联合以及数据清洗后，得到目标数据的步骤之后，还包括：
[0026]获取所述目标数据对应的批次信息，根据所述批次信息确定目标任务关系表；
[0027]对所述目标数据进行反序列化，得到所述目标数据对应的明细数据；
[0028]针对所述明细数据执行预设的处理流程，得到处理结果，并将所述处理结果写入所述目标任务关系表
。
[0029]进一步的，在所述获取待处理数据，按照预设的拆分策略将所述待处理数据拆分为若干个子任务，并将各个所述子任务加入
RocketMQ
队列的步骤之前，还包括：
[0030]定时从多个数据源采集原始数据；
[0031]将所述原始数据加入批处理任务池，并作为所述待处理数据
。
[0032]为了解决上述技术问题，本申请实施例还提供一种数据处理装置，采用了如下所述的技术方案：
[0033]一种数据处理装置，包括：
[0034]获取模块，用于获取待处理数据，按照预设的拆分策略将所述待处理数据拆分为若干个子任务，并将各个所述子任务加入
RocketMQ
队列；
[0035]查询模块，用于采用异步线程，从所述
RocketMQ
队列中获取待执行子任务，并通过原始数据库对所述待执行子任务进行结果查询，得到结果集；
[0036]序列化模块，用于根据预设协议对所述结果集进行序列化，得到序列化数据并存储；
[0037]聚类模块，用于根据预配置的匹配库对已存储的序列化数据进行聚类，得到聚类数据；
[0038]处理模块，用于对所述聚类数据进行数据标准化
、
数据联合以及数据清洗后，得到目标数据
。
[0039]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述
的技术方案：
[0040]一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的数据处理方法的步骤
。
[0041]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0042]一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的数据处理方法的步骤
。
[0043]与现有技术相比，本申请实施例主要有以下有益效果：
[0044]本申请公开的数据处理方法，通过获取待处理数据，按照预设的拆分策略将所述待处理数据拆分为若干个子任务，并将各个所述子任务加入
Rock本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括下述步骤：获取待处理数据，按照预设的拆分策略将所述待处理数据拆分为若干个子任务，并将各个所述子任务加入
RocketMQ
队列；采用异步线程，从所述
RocketMQ
队列中获取待执行子任务，并通过原始数据库对所述待执行子任务进行结果查询，得到结果集；根据预设协议对所述结果集进行序列化，得到序列化数据并存储；根据预配置的匹配库对已存储的序列化数据进行聚类，得到聚类数据；对所述聚类数据进行数据标准化
、
数据联合以及数据清洗后，得到目标数据
。2.
根据权利要求1所述的数据处理方法，其特征在于，所述根据预设协议对所述结果集进行序列化，得到序列化数据并存储的步骤，具体包括：根据所述预设协议，将所述结果集转化为可传输的字节序列，作为所述序列化数据；将所述序列化数据存储至结果数据库
。3.
根据权利要求2所述的数据处理方法，其特征在于，所述根据预配置的匹配库对已存储的序列化数据进行聚类，得到聚类数据的步骤，具体包括：采用异步线程，从所述结果数据库中读取所述序列化数据；根据所述匹配库确定所述序列化数据的关联数据，并将所述序列化数据与所述关联数据结合，得到所述聚类数据
。4.
根据权利要求3所述的数据处理方法，其特征在于，所述根据所述匹配库确定所述序列化数据的关联数据，并将所述序列化数据与所述关联数据结合，得到所述聚类数据的步骤，具体包括：将所述序列化数据与所述匹配库中的各个预设配置信息进行对比，确定与所述序列化数据匹配的目标配置信息，作为所述关联数据；从所述匹配库中提取所述关联数据，并将所述关联数据写入所述序列化数据，得到所述聚类数据
。5.
根据权利要求1所述的数据处理方法，其特征在于，所述获取待处理数据，按照预设的拆分策略将所述待处理数据拆分为若干个子任务，并将各个所述子任务加入
RocketMQ
队列的步骤，具体包括：获取批处理任务池中当前批次的待处理数据；根据不同的任务维度将所述待处理数据划分为不同的主任务，并对各个所述主任务进行拆分，得到各个所述子任务；将各个所述子任务加入所述

【专利技术属性】
技术研发人员：唐浩，
申请(专利权)人：平安健康保险股份有限公司，
类型：发明
国别省市：