一种数据处理方法、装置及电子设备制造方法及图纸

本说明书实施例提供了一种数据处理方法、装置及电子设备，其中，该方法包括：获取待处理的目标贷后数据，并根据目标贷后数据和目标贷后数据对应的预定业务规则，利用Hadoop大数据平台中的Impala内存处理机制对目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，其中，业务类别是基于目标贷后数据对应的贷款期限的相关信息确定，然后，输出不同业务类别的目标贷后数据的处理结果。这样，利用Hadoop大数据平台中的Impala内存处理机制，能够对PB级数据进行快速查询、分析，有效提升了数据处理效率，较之前处理效率提升60％以上。进而对保险机构贷后逾期催收和贷款到期提醒等业务的开展提供了有力的保障。

A data processing method, device and electronic equipment

【技术实现步骤摘要】
一种数据处理方法、装置及电子设备
本专利技术涉及大数据处理
，尤其涉及一种数据处理方法、装置及电子设备。
技术介绍
近年来，大数据处理与分析已经成为全球性问题，随着我国经济社会信息化和自动化水平的不断提高，在政府、公共服务、科学研究和商业应用等许多领域也面临大数据问题。目前，随着保险业贷款保证保险战略性业务的快速发展，保险公司保证保险业务处理系统对接银行数量的持续增多，业务量的成倍增长以及数据量急剧增大，导致各项系统流程执行时间长，报表查询缓慢，通过采用原有SQL语句、存储过程实现批处理任务的方式已经无法保证数据的生成时效，从而严重影响了保险机构对贷后逾期催收和贷款到期提醒等业务的开展工作。
技术实现思路
本专利技术实施例的目的是提供一种数据处理方法、装置及电子设备，以解决现有技术中面对数据量急剧增大，采用原有SQL语句、存储过程实现批处理任务的方式无法保证数据的生成时效，从而严重影响了保险机构对贷后逾期催收和贷款到期提醒等业务的开展问题。为了解决上述技术问题，本专利技术实施例是这样实现的：第一方面，本专利技术实施例提供了一种数据处理方法，包括：获取待处理的目标贷后数据；根据所述目标贷后数据和所述目标贷后数据对应的预定业务规则，利用Hadoop大数据平台中的Impala内存处理机制对所述目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，所述业务类别是基于所述目标贷后数据对应的贷款期限的相关信息确定；输出所述不同业务类别的目标贷后数据的处理结果。可选地，所述业务类别包括：逾期催收、到期提醒、理赔处理和贷后状态处理中的一个或多个。可选地，所述输出所述不同业务类别的目标贷后数据的处理结果，包括：将所述不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，和/或，将所述不同业务类别的目标贷后数据的处理结果写入预定的展示页面。可选地，所述方法还包括：根据所述目标贷后数据的处理结果所对应的业务类别，将相应的所述目标贷后数据的处理结果推送给预定的处理系统，所述预定的处理系统包括理赔系统、承保系统、还贷提醒系统、征信系统、贷款催收系统中的一个或多个。可选地，所述将所述不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，包括：通过Java数据库连接JDBC回写机制，将所述不同业务类别的目标贷后数据的处理结果写入至预定的Informix数据库。可选地，在所述获取待处理的目标贷后数据之后，还包括：调用预定的Shell脚本将获取到的目标贷后数据存储到Hadoop大数据平台上的基于Kudu的分布式列存储系统中。可选地，在所述获取待处理的目标贷后数据之前，还包括：获取源贷后数据；对获取到的所述源贷后数据进行处理，得到预定的数据格式的不同业务类别的所述目标贷后数据。第二方面，本专利技术实施例提供了一种数据处理装置，包括：目标数据获取模块，用于获取待处理的目标贷后数据；处理结果生成模块，用于根据所述目标贷后数据和所述目标贷后数据对应的预定业务规则，利用Hadoop大数据平台中的Impala内存处理机制对所述目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，所述业务类别是基于所述目标贷后数据对应的贷款期限的相关信息确定；处理结果输出模块，用于输出所述不同业务类别的目标贷后数据的处理结果。可选地，所述业务类别包括：逾期催收、到期提醒、理赔处理和贷后状态处理中的一个或多个。可选地，所述处理结果输出模块，用于：将所述不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，和/或，将所述不同业务类别的目标贷后数据的处理结果写入预定的展示页面。可选地，所述装置还包括处理结果推送模块，用于：根据所述目标贷后数据的处理结果所对应的业务类别，将相应的所述目标贷后数据的处理结果推送给预定的处理系统，所述预定的处理系统包括理赔系统、承保系统、还贷提醒系统、征信系统、贷款催收系统中的一个或多个。可选地，所述处理结果输出模块，用于：通过Java数据库连接JDBC回写机制，将所述不同业务类别的目标贷后数据的处理结果写入至预定的Informix数据库。可选地，所述装置还包括：目标数据存储模块，用于：调用预定的Shell脚本将获取到的目标贷后数据存储到Hadoop大数据平台上的基于Kudu的分布式列存储系统中。可选地，所述装置还包括目标数据生成模块，用于：获取源贷后数据；对获取到的所述源贷后数据进行处理，得到预定的数据格式的不同业务类别的所述目标贷后数据。第三方面，本专利技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的数据处理方法步骤。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的数据处理方法步骤。本说明书实施例提供了一种数据处理方法、装置及电子设备，该方法包括：获取待处理的目标贷后数据，并根据目标贷后数据和目标贷后数据对应的预定业务规则，利用Hadoop大数据平台中的Impala内存处理机制对目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，其中，业务类别是基于目标贷后数据对应的贷款期限的相关信息确定，然后，输出不同业务类别的目标贷后数据的处理结果。这样，根据目标贷后数据和目标贷后数据对应的预定业务规则，利用Hadoop大数据平台中的Impala内存处理机制对目标贷后数据进行处理，能够对PB级数据进行快速查询、分析，有效提升到了数据处理效率，进而对保险机构贷后逾期催收和贷款到期提醒等业务的开展提供了有力的保障。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书实施例提供的数据处理方法的第一种流程示意图；图2为本说明书实施例提供的数据处理方法的第二种流程示意图；图3为本说明书实施例提供的数据处理方法的第三种流程示意图；图4为本说明书实施例提供的数据处理方法的第四种流程示意图；图5为本说明书实施例提供的数据处理方法的第五种流程示意图；图6为本说明书实施例提供的数据处理方法的第六种流程示意图；图7为本说明书实施例提供的数据处理方法的系统流程图；图8为本说明书实施例提供的数据处理装置的模块组成示意图；图9为本说明书实施例提供的电子设备的结构示意图。<本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取待处理的目标贷后数据；/n根据所述目标贷后数据和所述目标贷后数据对应的预定业务规则，利用Hadoop大数据平台中的Impala内存处理机制对所述目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，所述业务类别是基于所述目标贷后数据对应的贷款期限的相关信息确定；/n输出所述不同业务类别的目标贷后数据的处理结果。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取待处理的目标贷后数据；
根据所述目标贷后数据和所述目标贷后数据对应的预定业务规则，利用Hadoop大数据平台中的Impala内存处理机制对所述目标贷后数据进行处理，得到不同业务类别的目标贷后数据的处理结果，所述业务类别是基于所述目标贷后数据对应的贷款期限的相关信息确定；
输出所述不同业务类别的目标贷后数据的处理结果。


2.根据权利要求1所述的方法，其特征在于，所述业务类别包括：逾期催收、到期提醒、理赔处理和贷后状态处理中的一个或多个。


3.根据权利要求1所述的方法，其特征在于，所述输出所述不同业务类别的目标贷后数据的处理结果，包括：
将所述不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，和/或，将所述不同业务类别的目标贷后数据的处理结果写入预定的展示页面。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标贷后数据的处理结果所对应的业务类别，将相应的所述目标贷后数据的处理结果推送给预定的处理系统，所述预定的处理系统包括理赔系统、承保系统、还贷提醒系统、征信系统、贷款催收系统中的一个或多个。


5.根据权利要求3所述的方法，其特征在于，所述将所述不同业务类别的目标贷后数据的处理结果输出给预定的数据库存储，包括：
通过Java数据库连接JDBC回写机制，将所述不同业务类别的目标贷后数据的处理结果写入至预定的Informix数据库。


6...

【专利技术属性】
技术研发人员：何新宇，王吉玲，战伟，余菁菁，
申请(专利权)人：中国人民财产保险股份有限公司，
类型：发明
国别省市：北京;11