一种数据抓取制证方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于大数据领域，涉及一种数据抓取制证方法、装置、计算机设备及存储介质，所述方法包括：触发制证场景，并设置所述制证场景对应的场景编码以及页面制证参数；根据所述制证场景将对应的场景编码和页面制证参数写入记录表中；根据不同的场景编码，将记录表中对应的页面制证参数解析为凭证类型，并将所述凭证类型写入参数解析表中；根据业务参数以及所述参数解析表中对应的凭证类型，从业务表中提取对应的待制证数据；基于所述待制证数据分发MQ消息，以根据预设分页取数规则进行数据制证。本申请能够提高数据制证准确率以及效率。率。率。

【技术实现步骤摘要】
一种数据抓取制证方法、装置、计算机设备及存储介质


[0001]本申请涉及大数据
，尤其涉及一种数据抓取制证方法、装置、计算机设备及存储介质。

技术介绍

[0002]目前对于cas25财务系统中暂时可以每天定时调度进行制证，但需要制证的数据是海量的。涉及的页面触发业务场景的数据种类比较多，无法用统一规则进行统一处理，制证效率低下。对于页面金额核对确认制证容易出现重复制证的情况，无法进行准确制证。可见现有的数据制证方法存在数据制证准确率低以及效率低的问题。

技术实现思路

[0003]本申请实施例的目的在于提出数据抓取制证方法及其相关设备，以解决现有数据制证方法存在制证准确率以及效率低的问题。
[0004]为了解决上述技术问题，本申请实施例提供一种数据抓取制证方法，采用了如下所述的技术方案：
[0005]触发制证场景，并设置所述制证场景对应的场景编码以及页面制证参数；
[0006]根据所述制证场景将对应的场景编码和页面制证参数写入记录表中；
[0007]根据不同的场景编码，将记录表中对应的页面制证参数解析为凭证类型，并将所述凭证类型写入参数解析表中；
[0008]根据业务参数以及所述参数解析表中对应的凭证类型，从业务表中提取对应的待制证数据；
[0009]基于所述待制证数据分发MQ消息，以根据预设分页取数规则进行数据制证。
[0010]为了解决上述技术问题，本申请实施例还提供一种数据抓取制证装置，采用了如下所述的技术方案：
[0011]触发模块，用于触发制证场景，并设置所述制证场景对应的场景编码以及页面制证参数；
[0012]写入模块，用于根据所述制证场景将对应的场景编码和页面制证参数写入记录表中；
[0013]解析模块，用于根据不同的场景编码，将记录表中对应的页面制证参数解析为凭证类型，并将所述凭证类型写入参数解析表中；
[0014]提取模块，用于根据业务参数以及所述参数解析表中对应的凭证类型，从业务表中提取对应的待制证数据；
[0015]制证模块，用于基于所述待制证数据分发MQ消息，以根据预设分页取数规则进行数据制证。
[0016]为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现
上述实施例所述的数据抓取制证方法的步骤。
[0017]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述实施例所述的数据抓取制证方法的步骤。
[0018]与现有技术相比，本申请实施例主要有以下有益效果：通过触发制证场景，并设置所述制证场景对应的场景编码以及页面制证参数；根据所述制证场景将对应的场景编码和页面制证参数写入记录表中；根据不同的场景编码，将记录表中对应的页面制证参数解析为凭证类型，并将所述凭证类型写入参数解析表中；根据业务参数以及所述参数解析表中对应的凭证类型，从业务表中提取对应的待制证数据；基于所述待制证数据分发MQ消息，以根据预设分页取数规则进行数据制证。这样，能够基于不同的制证场景得到不同的场景编码和页面制证参数。再通过记录表和解析表的功能获取到制证场景对应的凭证类型，最后基于业务参数与凭证类型提取对应待制证数据，制证数据提取过程均是一一对应的，保证数据的准确性。通过分发MQ消息的方式以及结合预设分页取数规则对数据进行制证，MQ消息分发解耦以及削峰，增加了机器的使用率，保证资源得以充分利用，保证数据制证效率。进而提高数据制证的准确率和效率。
附图说明
[0019]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1根据本申请的数据抓取制证方法的一个实施例的流程图；
[0021]图2是图1中步骤S101的一种具体实施方式的流程图；
[0022]图3是图1中步骤S104的一种具体实施方式的流程图；
[0023]图4是图1中步骤S105的一种具体实施方式的流程图；
[0024]图5是根据本申请的数据抓取制证装置的一个实施例的结构示意图；
[0025]图6是图5所示触发模块一种具体实施方式的结构示意图；
[0026]图7是图5所示提取模块一种具体实施方式的结构示意图；
[0027]图8是图5所示制证模块一种具体实施方式的结构示意图；
[0028]图9是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
[0029]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0030]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同
的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0031]为了使本
的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0032]继续参考图1，示出了根据本申请的数据抓取制证方法的一个实施例的流程图。数据抓取制证方法，包括以下步骤：
[0033]步骤S101，触发制证场景，并设置制证场景对应的场景编码以及页面制证参数。
[0034]其中，上述制证场景可以根据不同的制证业务种类进行设置，例如，制证业务种类可以为保费制证业务，预收制证业务，理赔制证业务，保单贷款制证业务等，那么该制证场景可以包括保费制证场景，预收制证场景，理赔制证场景，保单贷款制证场景等
[0035]上述场景编码以及上述页面制证参数是根据不同制证场景进行设置的，制证场景、场景编码以及页面制证参数是一一对应的，且都是唯一的。
[0036]具体的，当制证场景被触发时，即可匹配到对应的场景编码以及页面制证参数。
[0037]在本专利技术实施例中，如图2所示，步骤S101具体包括：
[0038]步骤S201，进入制证页面。
[0039]其中，上述制证页面为提供给用户进行制证业务的界面。
[0040]具体的，当用户需要进行制证业务时，首先登录制证系统，并进入制证页本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据抓取制证方法，其特征在于，包括下述步骤：触发制证场景，并设置所述制证场景对应的场景编码以及页面制证参数；根据所述制证场景将对应的场景编码和页面制证参数写入记录表中；根据不同的场景编码，将记录表中对应的页面制证参数解析为凭证类型，并将所述凭证类型写入参数解析表中；根据业务参数以及所述参数解析表中对应的凭证类型，从业务表中提取对应的待制证数据；基于所述待制证数据分发MQ消息，以根据预设分页取数规则进行数据制证。2.根据权利要求1所述的数据抓取制证方法，其特征在于，所述触发制证场景，并设置所述制证场景对应的场景编码以及页面制证参数包括：进入制证页面；针对所述制证页面触发制证场景；根据不同的制证场景设置不同的场景编码以及页面制证参数。3.根据权利要求1所述的数据抓取制证方法，其特征在于，在所述根据不同的场景编码，将记录表中对应的页面制证参数解析为凭证类型，并将所述凭证类型写入参数解析表中之后，所述方法还包括：将所述参数解析表与所述记录表进行关联。4.根据权利要求1所述的数据抓取制证方法，其特征在于，所述根据业务参数以及所述参数解析表中对应的凭证类型，从业务表中提取对应的待制证数据包括：根据业务参数在参数解析表中查找对应的凭证类型；根据查找到的凭证类型获取预设模板结构块；在所述预设模板结构块中获取业务表的待制证数据。5.根据权利要求1所述的数据抓取制证方法，其特征在于，所述基于所述待制证数据分发MQ消息，以根据预设分页取数规则进行数据制证包括：将所述待制证数据分批写入临时表中进行数据分类，得到分类数据；将所述分类数据分批写入FEE表中进行数据汇总，得到汇总数据；将所述汇总数据从所述FEE表中分页取数，得到分页数据；基于所述分页数据分发MQ消息，以根据预设分页取数规则进行数据制证。6.根据权利要求5所述的数据抓取制证方法，其特征在于，在所述将所述待制证数据分批写入临时表中进行数据分类，得到分类数据之后，所述基于所述待制证数据分发MQ消息，以根据预设分页取数规则进行数据制证...

【专利技术属性】
技术研发人员：汪姣，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：