数据采集方法和装置、存储介质及电子设备制造方法及图纸

技术编号:42539992 阅读:29 留言:0更新日期:2024-08-27 19:44
本申请公开了一种数据采集方法和装置、存储介质及电子设备。涉及数据处理技术领域、金融科技领域及其他相关技术领域,该方法包括:通过数据采集装置采集目标对象办理金融业务时所产生的多个待采集数据,并对多个待采集数据进行解析,得到每个待采集数据对应的属性信息;通过数据写入装置基于数据源信息,将多个待采集数据写入消息中间件装置的多个存储分片中;通过消息消费装置读取多个存储分片中的多个待采集数据,并基于时间信息将多个存储分片中的多个待采集数据写入目标系统中。通过本申请,解决了相关技术中采用工作人员手动录入的方式来采集目标对象在当天办理金融业务时所产生的各项账务数据,导致数据的采集效率比较低的问题。

【技术实现步骤摘要】

本申请涉及数据处理、金融科技领域及其他相关,具体而言,涉及一种数据采集方法和装置、存储介质及电子设备


技术介绍

1、随着大数据处理技术的发展,金融行业对大数据的应用日益广泛,从传统的大数据趋势分析逐步扩展到核心的涉帐交易场景。在金融机构账务交易系统中,普遍采用一种按业务日期记账的工作方法,由于交易数据量较大,相关计算通常利用大数据加工处理来实现,因此对源数据的采集时效性和准确性的要求均较高。目前,业界通常采用工作人员手动录入的方式来收集客户在当天办理金融业务时所产生的各项账务数据,该方法虽然在一定程度上保障了大数据采集的数据准确性,但降低了数据传输的时效性,并且人力成本较高。

2、针对相关技术中采用工作人员手动录入的方式来采集目标对象在当天办理金融业务时所产生的各项账务数据,导致数据的采集效率比较低的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请的主要目的在于提供一种数据采集方法和装置、存储介质及电子设备,以解决相关技术中采用工作人员手动录入的方式来采集目标对象在当天办理金融业务时本文档来自技高网...

【技术保护点】

1.一种数据采集方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在通过数据采集装置采集目标对象办理金融业务时所产生的多个待采集数据时,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,依据所述目标系统时间戳信息,确定所述多个待采集数据的采集进度包括:

4.根据权利要求1所述的方法,其特征在于,通过数据写入装置基于所述数据源信息,将所述多个待采集数据写入消息中间件装置的多个存储分片中包括:

5.根据权利要求4所述的方法,其特征在于,通过所述数据写入装置将每个类别的待采集数据写入该类别的待采集数据对应的存储分片中包...

【技术特征摘要】

1.一种数据采集方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在通过数据采集装置采集目标对象办理金融业务时所产生的多个待采集数据时,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,依据所述目标系统时间戳信息,确定所述多个待采集数据的采集进度包括:

4.根据权利要求1所述的方法,其特征在于,通过数据写入装置基于所述数据源信息,将所述多个待采集数据写入消息中间件装置的多个存储分片中包括:

5.根据权利要求4所述的方法,其特征在于,通过所述数据写入装置将每个类别的待采集数据写入该类别的待采集数据对应的存储分片中包括:

6.根据权利要求1所述的方法,其特征在于,通过消息消费装置读取所述多个存储分片中的多个待采集数据...

【专利技术属性】
技术研发人员:颜谨王东青
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1