System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据入库方法、电子设备及计算机存储介质技术_技高网

数据入库方法、电子设备及计算机存储介质技术

技术编号:41209721 阅读:2 留言:0更新日期:2024-05-09 23:31
本申请实施例提供了一种数据入库方法、电子设备及计算机存储介质。数据入库方法,包括:获取待分析的目标对象的多个数据维度的数据内容,并存储至缓存库中;创建控制总线和各所述数据维度对应的异步线程;使所述控制总线控制各所述异步线程,从所述缓存库中读取所述异步线程对应数据维度的数据内容,并传输至存储数据库中;在所述控制总线接收到指示各所述异步线程传输的数据内容存储成功的存储结果消息时,输出用于指示允许对所述目标对象的数据内容进行分析处理的指示消息。该方法数据入库耗时段、可靠性高。

【技术实现步骤摘要】

本申请实施例涉及计算机,尤其涉及一种数据入库方法、电子设备及计算机存储介质


技术介绍

1、在企业信息和数据征信业务处理过程中,需要采集、传输、存储、加工目标企业的不同数据维度的数据内容,以确定目标企业的风险、征信和可靠性等信息。而对于实时性要求较高的业务场景,要实现从多种不同的数据源获取数据内容,并将数据内容入库耗时尽量少,才能保证实时性,同时需要保证对数据内容进行加工和分析之前,不同源的数据内容均已入库,否则会出现数据分析不准确的问题。目前,多采用按数据量及数据维度数量预估入库时间,基于预估入库时间控制数据分析启动的方式来满足实时性要求。这种方式可靠性差,容易出现数据分析结果不准确的问题。


技术实现思路

1、有鉴于此,本申请实施例提供一种数据入库方案,以至少部分解决上述问题。

2、根据本申请实施例的第一方面,提供了一种数据入库方法,包括:获取待分析的目标对象的多个数据维度的数据内容,并存储至缓存库中;创建控制总线和各所述数据维度对应的异步线程;使所述控制总线控制各所述异步线程,从所述缓存库中读取所述异步线程对应数据维度的数据内容,并传输至存储数据库中;在所述控制总线接收到指示各所述异步线程传输的数据内容存储成功的存储结果消息时,输出用于指示允许对所述目标对象的数据内容进行分析处理的指示消息。

3、根据本申请实施例的第二方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如第一方面所述方法对应的操作。

4、根据本申请实施例的第三方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的方法。

5、根据本申请实施例提供的方案,对待分析的目标对象的数据内容进行缓存,并按照其所属的不同数据维度,创建与数据维度对应的异步线程进入入库传输,提升了数据传输效率,减少了数据内容入库的耗时,保证了实时性。通过控制总线对各异步线程进行控制,且在接收到指示各异步线程传输的数据内容存储成功的存储结果消息后,再指示允许对数据内容进行分析处理,确保了分析处理所依据数据内容的完整性,进而保证了分析的可靠性和准确性。

本文档来自技高网...

【技术保护点】

1.一种数据入库方法,包括:

2.根据权利要求1所述的方法,其中,所述获取待分析的目标对象的多个数据维度的数据内容,并存储至缓存库中,包括:

3.根据权利要求2所述的方法,其中,所述获取待分析的目标对象的多个数据维度的数据内容,并存储至缓存库中,还包括:

4.根据权利要求1-3中任一项所述的方法,其中,所述使所述控制总线控制各所述异步线程,从所述缓存库中读取所述异步线程对应数据维度的数据内容,并传输至存储数据库中,包括:

5.根据权利要求4所述的方法,其中,所述分布式消息集群被配置为:对各所述数据维度的数据内容打包为数据包,并将所述数据包发送至所述存储数据库内,所述数据包的大小根据数据处理算力和网络带宽确定。

6.根据权利要求5所述的方法,其中,所述分布式消息集群被配置为:获取所述存储数据库返回的存储结果消息,所述存储结果消息用于指示各所述数据维度的数据内容是否存储成功,并将所述存储结果消息转发至所述控制总线。

7.根据权利要求6所述的方法,其中,所述分布式消息集群被配置为:若所述存储结果消息指示所述数据内容存储失败,则对所述数据内容进行重新上传操作,直至重试次数满足设定重试次数。

8.一种数据入库装置,包括:

9.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

10.一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

...

【技术特征摘要】

1.一种数据入库方法,包括:

2.根据权利要求1所述的方法,其中,所述获取待分析的目标对象的多个数据维度的数据内容,并存储至缓存库中,包括:

3.根据权利要求2所述的方法,其中,所述获取待分析的目标对象的多个数据维度的数据内容,并存储至缓存库中,还包括:

4.根据权利要求1-3中任一项所述的方法,其中,所述使所述控制总线控制各所述异步线程,从所述缓存库中读取所述异步线程对应数据维度的数据内容,并传输至存储数据库中,包括:

5.根据权利要求4所述的方法,其中,所述分布式消息集群被配置为:对各所述数据维度的数据内容打包为数据包,并将所述数据包发送至所述存储数据库内,所述数据包的大小根据数据处理算力和网络带宽确定。

6.根据权...

【专利技术属性】
技术研发人员:郭奇董典贞聂慧萍侯祎莎杨艳辉单晓伟
申请(专利权)人:爱信诺征信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1