【技术实现步骤摘要】
数据归集方法、装置、设备及计算机可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及数据归集方法、装置、设备及计算机可读存储介质。
技术介绍
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。目前，大型商业银行的分布式系统中的业务数据一般归集到大数据平台统一存储，其归集方式为：隔日从分布式系统的每个子系统的数据库，一次性将昨日数据归集到大数据平台。这种方式的缺陷在于：实效性不高，即无法实现数据的准实时归集，导致无法满足某些实际业务场景(如账务查询)中对业务数据的实时查询要求。
技术实现思路
本专利技术的主要目的在于提出一种数据归集方法、装置、设备及计算机可读存储介质，旨在提高业务数据归集到大数据平台的实效性。为实现上述目的，本专利技术提供一种数据归集方法，所述数据归集方法包括如下步骤：实时获取业务系统产生的业务数据流，从所述业务数据流中提取待同步的业务数据；将所述待同步的业务数...
【技术保护点】
1.一种数据归集方法，其特征在于，所述数据归集方法包括如下步骤：实时获取业务系统产生的业务数据流，从所述业务数据流中提取待同步的业务数据；将所述待同步的业务数据加入至分布式系统的预设消息队列中；将所述预设消息队列中待同步的业务数据同步至预设的大数据平台数据库中。
【技术特征摘要】
1.一种数据归集方法，其特征在于，所述数据归集方法包括如下步骤：实时获取业务系统产生的业务数据流，从所述业务数据流中提取待同步的业务数据；将所述待同步的业务数据加入至分布式系统的预设消息队列中；将所述预设消息队列中待同步的业务数据同步至预设的大数据平台数据库中。2.如权利要求1所述的数据归集方法，其特征在于，所述将所述预设消息队列中待同步的业务数据同步至预设的大数据平台数据库中的步骤包括：将所述预设消息队列中待同步的业务数据同步至预设的大数据平台数据库的主库中。3.如权利要求2所述的数据归集方法，其特征在于，所述将所述预设消息队列中待同步的业务数据同步至预设的大数据平台数据库的主库中的步骤之后，还包括：检测所述待同步的业务数据同步至所述主库是否失败；当所述待同步的业务数据同步至所述主库失败时，将所述待同步的业务数据保存至所述分布式系统的本地磁盘，并将所述待同步的业务数据同步至所述大数据平台数据库的备库中。4.如权利要求1所述的数据归集方法，其特征在于，所述将所述待同步的业务数据加入至分布式系统的预设消息队列中的步骤之后，还包括：检测所述待同步的业务数据加入至所述预设消息队列是否失败；当所述待同步的业务数据加入至所述预设消息队列失败时，将所述待同步的业务数据保存至所述分布式系统的本地磁盘。5.如权利要求3或4所述的数据归集方法，其特征在于，所述数据归集方法还包括：定期检测所述分布式系统的本地磁盘中是否保存有待同步的业务数据；当检测到所述分布式系统的本地磁盘中保存有待同步的业务数据时，将所述本地磁盘中保存的待同步的业务数据同步至所述大数据平台数据库的主库中。6.如权利要求1所述的数据归集方法，其特征在于，所述数据归集方法还包括：定期检测所述大数据平台数据库是否为可用状态，所述大数据平台数据库包括主库和备库；当检测到所述主库和/或备库为不可用状态时，禁止所述分布式系统向处于不可用状态的所述主库和/或备库同步业务数据。7.如权利要求1所述的数据归集方法，其特征在于，所述数据归集方法还包括：在预定时间点，获取所述分布式系统在预设时长内产生的待同步的业务数据；将所述分布式系统在预设时长内产生的待同步的业务数据同步至所述大数据平台数据库中。8.一种数据归集装置，其特征在于，所述数据归集装置包括：第一获取模块，用于实时获取业务系统产生的业务数据流，从所述业务数据流中提取待同步的业务数据；加入模块，用于将所述待同步的业务数据加入至分布式系统的预设消息队列中；第...
【专利技术属性】
技术研发人员：彭荣杰，廖卫军，杨建明，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。