数据的实时存储方法与装置、存储介质及计算机设备制造方法及图纸

本发明专利技术公开了一种数据的实时存储方法与装置、存储介质及计算机设备，其中该数据的实时存储方法包括：通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库；按照预设规则，对导出到目标数据仓库的目标业务数据进行处理，得到维度统计数据；将维度统计数据写入供数据查询者进行业务数据查询的数据实时查询系统；其中，业务数据存放系统包括数据实时存放系统和数据离线存放系统，数据实时导出工具从所述数据实时存放系统导出所述目标业务数据，数据离线导出工具从所述数据离线存放系统导出所述目标业务数据。本发明专利技术解决了现有技术中，在离线查询数据时，不能做到实时查询业务数据的问题。

Real time data storage method and device, storage medium and computer equipment

The invention discloses a real-time data storage method and device, a storage medium and a computer device, wherein the real-time data storage method includes: exporting the target business data from the business data storage system to the target data warehouse through the combination of the real-time data export tool and the off-line data export tool; exporting the target business to the target data warehouse according to the preset rules Business data is processed to obtain dimension statistical data; dimension statistical data is written into the data real-time query system for data inquirers to query business data; the business data storage system includes data real-time storage system and data offline storage system, and the data real-time export tool exports the target business data from the data real-time storage system, and the data is guided offline The tool exports the target business data from the data offline storage system. The invention solves the problem that the business data can not be queried in real time when the data is queried offline in the prior art.

【技术实现步骤摘要】
数据的实时存储方法与装置、存储介质及计算机设备
本专利技术涉及通信应用
，特别是涉及一种数据的实时存储方法与装置、存储介质及计算机设备。
技术介绍
随着互联网金融业务的发展，各个业务线的数据越来越多样化，并且数据容易产生冗余不能很好的复用，急需一个统一的数据仓库平台将数据进行整合和轻度汇总，方便各个业务线进行统一的查询使用。另外，针对风控业务需要实时查询大量的策略引擎输入项数据，方便业务人员进行模型的开发和校验。然而，市场上现有大数据平台的数据仓库系统，虽然能解决大部分离线查询需求，但还是存在以下问题：第一，业务数据不能进行实时查询；第二，针对业务数据存放系统里面的变化频率较高的数据表，不支持自动导入数据仓库；第三，大数据平台的数据维护量较大。
技术实现思路
本专利技术实施例提供一种数据的实时存储方法与装置、存储介质及计算机设备，以解决现有技术中，在离线查询数据时，不能做到实时查询业务数据，以及针对业务数据存放系统里面的变化频率较高的数据表，不支持自动导入数据仓库的问题。为解决上述技术问题，本专利技术实施例采用的第一技术方案如下：一种数据的实时存储方法，其包括：通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库；按照预设规则，对导出到所述目标数据仓库的所述目标业务数据进行处理，得到维度统计数据；将所述维度统计数据写入供数据查询者进行业务数据查询的数据实时查询系统；其中，所述业务数据存放系统包括数据实时存放系统和数据离线存放系统，所述数据实时导出工具从所述数据实时存放系统导出所述目标业务数据，所述数据离线导出工具从所述数据离线存放系统导出所述目标业务数据。可选地，所述通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库，包括：通过实时导入系统获取所述数据实时存放系统的贴源层数据，并通过离线导入系统获取所述数据离线存放系统的贴源层数据；其中，所述贴源层数据为所述目标业务数据。可选地，所述通过实时导入系统获取所述数据实时存放系统的贴源层数据，包括：通过Kafka系统实时获取所述业务数据存放系统的日志更新数据，并根据所述日志更新数据对应的更新时间点，将所述业务数据存放系统的所述贴源层数据导出到所述目标数据仓库。可选地，所述通过离线导入系统获取所述数据离线存放系统的贴源层数据，包括：每隔预设时长，通过Sqoop离线导出系统将所述数据离线存放系统的贴源层数据导出到所述目标数据仓库。可选地，所述按照预设规则，对导出到所述目标数据仓库的所述目标业务数据进行处理，得到维度统计数据，包括：根据结构化查询语言程序，将所述贴源层数据作为基础层进行分层存储，得到所述贴源层数据层、明细层数据层、汇总层数据层和应用层数据层；进一步根据所述结构化查询语言程序分别将所述贴源层数据、所述明细层数据、所述汇总层数据和所述应用层数据进行维度统计处理，得到各个数据层对应的维度数据。可选地，所述进一步根据所述结构化查询语言程序分别将所述贴源层数据、所述明细层数据、所述汇总层数据和所述应用层数据进行维度统计处理，得到各个数据层对应的维度数据，包括：根据所述结构化查询语言程序分别将所述贴源层数据、所述明细层数据、所述汇总层数据和所述应用层数据进一步划分为包括自然人维度、客户维度、账户维度、子账户维度、手机号维度及渠道维度在内的维度数据。可选地，所述实时存放系统包括Mysql系统，所述数据离线存放系统包括Mongodb系统、Redis系统和Excel系统。为解决上述技术问题，本专利技术实施例采用的第二技术方案如下：一种的大数据的实时查询装置，其包括：数据导出模块，用于通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库；数据处理模块，用于按照预设规则，对导出到所述目标数据仓库的所述目标业务数据进行处理，得到维度统计数据；数据写入模块，用于将所述维度统计数据写入供数据查询者进行业务数据查询的数据实时查询系统；其中，所述业务数据存放系统包括数据实时存放系统和数据离线存放系统，所述数据实时导出工具从所述数据实时存放系统导出所述目标业务数据，所述数据离线导出工具从所述数据离线存放系统导出所述目标业务数据。为解决上述技术问题，本专利技术实施例采用的第三技术方案如下：一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述的数据的实时存储方法。为解决上述技术问题，本专利技术实施例采用的第四技术方案如下：一种计算机设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的数据的实时存储方法。本专利技术实施例的有益效果是：区别于现有技术的情况，本专利技术实施例通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库，并按照预设规则，对导出到所述目标数据仓库的所述目标业务数据进行处理，得到维度统计数据，最后将所述维度统计数据写入供数据查询者进行业务数据查询的数据实时查询系统，解决了现有技术中，在离线查询数据时，不能做到实时查询业务数据，以及针对业务数据存放系统里面的变化频率较高的数据表，不支持自动导入数据仓库的问题。附图说明图1是本专利技术实施例一的数据的实时存储方法一实施方式的实施流程图；图2是本专利技术实施例二的数据的实时存储装置一实施方式的部分结构框架图；图3是本专利技术实施例三的存储介质一实施方式的部分结构框架图；图4是本专利技术实施例四的计算机设备一实施方式的部分结构框架图。具体实施方式实施例一请参阅图1，图1是本专利技术实施例的数据的实时存储方法的实施流程图，结合图1可以得到，本专利技术实施例的一种数据的实时存储方法，包括：步骤S101：通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库。步骤S102：按照预设规则，对导出到所述目标数据仓库的所述目标业务数据进行处理，得到维度统计数据。步骤S103：将所述维度统计数据写入供数据查询者进行业务数据查询的数据实时查询系统。其中，所述业务数据存放系统包括数据实时存放系统和数据离线存放系统，所述数据实时导出工具从所述数据实时存放系统导出所述目标业务数据，所述数据离线导出工具从所述数据离线存放系统导出所述目标业务数据。在本实施例中，可选地，所述通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库，包括：通过实时导入系统获取所述数据实时存放系统的贴源层数据，并通过离线导入系统获取所述数据离线存放系统的贴源层数据。其中，所述贴源层数据为所述目标业务数据。在本实施例中，可选地，所述通过实时导入系统获取所述数据实时存放系统的贴源层数据，包括：通过Kafka系统实时获取所述业务数据存放系统的日志更新数据，并根据所本文档来自技高网...

【技术保护点】
1.一种数据的实时存储方法，其特征在于，包括：/n通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库；/n按照预设规则，对导出到所述目标数据仓库的所述目标业务数据进行处理，得到维度统计数据；/n将所述维度统计数据写入供数据查询者进行业务数据查询的数据实时查询系统；/n其中，所述业务数据存放系统包括数据实时存放系统和数据离线存放系统，所述数据实时导出工具从所述数据实时存放系统导出所述目标业务数据，所述数据离线导出工具从所述数据离线存放系统导出所述目标业务数据。/n

【技术特征摘要】
1.一种数据的实时存储方法，其特征在于，包括：
通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库；
按照预设规则，对导出到所述目标数据仓库的所述目标业务数据进行处理，得到维度统计数据；
将所述维度统计数据写入供数据查询者进行业务数据查询的数据实时查询系统；
其中，所述业务数据存放系统包括数据实时存放系统和数据离线存放系统，所述数据实时导出工具从所述数据实时存放系统导出所述目标业务数据，所述数据离线导出工具从所述数据离线存放系统导出所述目标业务数据。


2.根据权利要求1所述的数据的实时存储方法，其特征在于，所述通过数据实时导出工具和数据离线导出工具相结合，从业务数据存放系统导出目标业务数据到目标数据仓库，包括：
通过实时导入系统获取所述数据实时存放系统的贴源层数据，并通过离线导入系统获取所述数据离线存放系统的贴源层数据；其中，所述贴源层数据为所述目标业务数据。


3.根据权利要求2所述的数据的实时存储方法，其特征在于，所述通过实时导入系统获取所述数据实时存放系统的贴源层数据，包括：
通过Kafka系统实时获取所述业务数据存放系统的日志更新数据，并根据所述日志更新数据对应的更新时间点，将所述业务数据存放系统的所述贴源层数据导出到所述目标数据仓库。


4.根据权利要求2所述的数据的实时存储方法，其特征在于，所述通过离线导入系统获取所述数据离线存放系统的贴源层数据，包括：
每隔预设时长，通过Sqoop离线导出系统将所述数据离线存放系统的贴源层数据导出到所述目标数据仓库。


5.根据权利要求2所述的数据的实时存储方法，其特征在于，所述按照预设规则，对导出到所述目标数据仓库的所述目标业务数据进行处理，得到维度统计数据，包括：
根据结构化查询语言程序，将所述贴源层数据作为基础层进行分层存储，得到所述贴源层数据层、明细层数据层、汇总层数据层和应用层数据层；

【专利技术属性】
技术研发人员：刘强，刘杰，熊伟，李洪恩，刘成果，
申请(专利权)人：深圳萨摩耶互联网金融服务有限公司，
类型：发明
国别省市：广东;44