业务数据存储方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及大数据领域，尤其是一种业务数据存储方法、装置、计算机设备和存储介质。该方法包括：将存储数据表中的业务数据存储地址映射到存储单元，元数据映射到数据仓库；根据责任链第一处理流程将原始数据存储到第一数据存储层，从责任链中获取当前处理流程，查询当前处理流程对应的当前聚合度，从数据仓库中查询当前聚合度对应的当前元数据，根据当前元数据对上一处理流程得到的数据进行聚合处理，并将得到的数据存储到当前存储层；继续上述处理直至责任链中所有的处理流程处理完成；根据责任链最后一个处理流程对应的最终聚合度对应的存储层，构建目标查询语句。采用本方法能够提高数据查询准确性。

Business data storage methods, devices, computer equipment and storage media

【技术实现步骤摘要】
业务数据存储方法、装置、计算机设备和存储介质
本申请涉及大数据
，特别是涉及一种业务数据存储方法、装置、计算机设备和存储介质。
技术介绍
在数据分析领域，针对大数据量的聚合，查询等操作，通过分库分表的方式只能满足TP级的数据量，传统架构为使用Postgresql分为在线库，清洗库使用Jstorm将kafka数据处理后进入在线库，使用quwei-batch工程处理每日的数据进入按机构分表的清洗库，对所有的数据统计必须在总表的从表中查询。且查询的时候从总表中分步进行查询，由于查询需要多步进行，这样当某一步查询出错，则会导致整个数据查询失败。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够数据查询准确性的业务数据存储方法、装置、计算机设备和存储介质。一种业务数据存储方法，所述方法包括：将存储数据表中的业务数据存储地址映射到查询引擎的存储单元，元数据映射到数据仓库中；从责任链获取到第一处理流程，并执行所述第一处理流程以获取所述数据仓库中的元数据，并查询所述存储单元得到元数据对应的业务数据存储地址，以根据所述业务数据存储地址获取原始数据，并将所述原始数据存储到第一存储层；从责任链中获取当前处理流程，并查询到所述当前处理流程对应的当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，根据所述当前元数据对上一存储层中的数据进行聚合处理，并将聚合处理后的数据存储到当前存储层；继续从责任链中获取下一处理流程对应的下一聚合度作为当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，直至所述责任链中所有的处理流程处理完成；根据责任链最后一个处理流程对应的最终聚合度对应的存储层，构建目标查询语句。在其中一个实施例中，所述根据责任链最后一个处理流程对应的最终聚合度对应的存储层，构建目标查询语句，包括：获取责任链最后一个处理流程对应的最终聚合度对应的存储层；获取预设的初始查询语句，所述初始查询语句包括待填写内容标识；将所述最终聚合度添加到所述初始查询语句中所述待填写内容标识为聚合度的位置，将所述存储层添加到所述初始查询语句中所述待填写内容标识为存储层的位置，得到目标查询语句。在其中一个实施例中，所述从责任链中获取当前处理流程，并查询到所述当前处理流程对应的当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，包括：从责任链中获取当前处理流程，并查询到所述当前处理流程对应的当前聚合度；判断所述当前聚合度是否为时间聚合度；当所述当前聚合度判定为时间聚合度，则获取当前处理流程对应的定时任务，判断当前时间是否为定时任务的启动时间；若当前时间为定时任务的启动时间，则从所述数据仓库中查询与所述时间聚合度对应的当前元数据。在其中一个实施例中，所述从所述数据仓库中查询与所述当前聚合度对应的当前元数据，直至所述责任链中所有的处理流程处理完成之后，还包括：获取责任链最后一个处理流程对应的最终聚合度；生成与所述最终聚合度对应的数据报表。在其中一个实施例中，所述方法还包括：接收终端发送的查询请求，所述查询语句携带有聚合度；根据所述聚合度获取到对应的数据报表；根据所述数据报表生成可视化视图；将所生成的可视化视图发送给所述终端。一种业务数据存储装置，所述装置包括：映射模块，用于将存储数据表中的业务数据存储地址映射到查询引擎的存储单元，元数据映射到数据仓库中；第一处理模块，用于从责任链获取到第一处理流程，并执行所述第一处理流程以获取所述数据仓库中的元数据，并查询所述存储单元得到元数据对应的业务数据存储地址，以根据所述业务数据存储地址获取原始数据，并将所述原始数据存储到第一存储层；存储模块，用于从责任链中获取当前处理流程，并查询到所述当前处理流程对应的当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，根据所述当前元数据对上一存储层中的数据进行聚合处理，并将聚合处理后的数据存储到当前存储层；循环模块，用于继续从责任链中获取下一处理流程对应的下一聚合度作为当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，直至所述责任链中所有的处理流程处理完成；查询语句构建模块，用于根据责任链最后一个处理流程对应的最终聚合度对应的存储层，构建目标查询语句。在其中一个实施例中，所述查询语句构建模块包括：存储层获取单元，用于获取责任链最后一个处理流程对应的最终聚合度对应的存储层；初始语句获取单元，用于获取预设的初始查询语句，所述初始查询语句包括待填写内容标识；查询语句生成单元，用于将所述最终聚合度添加到所述初始查询语句中所述待填写内容标识为聚合度的位置，将所述存储层添加到所述初始查询语句中所述待填写内容标识为存储层的位置，得到目标查询语句。在其中一个实施例中，所述存储模块包括：当前聚合度获取单元，用于从责任链中获取当前处理流程，并查询到所述当前处理流程对应的当前聚合度；第一判断单元，用于判断所述当前聚合度是否为时间聚合度；第二判断单元，用于当所述当前聚合度判定为时间聚合度，则获取当前处理流程对应的定时任务，判断当前时间是否为定时任务的启动时间；启动单元，用于若当前时间为定时任务的启动时间，则从所述数据仓库中查询与所述时间聚合度对应的当前元数据。上述业务数据存储方法、装置、计算机设备和存储介质，根据责任链获取到当前处理流程，并查询到当前处理流程对应的当前聚合度，并从数据仓库中查询与当前聚合度对应的当前元数据，根据当前元数据对上一处理流程得到的存储层中的数据进行聚合处理，并将聚合处理后的数据存储到当前存储层，且只有当前存储层中的数据存储成功后，才会进行下一步的数据处理，即在数据存储的时候通过责任链的模式将数据进行处理，即只有上一步的数据处理正确后，才会进行下一步的处理，这样保证了数据存储的正确性，进而根据最终聚合度对应的存储层构建了目标查询语句，从而通过该目标查询语句进行查询时，保证了所查询的业务数据的正确性。附图说明图1为一个实施例中业务数据存储方法的应用场景图；图2为一个实施例中业务数据存储方法的流程示意图；图3为一个实施例中的数据存储层的结构示意图；图4为一个实施例中业务数据存储装置的结构框图；图5为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的业务数据存储方法，可以应用于如图1所示的应用环境中。其中，预设存储系统106可以获取到数据源数据库104中的数据，并进行存储；服务器102可以通过直连方式消费预设存储系统106中的数据，并将数据的存储地址本文档来自技高网...

【技术保护点】
1.一种业务数据存储方法，所述方法包括：/n将存储数据表中的业务数据存储地址映射到查询引擎的存储单元，元数据映射到数据仓库中；/n从责任链获取到第一处理流程，并执行所述第一处理流程以获取所述数据仓库中的元数据，并查询所述存储单元得到元数据对应的业务数据存储地址，以根据所述业务数据存储地址获取原始数据，并将所述原始数据存储到第一存储层；/n从责任链中获取当前处理流程，并查询到所述当前处理流程对应的当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，根据所述当前元数据对上一存储层中的数据进行聚合处理，并将聚合处理后的数据存储到当前存储层；/n继续从责任链中获取下一处理流程对应的下一聚合度作为当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，直至所述责任链中所有的处理流程处理完成；/n根据责任链最后一个处理流程对应的最终聚合度对应的存储层，构建目标查询语句。/n

【技术特征摘要】
1.一种业务数据存储方法，所述方法包括：
将存储数据表中的业务数据存储地址映射到查询引擎的存储单元，元数据映射到数据仓库中；
从责任链获取到第一处理流程，并执行所述第一处理流程以获取所述数据仓库中的元数据，并查询所述存储单元得到元数据对应的业务数据存储地址，以根据所述业务数据存储地址获取原始数据，并将所述原始数据存储到第一存储层；
从责任链中获取当前处理流程，并查询到所述当前处理流程对应的当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，根据所述当前元数据对上一存储层中的数据进行聚合处理，并将聚合处理后的数据存储到当前存储层；
继续从责任链中获取下一处理流程对应的下一聚合度作为当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，直至所述责任链中所有的处理流程处理完成；
根据责任链最后一个处理流程对应的最终聚合度对应的存储层，构建目标查询语句。


2.根据权利要求1所述的方法，其特征在于，所述根据责任链最后一个处理流程对应的最终聚合度对应的存储层，构建目标查询语句，包括：
获取责任链最后一个处理流程对应的最终聚合度对应的存储层；
获取预设的初始查询语句，所述初始查询语句包括待填写内容标识；
将所述最终聚合度添加到所述初始查询语句中所述待填写内容标识为聚合度的位置，将所述存储层添加到所述初始查询语句中所述待填写内容标识为存储层的位置，得到目标查询语句。


3.根据权利要求1所述的方法，其特征在于，所述从责任链中获取当前处理流程，并查询到所述当前处理流程对应的当前聚合度，并从所述数据仓库中查询与所述当前聚合度对应的当前元数据，包括：
从责任链中获取当前处理流程，并查询到所述当前处理流程对应的当前聚合度；
判断所述当前聚合度是否为时间聚合度；
当所述当前聚合度判定为时间聚合度，则获取当前处理流程对应的定时任务，判断当前时间是否为定时任务的启动时间；
若当前时间为定时任务的启动时间，则从所述数据仓库中查询与所述时间聚合度对应的当前元数据。


4.根据权利要求1至3任意一项所述的方法，其特征在于，所述从所述数据仓库中查询与所述当前聚合度对应的当前元数据，直至所述责任链中所有的处理流程处理完成之后，还包括：
获取责任链最后一个处理流程对应的最终聚合度；
生成与所述最终聚合度对应的数据报表。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收终端发送的查询请求，所述查询语句携带有聚合度；
根据所述聚合度获取到对应的数据报表；
根据所述...

【专利技术属性】
技术研发人员：梅峤，王彩霞，王天棋，
申请(专利权)人：平安医疗健康管理股份有限公司，
类型：发明
国别省市：上海;31