一种电商场景下海量数据优化方法装置、设备及可读介质制造方法及图纸

技术编号：40182049 阅读：4 留言：0更新日期：2024-01-26 23:47

本发明专利技术公开了一种电商场景下海量数据优化方法，通过建立业务台账表，业务台账表根据交易数据中所包含的信息对应生成所需要的信息，将交易数据对应存入到所述业务台账表对应的信息当中；业务台账表根据交易的类型进行判定，根据判定的结果进行逻辑运算并整合，将结果数据保留于业务台账表中，建立数仓，将发生的交易数据进行存储。本发明专利技术通过数据判定及逻辑运算使数据量有效减少，提高了应用系统运行性能，且该方式处理数据不需要对电商清分的交易模式进行侵入性改造，可以实现平滑切换，降低运营成本；本发明专利技术同时还提供了一种具有上述效果的数据处理装置、设备及可读介质。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及互联网通信，尤其涉及一种电商场景下海量数据优化方法装置、设备及可读介质

技术介绍

1、随着互联网的高速发展，网络购物已经成为人们购买商品的主要方式，网络购物带来便利的同时，其产生的业务单表数据量也在不断累积增长，最大的数据量超过10亿条，由于业务规则制约，电商清分系统会对历史数据进行查询计算，因此不能通过对历史数据进行清理的方式来减少数据量，大数据量带来空间占用成本增加和数据库性能下降等问题也随之而来。

2、中国专利号：cn101086732a的专利技术专利公开了一种海量数据管理方法，该方法将一个数据库大表分成多个分区，每个分区相当于一个数据库小表，按日期划分分区，数据插入按分区顺序进行并在分区号范围内循环更新；另建立五个数据库表空间，进一步提高数据库并行插入和查询效率。采用该技术手段能够避免由于数据量大而降低整个应用系统性能。但该技术手段只能通过分表的方式对数据进行分散，并没有解决海量数据对存储空间的高需求，而且使用该方式处理大数据量表需要对电商清分的交易模式进行侵入性改造，无法实现平滑切换，改造成本高。由此可见，该方法存在以下问题：数据量过大导致运行缓慢，侵入性改造造成运行成本过高。

技术实现思路

1、为此，本专利技术提供一种电商场景下海量数据优化方法及可读介质，用以克服现有技术中数据量过多造成的空间占用成本增加、数据库性能下降以及侵入性改造造成运行成本过高的问题。

2、为实现上述目的，本专利技术提供一种电商场景下海量数据优化方法，包括：</p>

3、建立业务台账表，所述业务台账表根据交易数据中所包含的信息对应生成所需要的信息，包括：商户编号、业务订单号、支付金额、补贴金额、待结算金额、可提现金额、是否消费下单等；

4、每一个商户对应唯一的所述商户编号，每一笔交易归属唯一的所述业务订单号；根据不同的交易类型及不同的商户，将交易数据对应存入到所述业务台账表对应的信息当中；业务台账表根据交易的类型进行判定，根据判定的结果进行逻辑运算，所述逻辑运算为将相同类型的交易数据进行运算整合，将不同类型的交易数据分到与其匹配的业务台账表中，再进行运算整合，将最后运算结果保留于业务台账表中，另建立数仓，用于将发生的多笔交易数据进行存储。

5、3、进一步地，所述判定依据业务订单号，当产生多笔交易数据，根据业务订单号进行划分，并进行交易金额汇总，通过所述业务订单号进行业务流转。

6、进一步地，所述业务台账表设置有数据匹配功能，每产生一笔新的交易数据，所述业务台账表根据所述产生的交易数据的类型，根据其对应的商户检索与其对应的交易商户，根据交易数据的对应关系进行逻辑运算。

7、进一步地，所述业务台账表调用所述数仓中的历史数据，根据判定的逻辑关系进行运算，生成业务台账表的起始数据。

8、一种数据处理装置，包括，生成单元、匹配单元、判定单元、传输单元；

9、所述生成单元，用于建立业务台账表，所述业务台账表根据交易数据中所包含的信息对应生成所需要的信息，包括：商户编号、业务订单号、支付金额、补贴金额、待结算金额、可提现金额、是否消费下单；

10、建立数仓，用于将发生的多笔交易数据进行存储；

11、所述匹配单元，用于每一个商户对应唯一的所述商户编号，每一笔交易归属唯一的所述业务订单号；根据不同的交易类型及不同的商户，将交易数据对应存入到所述业务台账表对应的信息当中；

12、所述判定单元，用于业务台账表根据交易的类型进行判定，根据判定的结果进行逻辑运算，所述逻辑运算为将相同类型的交易数据进行运算整合，将不同类型的交易数据分到与其匹配的业务台账表中，再进行运算整合，

13、所述传输单元，用于将经过所述判定单元单元判定后的数据传输给所述业务台账表。

14、进一步地，所述判定依据业务订单号，当产生多笔交易数据，根据业务订单号进行划分，并进行交易金额汇总，通过所述业务订单号进行业务流转。

15、进一步地，所述业务台账表设置有数据匹配功能，每产生一笔新的交易数据，所述业务台账表根据所述产生的交易数据的类型，根据其对应的商户检索与其对应的交易商户，根据交易数据的对应关系进行逻辑运算。

16、进一步地，所述业务台账表调用所述数仓中的历史数据，根据判定的逻辑关系进行运算，生成业务台账表的起始数据。

17、另一方面，本申请还提供一种计算设备，包括：

18、存储器，用于存储程序指令；

19、处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如上述所述方法步骤中任一项。

20、其次，本申请还提供一种计算机可读介质，包括：计算机可读指令，当计算机读取并执行所述计算机可读指令时，实现如上述所述方法步骤中任一项，所述可读介质可以为多个，所述多个可读介质相互之间能够独立运行。

21、与现有技术相比，本专利技术的有益效果在于，通过数据判定及逻辑运算使数据量有效减少，避免了由于数据量过大而降低整个应用系统性能，并且可以降低记录条数和减少磁盘空间的占用；而且使用该方式处理大量数据不需要对电商清分的交易模式进行侵入性改造，可以实现平滑切换，有效降低了运营成本；通过将若干个所述可读介质布置于服务器中，可读介质相互之间独立运行，使得商户使用过程中不必担心变更带来的影响，多个可读介质轮流停启就能完成更新，更新期间不影响商户的正常使用。并采用微服务的部署方式，多个可读介质共同提供服务，方案实施时可以轮流下线服务再更新重启。

本文档来自技高网...

【技术保护点】

1.一种电商场景下海量数据优化方法，其特征在于，包括：

2.根据权利要求1所述的海量数据优化方法，其特征在于，所述判定依据业务订单号，当产生多笔交易数据，根据业务订单号进行划分，并进行交易金额汇总，通过所述业务订单号进行业务流转。

3.根据权利要求2所述的海量数据优化方法，其特征在于，所述业务台账表设置有数据匹配功能，每产生一笔新的交易数据，所述业务台账表根据所述产生的交易数据的类型，根据其对应的商户检索与其对应的交易商户，根据交易数据的对应关系进行逻辑运算。

4.根据权利要求1所述的海量数据优化方法，其特征在于，所述业务台账表调用所述数仓中的历史数据，根据判定的逻辑关系进行运算，生成业务台账表的起始数据。

5.一种数据处理装置，其特征在于，包括，生成单元、匹配单元、判定单元、传输单元；

6.根据权利要求5所述的装置，其特征在于，所述判定依据业务订单号，

7.根据权利要求5所述的装置，其特征在于，所述业务台账表设置有数据匹配功能，每产生一笔新的交易数据，所述业务台账表根据所述产生的交易数据的类型，根据其对应的

8.根据权利要求5所述的装置，其特征在于，所述业务台账表调用所述数仓中的历史数据，根据判定的逻辑关系进行运算，生成业务台账表的起始数据。

9.一种计算设备，其特征在于，包括：

10.一种计算机可读介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，实现如权利要求1至4中任一项方法，所述可读介质可以为多个，所述多个可读介质相互之间能够独立运行。

...

【技术特征摘要】

1.一种电商场景下海量数据优化方法，其特征在于，包括：

5.一种数据处理装置，其特征在于，包括，生成单元、匹配单元、判定单元、...

【专利技术属性】
技术研发人员：尹建东，
申请(专利权)人：中信百信银行股份有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人