基于聚合模型的数据监控方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种基于聚合模型的数据监控方法、装置、设备和存储介质，通过创建聚合模型，实现以下数据处理步骤：获取存储于物流分拨中心的基础数据库中的业务数据，对所述业务数据进行预处理，得到多字段数据聚合表；采用Replace if not null方法更新多字段数据聚合表；采用bitmap_union方法对多字段数据聚合表进行去重统计，得到物流订单的汇总数据；服务端通过该聚合模型，将物流分拨中心的基础数据库中的业务数据写入Doris数据库中，自动生成DWD层的物流订单聚合数据或DWS层的物流订单汇总数据。通过上述方法将物流分拨中心海量的扫描数据，写入Doris数据库，实现秒级的接口响应速度，满足数据的实时监控及分析。满足数据的实时监控及分析。满足数据的实时监控及分析。

Data monitoring method, device, equipment and storage medium based on aggregation model

【技术实现步骤摘要】
基于聚合模型的数据监控方法、装置、设备和存储介质


[0001]本专利技术属于数据处理的
，尤其涉及一种基于聚合模型的数据监控方法、装置、设备和存储介质。

技术介绍

[0002]随着快递行业的日益增长，物流快递数据的单日票件量已达亿级，面对如此大的数据量，不仅有票件数据，还有智能硬件、比如说车辆摄像头等一些监控方面的数据，要对这些数据进行处理，需要有一个交互的分析平台。
[0003]对于一家快递公司来说，其物流服务质量是它在行业中的立身之本，那么分拨中心作为在物流环节中最为重要的一环，公司需要从数据层面对分拨中心的操作效率进行监控，及时找到它在操作中出现的问题，进行纠正，从而提升物流服务质量。

技术实现思路

[0004]本专利技术的目的是提供一种基于聚合模型的数据监控方法、装置、设备和存储介质，实现从数据层面对分拨中心的操作效率进行监控，及时找到操作中出现的问题，进行纠正，从而提升的物流服务质量。
[0005]为解决上述问题，本专利技术的技术方案为：
[0006]一种基于聚合模型的数据监控方法，包括：
[0007]服务端创建聚合模型，所述聚合模型实现以下数据处理步骤：
[0008]获取存储于物流分拨中心的基础数据库中的业务数据，对所述业务数据进行预处理，得到包含物流订单的总数、最早进站/出站的时间、最晚进站/出站的时间、大包标识及最大重量在内的多字段数据聚合表；
[0009]采用Replace if not null方法更新所述多字段数据聚合表；r/>[0010]采用bitmap_union方法对所述多字段数据聚合表进行去重统计，得到物流订单的汇总数据；
[0011]服务端通过所述聚合模型，将物流分拨中心的基础数据库中的业务数据写入Doris数据库中，自动生成DWD层的物流订单聚合数据或DWS层的物流订单汇总数据。
[0012]根据本专利技术一实施例，所述对业务数据进行预处理，得到包含物流订单的总数、最早进站/出站的时间、最晚进站/出站的时间、大包标识及最大重量在内的多字段数据聚合表进一步包括：
[0013]以SUM函数对所述业务数据进行物流订单数量的统计；
[0014]以MIN函数计算物流订单的最早进站时间及出站时间；
[0015]以MAX函数计算物流订单的最晚进站时间及出站时间、大包标识、最大重量；
[0016]得到包含物流订单的总数、最早进站/出站的时间、最晚进站/出站的时间、大包标识及最大重量在内的多字段数据聚合表。
[0017]根据本专利技术一实施例，所述服务端通过所述聚合模型，将物流分拨中心的基础数
据库中的业务数据写入Doris数据库中进一步包括：
[0018]将物流分拨中心的基础数据库中的业务数据导入Doris数据库中时，创建数据表，设置维度列和指标列，并在指标列中设置SUM、MIN、MAX、Replace if not null、bitmap_union中任一聚合函数；
[0019]所述业务数据根据所述维度列进行分组，并根据所述指标列进行聚合。
[0020]根据本专利技术一实施例，所述根据指标列进行聚合进一步包括：
[0021]当进行数据导入时，对同一个导入批次的数据进行聚合；
[0022]当进行数据融合时，对不同导入批次的数据进行聚合；
[0023]当进行数据查询时，对未进行聚合的数据，若符合查询条件，则进行内部聚合后，再返回给客户端。
[0024]根据本专利技术一实施例，所述将物流分拨中心的基础数据库中的业务数据写入Doris数据库中之后还包括：
[0025]基于Doris对业务数据进行维护，确定需要监控的指定维度项目和指定指标项目，响应于所述指定维度项目和/或所述指定指标项目异常，利用与所述指定维度项目和/或所述指定指标项目相对应的至少一种异常分析算法，确定至少一个异常分析结果。
[0026]根据本专利技术一实施例，所述确定至少一个异常分析结果进一步包括：
[0027]按照异常置信度，从高到低地提取所述至少一个异常分析结果中预设数量的异常分析结果，将所述预设数量的异常分析结果进行融合，得到最终异常分析结果。
[0028]一种基于聚合模型的数据监控装置，包括：
[0029]模型创建模块，用于服务端创建聚合模型，所述聚合模型实现以下数据处理步骤：
[0030]获取存储于物流分拨中心的基础数据库中的业务数据，对所述业务数据进行预处理，得到包含物流订单的总数、最早进站/出站的时间、最晚进站/出站的时间、大包标识及最大重量在内的多字段数据聚合表；
[0031]采用Replace if not null方法更新所述多字段数据聚合表；
[0032]采用bitmap_union方法对所述多字段数据聚合表进行去重统计，得到物流订单的汇总数据；
[0033]模型应用模块，用于服务端通过所述聚合模型，将物流分拨中心的基础数据库中的业务数据写入Doris数据库中，自动生成DWD层的物流订单聚合数据或DWS层的物流订单汇总数据。
[0034]根据本专利技术一实施例，所述聚合模型以SUM函数对所述业务数据进行物流订单数量的统计，以MIN函数计算物流订单的最早进站时间及出站时间，以MAX函数计算物流订单的最晚进站时间及出站时间、大包标识、最大重量；得到包含物流订单的总数、最早进站/出站的时间、最晚进站/出站的时间、大包标识及最大重量在内的多字段数据聚合表。
[0035]一种基于聚合模型的数据监控设备，包括：存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本专利技术一实施例中的基于聚合模型的数据监控方法中的步骤。
[0036]一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本专利技术一实施例中的基于聚合模型的数据监控方法中的步骤。
[0037]本专利技术由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
[0038]本专利技术一实施例中的基于聚合模型的数据监控方法，通过创建聚合模型，实现以下数据处理步骤：获取存储于物流分拨中心的基础数据库中的业务数据，对所述业务数据进行预处理，得到包含物流订单的总数、最早进站/出站的时间、最晚进站/出站的时间、大包标识及最大重量在内的多字段数据聚合表；采用Replace if not null方法更新多字段数据聚合表；采用bitmap_union方法对多字段数据聚合表进行去重统计，得到物流订单的汇总数据；服务端通过该聚合模型，将物流分拨中心的基础数据库中的业务数据写入Doris数据库中，自动生成DWD层的物流订单聚合数据或DWS层的物流订单汇总数据。通过上述方法将物流分拨中心海量的扫描数据，写入Doris数据库，实现秒级的接口响应速度，满足数据的实时监控及分析。
附图说明
[0039]图1为本专利技术一实施例中的基于聚合模型的数据监控方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于聚合模型的数据监控方法，其特征在于，包括：服务端创建聚合模型，所述聚合模型实现以下数据处理步骤：获取存储于物流分拨中心的基础数据库中的业务数据，对所述业务数据进行预处理，得到包含物流订单的总数、最早进站/出站的时间、最晚进站/出站的时间、大包标识及最大重量在内的多字段数据聚合表；采用Replace if not null方法更新所述多字段数据聚合表；采用bitmap_union方法对所述多字段数据聚合表进行去重统计，得到物流订单的汇总数据；服务端通过所述聚合模型，将物流分拨中心的基础数据库中的业务数据写入Doris数据库中，自动生成DWD层的物流订单聚合数据或DWS层的物流订单汇总数据。2.如权利要求1所述的基于聚合模型的数据监控方法，其特征在于，所述对业务数据进行预处理，得到包含物流订单的总数、最早进站/出站的时间、最晚进站/出站的时间、大包标识及最大重量在内的多字段数据聚合表进一步包括：以SUM函数对所述业务数据进行物流订单数量的统计；以MIN函数计算物流订单的最早进站时间及出站时间；以MAX函数计算物流订单的最晚进站时间及出站时间、大包标识、最大重量；得到包含物流订单的总数、最早进站/出站的时间、最晚进站/出站的时间、大包标识及最大重量在内的多字段数据聚合表。3.如权利要求1所述的基于聚合模型的数据监控方法，其特征在于，所述服务端通过所述聚合模型，将物流分拨中心的基础数据库中的业务数据写入Doris数据库中进一步包括：将物流分拨中心的基础数据库中的业务数据导入Doris数据库中时，创建数据表，设置维度列和指标列，并在指标列中设置SUM、MIN、MAX、Replace if not null、bitmap_union中任一聚合函数；所述业务数据根据所述维度列进行分组，并根据所述指标列进行聚合。4.如权利要求3所述的基于聚合模型的数据监控方法，其特征在于，所述根据指标列进行聚合进一步包括：当进行数据导入时，对同一个导入批次的数据进行聚合；当进行数据融合时，对不同导入批次的数据进行聚合；当进行数据查询时，对未进行聚合的数据，若符合查询条件，则进行内部聚合后，再返回给客户端。5.如权利要求1所述的基于聚合模型的数据监控方法，其特征在于，所述将物流分拨中心的基础数据库中的业务数据写入Dori...

【专利技术属性】
技术研发人员：张浩，杨周龙，聂英春，康元佳，刘镕硕，高书增，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：