物流数据聚合方法技术

本发明专利技术涉及数据处理技术领域，尤其涉及物流数据聚合方法

【技术实现步骤摘要】
物流数据聚合方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种物流数据聚合方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]随着互联网的不断发展，在云环境下进行业务数据的存储与统计也越来越普遍，例如，对
QPS(QueryPerSecond
，每秒查询率
)、PV(PageView
，页面浏览量
)
等不同类别的业务数据进行存储与统计；由于在云环境下存储的数据的量很大，因此，在对云环境中存储的海量业务数据进行统计时，需要对海量的业务数据进行聚合
。
[0003]现有的物流行业中，优先级方案分在在各分拨网点，未统一上传至总部，存在运营成本高和统筹管控力差的问题，且各分拨网点的数据结构不一致，导致聚合结构缺乏统一标准，若对各分拨网点的数据进行统一聚合，存在工作量大
、
聚合难度大的问题
。
[0004]可见，现有技术还有待改进和提高
。

技术实现思路

[0005]为了克服现有技术的不足，本专利技术的目的在于提供一种物流数据聚合方法
、
装置
、
设备及存储介质，基于预设的聚合规则对各前端物流数据统一进行聚合，方便进行物流数据的统筹管理
。
[0006]本专利技术第一方面提供了一种物流数据聚合方法，包括：当反馈数据聚合请求时，获取待聚合数据，并对待聚合数据进行打标处理和写入处理，得到预处理数据；对预处理数据所包括的文件类型进行提取分析，判断是否存在异常件，若存在，将预处理数据存储至聚合数据库；若不存在，根据预设的聚合规则对预处理数据进行数据聚合；判断是否存在拦截相关指令，若存在，根据拦截相关指令确认是否执行拦截动作；若需执行拦截动作，根据拦截相关指令的指令内容确认拦截聚合层，根据拦截聚合层对数据聚合过程进行拦截操作；若不需执行拦截动作，获取完成数据聚合后所生成的聚合后数据，根据聚合后数据生成聚合图表
。
[0007]可选的，在本专利技术第一方面的第一种实施方式中，所述当反馈数据聚合请求时，获取待聚合数据，并对待聚合数据进行打标处理和写入处理，得到预处理数据，具体包括：当反馈数据聚合请求时，获取待聚合数据并进行拆分处理，得到多个分拨文件；获取各个分拨文件的单号
、
数据来源和数据内容，根据单号和数据来源采用正则表达式确认分拨文件的属性标签；将所获取的数据内容输入至预先训练的识别模型，得到数据价值，根据数据价值分别确认多个分拨文件的优先级；调用
CSV
接口将分拨文件转换为
.CSV
文件，得到预处理数据
。
[0008]可选的，在本专利技术第一方面的第二种实施方式中，所述对预处理数据所包括的文件类型进行提取分析，判断是否存在异常件，若存在，将预处理数据存储至聚合数据库，具体包括：获取预处理数据所包括的各个分拨文件及其对应的文件描述；将文件描述输入至
预先训练的分词模型，得到第一分词结果；采用正则表达式匹配预设的文件类型表以及所得到的第一分词结果，以确认文件类型；根据文件类型判断是否存在异常件，所述异常件包括错分件和退改件；当存在异常件时，将预处理数据存储至聚合数据库
。
[0009]可选的，在本专利技术第一方面的第三种实施方式中，所述若不存在，根据预设的聚合规则对预处理数据进行数据聚合，具体包括：若不存在，获取预处理数据所包括的多个分拨文件及其对应的单号；基于暴力法判断是否存在单号一致的分拨文件，若存在，获取单号一致的分拨文件的建立时间；基于
oracle
函数确认建立时间的时间先后，保存时间最接近当前时间的分拨文件并删除其他单号一致的分拨文件；获取预设的聚合规则，所述聚合规则包括聚合顺序，根据聚合顺序对预处理数据进行聚合
。
[0010]可选的，在本专利技术第一方面的第四种实施方式中，所述判断是否存在拦截相关指令，若存在，根据拦截相关指令确认是否执行拦截动作，具体包括：判断是否存在拦截相关指令，所述拦截相关指令包括拦截指令和取消拦截指令；当只有拦截指令时，执行拦截动作；当拦截指令和取消拦截指令同时存在时，比较拦截指令的接收时间和取消拦截指令的接收时间；当取消拦截指令的接收时间早于拦截指令的接收时间时，不执行拦截动作，反之，执行拦截动作
。
[0011]可选的，在本专利技术第一方面的第五种实施方式中，所述若需执行拦截动作，根据拦截相关指令的指令内容确认拦截聚合层，根据拦截聚合层对数据聚合过程进行拦截操作，具体包括：当需要执行拦截动作时，获取拦截指令的指令内容；将指令内容输入至预先训练的分词模型，得到第二分词结果；采用正则表达式匹配预设的拦截类型配置表以及所得到的第二分词结果，以确认拦截聚合层；根据拦截聚合层对数据聚合过程进行拦截操作
。
[0012]可选的，在本专利技术第一方面的第六种实施方式中，所述若不需执行拦截动作，获取完成数据聚合后所生成的聚合后数据，根据聚合后数据生成聚合图表，具体包括：当不需要执行拦截动作时，获取完成数据聚合后所生成的聚合后数据；获取待生成的图表属性，所述图表属性包括图表类型
、
图表名称以及图表的坐标轴格式；根据图表属性，采用
KMP
算法从聚合后数据中提取图表数据；基于
Echarts
函数，根据图表数据生成聚合图表
。
[0013]本专利技术第二方面提供了一种物流数据聚合装置，包括：获取模块，用于当反馈数据聚合请求时，获取待聚合数据，并对待聚合数据进行打标处理和写入处理，得到预处理数据；分析模块，用于对预处理数据所包括的文件类型进行提取分析，判断是否存在异常件，若存在，将预处理数据存储至聚合数据库；聚合模块，用于若不存在，根据预设的聚合规则对预处理数据进行数据聚合；判断模块，用于判断是否存在拦截相关指令，若存在，根据拦截相关指令确认是否执行拦截动作；拦截模块，用于若需执行拦截动作，根据拦截相关指令的指令内容确认拦截聚合层，根据拦截聚合层对数据聚合过程进行拦截操作；生成模块，用于若不需执行拦截动作，获取完成数据聚合后所生成的聚合后数据，根据聚合后数据生成聚合图表
。
[0014]可选的，在本专利技术第二方面的第一种实现方式中，所述获取模块包括：拆分单元，用于当反馈数据聚合请求时，获取待聚合数据并进行拆分处理，得到多个分拨文件；第一获取单元，用于获取各个分拨文件的单号
、
数据来源和数据内容，根据单号和数据来源采用正则表达式确认分拨文件的属性标签；识别单元，用于将所获取的数据内容输入至预先训练的识别模型，得到数据价值，根据数据价值分别确认多个分拨文件的优先级；转换单元，用
于调用
CSV
接口将分拨文件转换为
.CSV
文件，得到预处理数据
。
[0015]可选的，在本专利技术第二方面的第二种实现方式中，所述分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种物流数据聚合方法，其特征在于，包括：当反馈数据聚合请求时，获取待聚合数据，并对待聚合数据进行打标处理和写入处理，得到预处理数据；对预处理数据所包括的文件类型进行提取分析，判断是否存在异常件，若存在，将预处理数据存储至聚合数据库；若不存在，根据预设的聚合规则对预处理数据进行数据聚合；判断是否存在拦截相关指令，若存在，根据拦截相关指令确认是否执行拦截动作；若需执行拦截动作，根据拦截相关指令的指令内容确认拦截聚合层，根据拦截聚合层对数据聚合过程进行拦截操作；若不需执行拦截动作，获取完成数据聚合后所生成的聚合后数据，根据聚合后数据生成聚合图表
。2.
根据权利要求1所述的一种物流数据聚合方法，其特征在于，所述当反馈数据聚合请求时，获取待聚合数据，并对待聚合数据进行打标处理和写入处理，得到预处理数据，具体包括：当反馈数据聚合请求时，获取待聚合数据并进行拆分处理，得到多个分拨文件；获取各个分拨文件的单号
、
数据来源和数据内容，根据单号和数据来源采用正则表达式确认分拨文件的属性标签；将所获取的数据内容输入至预先训练的识别模型，得到数据价值，根据数据价值分别确认多个分拨文件的优先级；调用
CSV
接口将分拨文件转换为
.CSV
文件，得到预处理数据
。3.
根据权利要求1所述的一种物流数据聚合方法，其特征在于，所述对预处理数据所包括的文件类型进行提取分析，判断是否存在异常件，若存在，将预处理数据存储至聚合数据库，具体包括：获取预处理数据所包括的各个分拨文件及其对应的文件描述；将文件描述输入至预先训练的分词模型，得到第一分词结果；采用正则表达式匹配预设的文件类型表以及所得到的第一分词结果，以确认文件类型；根据文件类型判断是否存在异常件，所述异常件包括错分件和退改件；当存在异常件时，将预处理数据存储至聚合数据库
。4.
根据权利要求1所述的一种物流数据聚合方法，其特征在于，所述若不存在，根据预设的聚合规则对预处理数据进行数据聚合，具体包括：若不存在，获取预处理数据所包括的多个分拨文件及其对应的单号；基于暴力法判断是否存在单号一致的分拨文件，若存在，获取单号一致的分拨文件的建立时间；基于
oracle
函数确认建立时间的时间先后，保存时间最接近当前时间的分拨文件并删除其他单号一致的分拨文件；获取预设的聚合规则，所述聚合规则包括聚合顺序，根据聚合顺序对预处理数据进行聚合
。5.
根据权利要求1所述的一种物流数据聚合方法，其特征在于，所述判断是否存在拦截
相关指令，若存在，根据拦截相关指令确认是否执行拦截动作，具体包括：判断是否存...

【专利技术属性】
技术研发人员：王震东，王建军，杨周龙，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：