【技术实现步骤摘要】
本专利技术涉及工单处理，尤其是一种基于flink的海量工单处理方法和系统、设备及存储介质。
技术介绍
1、随着数字化发展的逐渐深入，物联网业务规模化发展，相较于十年前设备增长10～100倍，即便运维已经在从手工运维向工具运维和平台运维发展，但仍然没有实现运维管理规范化。如此大的规模下，靠人工经验、自动化运维规范主要依靠工单系统进行管理来梳理越来越复杂的运维环境。工单系统一般被广泛用于客户帮助支持服务、客户售后服务、企业it支持服务、客户投诉等，用来创建、挂起、解决用户、客户、合作伙伴或企业内部职员提交的事务请求，以及规范化、统一化和清晰化的处理和管理事务。现有的物联网运维场景下存在业务规模大、应用关系复杂、依赖层次多以及排查问题困难等现象，不同的物联网工单在处理时存在多个线程间的大量数据交换和缓存，需要大量占用系统运算资源，影响了物联网工单处理的效率和及时性。
2、术语解释：
3、flink：apache flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。
4、tasks and operator chains：任务和运算(算子)链。为了分布式地运行任务，flink可以将各种操作的子任务链接成一个任务链，每个任务链由一个线程执行。将这些子任务链接成任务链的好处是：可以减少数据在线程间切换和传输缓存的开销，在增加总体吞吐量的同时，降低了延迟。在flink作业中，用户可以指定相应的operat
5、task managers：任务管理器，用来执行数据流任务或者子任务，缓存和交互数据流至少需要一个task manager。
技术实现思路
1、本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
2、为此，本专利技术实施例的一个目的在于提供一种基于flink的海量工单处理方法，该方法降低了提高了物联网工单处理的效率，保障了海量物联网工单处理的及时性。
3、本专利技术实施例的另一个目的在于提供一种基于flink的海量工单处理系统。
4、为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
5、一方面，本专利技术实施例提供了一种基于flink的海量工单处理方法，包括以下步骤：
6、通过历史数据库获取不同工单场景下多个工单处理环节的第一历史数据，并根据所述第一历史数据构建实际训练数据集和模拟训练数据集；
7、通过岭回归方法构建算子模型，通过所述算子模型对所述实际训练数据集和所述模拟训练数据集分别进行数据拟合，得到实际拟合值和模拟拟合值，进而根据所述实际拟合值和所述模拟拟合值确定各所述工单处理环节是否拟合正常；
8、将拟合正常的所述工单处理环节作为运算子任务，并确定所述运算子任务在其他工单场景下的关联工单处理环节；
9、根据所述运算子任务和所述关联工单处理环节生成flink运算链，并通过所述flink运算链对待处理工单进行批量处理。
10、进一步地，在本专利技术的一个实施例中，所述通过历史数据库获取不同工单场景下多个工单处理环节的第一历史数据，并根据所述第一历史数据构建实际训练数据集和模拟训练数据集这一步骤，其具体包括：
11、通过所述历史数据库获取问题工单场景、事务工单场景、故障工单场景以及任务工单场景下多个工单处理环节的第一历史数据；
12、对所述第一历史数据进行数据清洗和数据筛选，得到第二历史数据，并根据所述第二历史数据生成实际训练数据集；
13、根据所述第一历史数据模拟生成对应的所述工单处理环节的第一模拟数据，并根据所述第一模拟数据生成模拟训练数据集。
14、进一步地，在本专利技术的一个实施例中，所述通过岭回归方法构建算子模型这一步骤，其具体包括：
15、通过岭回归方法确定岭回归目标函数以及迭代拟合函数；
16、根据所述岭回归目标函数和所述迭代拟合函数构建所述算子模型。
17、进一步地，在本专利技术的一个实施例中，所述通过所述算子模型对所述实际训练数据集和所述模拟训练数据集分别进行数据拟合，得到实际拟合值和模拟拟合值这一步骤，其具体包括：
18、通过所述迭代拟合函数对所述实际训练数据集进行数据拟合，直至所述岭回归目标函数达到预设的优化目标，得到所述实际拟合值；
19、通过所述迭代拟合函数对所述模拟训练数据集进行数据拟合，直至所述岭回归目标函数达到预设的优化目标，得到所述模拟拟合值。
20、进一步地，在本专利技术的一个实施例中，所述根据所述实际拟合值和所述模拟拟合值确定各所述工单处理环节是否拟合正常这一步骤，其具体包括：
21、确定各所述工单处理环节对应的所述实际拟合值和所述模拟拟合值；
22、确定所述实际拟合值与所述模拟拟合值的差值绝对值，并确定所述差值绝对值与所述实际拟合值的第一比值；
23、若所述第一比值小于或等于预设的第一阈值，确定所述工单处理环节拟合正常，若所述第一比值大于所述第一阈值，确定所述工单处理环节拟合不正常。
24、进一步地，在本专利技术的一个实施例中，所述确定所述运算子任务在其他工单场景下的关联工单处理环节这一步骤，其具体包括：
25、根据所述历史数据确定所述运算子任务在对应工单场景下的邻近工单处理环节；
26、根据所述邻近工单处理环节确定所述运算子任务在其他工单场景下的关联工单处理环节。
27、进一步地，在本专利技术的一个实施例中，所述根据所述运算子任务和所述关联工单处理环节生成flink运算链，并通过所述flink运算链对待处理工单进行批量处理这一步骤，其具体包括：
28、根据所述运算子任务和所述关联工单处理环节确定多个上游运算子任务和对应的下游运算子任务；
29、根据所述上游运算子任务和所述下游运算子任务生成所述flink运算链，并将所述flink运算链发送至任务管理器，并通过所述任务管理器为所述flink运算链的各个子任务分配独立线程；
30、获取不同工单场景下的多个所述待处理工单，并将所述待处理工单输入到所述任务管理器并通过所述flink运算链进行批量处理，使得所述待处理工单的相同工单处理环节通过同一所述独立线程执行。
31、另一方面，本专利技术实施例提供了一种基于flink的海量工单处理系统，包括：
32、数据集构建模块，用于通过历史数据库获取不同工单场景下多个工单处理环节的第一历史数据，并根据所述第一历史数据构建实际训练数据集和模拟训练数据集；
33、数据拟合模块，用于通过岭回归方法构建算子模型，通过所述算子模型对所述实际训练数据集和所述模拟训练数据集分别进行数据拟合，得到实际拟本文档来自技高网...
【技术保护点】
1.一种基于Flink的海量工单处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于Flink的海量工单处理方法，其特征在于，所述通过历史数据库获取不同工单场景下多个工单处理环节的第一历史数据，并根据所述第一历史数据构建实际训练数据集和模拟训练数据集这一步骤，其具体包括：
3.根据权利要求1所述的一种基于Flink的海量工单处理方法，其特征在于，所述通过岭回归方法构建算子模型这一步骤，其具体包括：
4.根据权利要求3所述的一种基于Flink的海量工单处理方法，其特征在于，所述通过所述算子模型对所述实际训练数据集和所述模拟训练数据集分别进行数据拟合，得到实际拟合值和模拟拟合值这一步骤，其具体包括：
5.根据权利要求1所述的一种基于Flink的海量工单处理方法，其特征在于，所述根据所述实际拟合值和所述模拟拟合值确定各所述工单处理环节是否拟合正常这一步骤，其具体包括：
6.根据权利要求1所述的一种基于Flink的海量工单处理方法，其特征在于，所述确定所述运算子任务在其他工单场景下的关联工单处理环节这一步骤，其
7.根据权利要求1至6中任一项所述的一种基于Flink的海量工单处理方法，其特征在于，所述根据所述运算子任务和所述关联工单处理环节生成Flink运算链，并通过所述Flink运算链对待处理工单进行批量处理这一步骤，其具体包括：
8.一种基于Flink的海量工单处理系统，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于Flink的海量工单处理方法的步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的基于Flink的海量工单处理方法的步骤。
...【技术特征摘要】
1.一种基于flink的海量工单处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于flink的海量工单处理方法，其特征在于，所述通过历史数据库获取不同工单场景下多个工单处理环节的第一历史数据，并根据所述第一历史数据构建实际训练数据集和模拟训练数据集这一步骤，其具体包括：
3.根据权利要求1所述的一种基于flink的海量工单处理方法，其特征在于，所述通过岭回归方法构建算子模型这一步骤，其具体包括：
4.根据权利要求3所述的一种基于flink的海量工单处理方法，其特征在于，所述通过所述算子模型对所述实际训练数据集和所述模拟训练数据集分别进行数据拟合，得到实际拟合值和模拟拟合值这一步骤，其具体包括：
5.根据权利要求1所述的一种基于flink的海量工单处理方法，其特征在于，所述根据所述实际拟合值和所述模拟拟合值确定各所述工单处理环节是否拟合正常这一步骤，其具体包括：
6.根据权利要求1所述的一种基于flink的海量工单处理方法，其特征在于，所述...
【专利技术属性】
技术研发人员：陈杨，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。