一种处理异常工单的方法及系统技术方案

本发明专利技术的实施方式提供了一种处理异常工单的方法，其中，所述异常工单为除质检结论为合格的工单以外的其他工单。所述处理异常工单的方法包括：通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；将所述特征属性转换成状态矩阵；将所述状态矩阵输入到异常工单决策模型中，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的，所述异常工单决策模型的输入量为所述状态矩阵，所述异常工单决策模型的输出量为表征处理方案的权重向量；及通过所述异常工单决策模型计算出针对所述异常工单的处理方案。

A method and system for handling abnormal work orders

【技术实现步骤摘要】
一种处理异常工单的方法及系统
本专利技术实施例涉及计算机
，特别涉及一种处理异常工单的方法及系统。
技术介绍
传统的工单质检结果分析方式是人工审核不合格、无法识别的工单图片，并将同一类的问题工单汇总反馈给装维人员，并指导他们进行改进，或者反馈给质检系统开发人员，让其优化系统。然而，人工审核的需求成本高，要求必须熟悉项目和了解算法模型，并且人工审核后还需要大量的工作去汇总并反馈，因而技术人员就想到利用机器来完成工单的审核过程。一种现有技术是利用计算机来提取工单图片中的信息，并用标签来表征图片的信息，然后设定与该标签匹配的处理方案，使标签和处理方案一一匹配，并将匹配规则存储到系统中。这样计算机能够根据所提取出来的标签来自动对应处理方案；然而，这种人为设定好的一一对应的匹配规则泛化能力很差，而且对于新的特征标签不具备学习能力。另外，由于工单图片中的特征信息是高维的，现有的强化学习模型会对高维特征属性进行降维处理，或者对于同一属性的特征标签，人为的设定低维特征去表征其特征属性，这种方法虽然降低了计算的复杂度，但是低维的特征很难表征工单图片真实的特征属性，因而会影响处理方案的准确性。
技术实现思路
本专利技术实施方式的目的在于提供一种处理异常工单的方法，可以通过计算机自动的完成异常工单的处理过程，且提高处理方案的准确性。为解决上述技术问题，本专利技术的实施方式提供了一种处理异常工单的方法，其中，所述异常工单为除质检结论为合格的工单以外的其他工单。所述处理异常工单的方法包括：通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；将所述特征属性转换成状态矩阵；将所述状态矩阵输入到异常工单决策模型中，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的，所述异常工单决策模型的输入量为所述状态矩阵，所述异常工单决策模型的输出量为表征处理方案的权重向量；及通过所述异常工单决策模型计算出针对所述异常工单的处理方案。本专利技术实施方式相对于现有技术而言，通过深度强化学习算法来训练异常工单的决策模型，该决策模型可直接对由深度神经网络模型提取出的工单图片的高维特征属性进行处理，然后输出相应的处理方案。由于这些高维的特征属性可以更准确地表达异常工单的特征，所以本实施方式可以大大提高输出的处理方案的准确性。另外，所述训练异常工单决策模型的步骤具体为：步骤a)：基于经过人工处理的异常工单的信息记录来建立样本池，所述样本池包括H条样本，每条样本包括工单图片、质检结果、处理方案及客户反馈数据，其中H>4000；步骤b)：通过所述深度神经网络模型从所述每条样本的工单图片中提取特征属性，并转换成状态矩阵，其中，所述特征属性具有m个维度，m>200；步骤c)：基于马尔科夫决策过程和策略逼近算法建立初始模型，所述初始模型的各个参数被设置成初始值；步骤d)：将所述每条样本的状态矩阵输入到所述初始模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值以得到在所述初始模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；步骤e)：将每条样本的总回报值进行累加，以得到在所述初始模型下所有样本能够获得的累积回报值；步骤f)：更新目前的模型中的各个参数，以得到迭代模型；步骤g)：将每条样本的所述状态矩阵输入到所述迭代模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值，以得到在所述迭代模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；步骤h：将每条样本的总回报值进行累加，以得到在所述迭代模型下所有样本能够获得的累积回报值；步骤i)：重复步骤f)至步骤h)，直到所述各个参数收敛，或所述样本池中存放W个训练数据，其中，W>80000。与现有技术相比，上述实施方式采用深度神经网络从样本中的工单图片提取出高维的特征属性，并将高维的特征属性经权重处理后直接作为异常工单决策模型的训练，这样能够使异常工单决策模型在训练的过程中更好的学习异常工单的特征，以提高模型的准确性。另外，所述质检结果包括：不合格、疑似不合格、无法识别及场景不支持，所述每一种质检结果在所述样本池中的数量均分。所述客户反馈数据包括：合理、需明确及不合理，每一种客户反馈数据在所述样本池中的数量均分。这样，能够使样本池中的样本涵盖各种情况，以提供给决策模型进行学习。另外，所述特征属性X＝(X1,X2,X3,…,Xm)，所述状态矩阵S＝WX，其中，W为所述各特征属性的权重向量，W＝(ω1,ω2,...,ωm)。另外，所述初始模型为其中，θ为参数向量，θ＝(θ1,θ2,...,θm)，为第i维的排序权重分，另外，所述初始模型或所述迭代模型μθ的累计回报值本专利技术的实施方式还提供了一种异常工单处理系统，其包括：特征提取器，其用于通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；特征转换器，其用于将所述特征属性转换成状态矩阵；异常工单决策模型，其用于接受所述状态矩阵，并计算出表征所述异常工单的处理方案的权重向量，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的。本专利技术的实施方式还提供了一种异常工单处理系统，其包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述处理异常工单的方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行上述处理异常工单的方法。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是根据本专利技术第一实施方式的处理异常工单的方法的流程示意图；图2是本专利技术第一实施方式中的训练异常工单决策模型的步骤的示意图；图3是根据本专利技术第二实施方式的异常工单处理系统的示意图；图4是根据本专利技术第三实施方式的异常工单处理系统的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。本专利技术的第一实施方式涉及一种处理异常工单的方法，其中，所述异常工单为除质检结论为合格的工单以外的其他工单。本实施方式的核心在于通过深度强化学习算法训练异常工单决策模型，该决策模型可直接对由深度神经网络模型提取出的工单图片的高维本文档来自技高网...

【技术保护点】
1.一种处理异常工单的方法，所述异常工单为除质检结论为合格的工单以外的其他工单，其特征在于，包括：/n通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；/n将所述特征属性转换成状态矩阵；/n将所述状态矩阵输入到异常工单决策模型中，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的，所述异常工单决策模型的输入量为所述状态矩阵，所述异常工单决策模型的输出量为表征处理方案的权重向量；及/n通过所述异常工单决策模型计算出针对所述异常工单的处理方案。/n

【技术特征摘要】
1.一种处理异常工单的方法，所述异常工单为除质检结论为合格的工单以外的其他工单，其特征在于，包括：
通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；
将所述特征属性转换成状态矩阵；
将所述状态矩阵输入到异常工单决策模型中，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的，所述异常工单决策模型的输入量为所述状态矩阵，所述异常工单决策模型的输出量为表征处理方案的权重向量；及
通过所述异常工单决策模型计算出针对所述异常工单的处理方案。


2.根据权利要求1所述的处理异常工单的方法，其特征在于，所述训练异常工单决策模型的步骤具体为：
步骤a)：基于经过人工处理的异常工单的信息记录来建立样本池，所述样本池包括H条样本，每条样本包括工单图片、质检结果、处理方案及客户反馈数据，其中H>4000；
步骤b)：通过所述深度神经网络模型从所述每条样本的工单图片中提取特征属性，并转换成状态矩阵，其中，所述特征属性具有m个维度，m>200；
步骤c)：基于马尔科夫决策过程和策略逼近算法建立初始模型，所述初始模型的各个参数被设置成初始值；
步骤d)：将所述每条样本的状态矩阵输入到所述初始模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值以得到在所述初始模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；
步骤e)：将每条样本的总回报值进行累加，以得到在所述初始模型下所有样本能够获得的累积回报值；
步骤f)：更新目前的模型中的各个参数，以得到迭代模型；
步骤g)：将每条样本的所述状态矩阵输入到所述迭代模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值，以得到在所述迭代模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；
步骤h：将每条样本的总回报值进行累加，以得到在所述迭代模型下所有样本能够获得的累积回报值；
步骤i)：重复步骤f)至步骤h)，直到所述各个参数收敛，或所述样本池中存放W个训练...

【专利技术属性】
技术研发人员：李程坤，沙源，丁隆乾，罗红，阮泽凯，章婷婷，郑文彬，
申请(专利权)人：中移杭州信息技术有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：浙江;33