模型训练监控方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了一种模型训练监控方法、装置、设备及存储介质，该方法包括：接收模型训练监控请求，并对模型训练监控请求携带的意图触发话术文本进行解析并生成测试用例；对测试用例进行分词处理得到测试用例字符，根据测试用例字符进行意图识别，得到第一意图；根据基础话术意图集对测试用例进行相关性分析，识别测试用例的第二意图；将第一意图和第二意图进行比较，根据比较的结果生成测试报告。本发明专利技术实现了模型训练监控的自动化，且提高了模型训练监控的效率和准确度。此外，本发明专利技术还涉及区块链领域，意图触发话术文本和基础话术意图集可存储于区块链中。本和基础话术意图集可存储于区块链中。本和基础话术意图集可存储于区块链中。

【技术实现步骤摘要】
模型训练监控方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种模型训练监控方法、装置、设备及存储介质。

技术介绍

[0002]模型是指通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体，不局限于实体与虚拟、不限于平面与立体)。对研究的实体进行必要的简化，并用适当的变现形式或规则把它的主要特征描述出来。所得到的系统模仿品称之为模型。模型具有衰减性，模型运行结果数据的能力会随着输入数据的更新而降低，因此，需要对模型的性能及时进行监控以实现模型的维护和更新。
[0003]在现有技术中，通过开源的机器学习平台训练得到机器学习模型，机器学习平台中设置有训练模型的通用算法，因此只需在机器学习平台上输入训练数据即可得到机器学习模型，而模型训练的过程则是在机器学习平台的内部自行执行的。但该方法不能时刻监控机器学习平台训练模型的过程，也不能及时获取模型训练的状态，因此，当发现模型在训练的过程中出现问题时，也不能及时进行矫正，导致模型训练监控的效率低，同时使得训练出的模型不准确。

技术实现思路

[0004]本专利技术的主要目的在于解决现有技术中模型训练监控的效率低的技术问题。
[0005]本专利技术第一方面提供了一种模型训练监控方法，所述模型训练监控方法包括：获取机器学习模型的训练周期，对所述训练周期进行分析，确定所述机器学习模型的训练总步数，并根据所述机器学习模型的训练总步数，确定固定训练步数；将所述机器学习模型完成每个所述固定训练步数的时间节点作为所述模型的检查点；获取所述机器学习模型在各所述检查点所产生的指标数据；根据预设的各指标的指标监控策略，对所述指标数据中各指标进行异常监控，判断所述指标数据中各指标是否异常，得到异常监控结果；根据所述异常监控结果生成模型训练监控报告。
[0006]可选的，在本专利技术的第一方面的第一种实现方式中，所述根据预设的各指标的指标监控策略，对所述指标数据中各指标进行异常监控，判断所述指标数据中各指标是否异常，得到异常监控结果包括：根据预设的样本指标监控策略，对所述指标数据中的样本指标进行异常监控，判断所述样本指标是否异常，得到异常监控结果；或者，根据预设的训练时长指标监控策略，对所述指标数据中的训练时长指标进行异常监控，判断所述训练时长指标是否异常，得到异常监控结果；或者，根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果，其中，所述数据指标包括偏离值、资源数据量和可用的数据存储空间的数据量。
[0007]可选的，在本专利技术的第一方面的第二种实现方式中，所述根据预设的样本指标监控策略，对所述指标数据中的样本指标进行异常监控，判断所述样本指标是否异常，得到异
常监控结果包括：提取所述指标数据中的样本指标及训练样本，并对所述训练样本进行等频分箱处理，得到多个分箱；根据预设的样本指标监控策略和根据所述样本指标计算各所述分箱中样本的模型稳定性分析值；判断所述模型稳定性分析值是否小于预设的模型稳定性阈值；若是，则确定所述样本指标异常，得到所述样本指标对应的异常监控结果。
[0008]可选的，在本专利技术的第一方面的第三种实现方式中，所述根据预设的训练时长指标监控策略，对所述指标数据中的训练时长指标进行异常监控，判断所述训练时长指标是否异常，得到异常监控结果包括：提取所述指标数据中的时长训练指标以及所述机器学习模型完成每个所述固定训练步数时的训练时长；根据预设的训练时长指标监控策略，判断所述训练时长是否大于预设的训练时长阈值；若是，则确定所述训练时长指标异常，得到所述训练时长指标对应的异常监控结果。
[0009]可选的，在本专利技术第一方面的第四种实现方式中，所述根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果包括：提取所述指标数据中的数据指标以及所述机器学习模型的损失函数的损失值；计算所述损失值的均值和标准差；获取所述机器学习模型的当前损失值，将所述机器学习模型的当前损失值与所述均值的差值作为偏离值；根据预设的数据指标监控策略，判断所述偏离值与所述标准差的倍数是否超过预设倍数；若是，则确定所述数据指标异常，得到所述数据指标对应的异常监控结果。
[0010]可选的，在本专利技术第一方面的第五种实现方式中，所述根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果包括：提取所述指标数据中的数据指标以及所述机器学习模型在所述检查点中占用的资源数据量；根据预设的数据指标监控策略，判断所述资源数据量是否大于预设的占用数据量阈值；若是，则确定所述数据指标异常，得到所述数据指标对应的异常监控结果。
[0011]可选的，在本专利技术第一方面的第六种实现方式中，所述根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果包括：提取所述指标数据中的数据指标以及所述机器学习模型在所述检查点中可用的数据存储空间的数据量；根据预设的数据指标监控策略，判断所述数据存储空间的数据量是否小于预设的可用数据量阈值；若是，则确定所述数据指标异常，得到所述数据指标对应的异常监控结果。
[0012]本专利技术第二方面提出一种模型训练监控装置，所述模型训练监控装置包括：分析模块，用于获取机器学习模型的训练周期，对所述训练周期进行分析，确定所述机器学习模型的训练总步数，并根据所述机器学习模型的训练总步数，确定固定训练步数；检查点确定模块，用于将所述机器学习模型完成每个所述固定训练步数的时间节点作为所述模型的检查点；获取模块，用于获取所述机器学习模型在各所述检查点所产生的指标数据；监控模块，用于根据预设的各指标的指标监控策略，对所述指标数据中各指标进行异常监控，判断所述指标数据中各指标是否异常，得到异常监控结果；报告生成模块，用于根据所述异常监控结果生成模型训练监控报告。
[0013]可选的，在本专利技术第二方面的第一种实现方式中，所述监控模块包括：样本监控单元，用于根据预设的样本指标监控策略，对所述指标数据中的样本指标进行异常监控，判断所述样本指标是否异常，得到异常监控结果；时长监控单元，用于根据预设的训练时长指标
监控策略，对所述指标数据中的训练时长指标进行异常监控，判断所述训练时长指标是否异常，得到异常监控结果；数据监控单元，用于根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果，其中，所述数据指标包括偏离值、资源数据量和可用的数据存储空间的数据量。
[0014]可选的，在本专利技术第二方面的第二种实现方式中，所述样本监控单元具体用于：分箱子单元，用于提取所述指标数据中的样本指标及训练样本，并对所述训练样本进行等频分箱处理，得到多个分箱；计算子单元，用于根据预设的样本指标监控策略和根据所述样本指标计算各所述分箱中样本的模型稳定性分析值；第一判断子单元，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练监控方法，其特征在于，所述模型训练监控方法包括：获取机器学习模型的训练周期，对所述训练周期进行分析，确定所述机器学习模型的训练总步数，并根据所述机器学习模型的训练总步数，确定固定训练步数；将所述机器学习模型完成每个所述固定训练步数的时间节点作为所述模型的检查点；获取所述机器学习模型在各所述检查点所产生的指标数据；根据预设的各指标的指标监控策略，对所述指标数据中各指标进行异常监控，判断所述指标数据中各指标是否异常，得到异常监控结果；根据所述异常监控结果生成模型训练监控报告。2.根据权利要求1所述的模型训练监控方法，其特征在于，所述根据预设的各指标的指标监控策略，对所述指标数据中各指标进行异常监控，判断所述指标数据中各指标是否异常，得到异常监控结果包括：根据预设的样本指标监控策略，对所述指标数据中的样本指标进行异常监控，判断所述样本指标是否异常，得到异常监控结果；或者，根据预设的训练时长指标监控策略，对所述指标数据中的训练时长指标进行异常监控，判断所述训练时长指标是否异常，得到异常监控结果；或者，根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果，其中，所述数据指标包括偏离值、资源数据量和可用的数据存储空间的数据量。3.根据权利要求2所述的模型训练监控方法，其特征在于，所述根据预设的样本指标监控策略，对所述指标数据中的样本指标进行异常监控，判断所述样本指标是否异常，得到异常监控结果包括：提取所述指标数据中的样本指标及训练样本，并对所述训练样本进行等频分箱处理，得到多个分箱；根据预设的样本指标监控策略和根据所述样本指标计算各所述分箱中样本的模型稳定性分析值；判断所述模型稳定性分析值是否小于预设的模型稳定性阈值；若是，则确定所述样本指标异常，得到所述样本指标对应的异常监控结果。4.根据权利要求3所述的模型训练监控方法，其特征在于，所述根据预设的训练时长指标监控策略，对所述指标数据中的训练时长指标进行异常监控，判断所述训练时长指标是否异常，得到异常监控结果包括：提取所述指标数据中的时长训练指标以及所述机器学习模型完成每个所述固定训练步数时的训练时长；根据预设的训练时长指标监控策略，判断所述训练时长是否大于预设的训练时长阈值；若是，则确定所述训练时长指标异常，得到所述训练时长指标对应的异常监控结果。5.根据权利要求2
‑
4中任一项所述的模型训练监控方法，其特征在于，所述根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果包括：提取所述指标数据中的数据指标以及所述机器学习模型的损失函数...

【专利技术属性】
技术研发人员：董萍，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：