内容处理模型训练方法以及相关设备技术

本申请公开了一种内容处理模型训练方法以及相关设备，可以获取内容处理模型、样本内容和策略指示信息；当策略指示信息为第一指示信息时，通过目标数量的线程对样本内容进行预处理；在通过目标数量的线程对样本内容进行预处理时，并行基于预处理完成的部分样本内容训练内容处理模型；当策略指示信息为第二指示信息时，对样本内容进行掩码处理，得到包含掩码内容单元的掩码样本内容；通过内容处理模型对掩码样本内容进行特征编码处理，得到各掩码内容单元的目标子特征；基于目标子特征预测各掩码内容单元属于目标内容类别的实际概率；根据实际概率训练内容处理模型。本申请能基于不同应用场景类型下的策略指示信息进行模型训练，提高了训练速度。提高了训练速度。提高了训练速度。

【技术实现步骤摘要】
内容处理模型训练方法以及相关设备


[0001]本申请涉及计算机
，具体涉及一种内容处理模型训练方法以及相关设备。

技术介绍

[0002]随着互联网的高速发展，云计算越来越成为绝对的支撑主力。对于一些有大量算力需求的企业而言，比如需要对神经网络模型进行大规模训练，上云租借算力可以说是一个非常好的选择。提到“上云租借算力”，首先需要选定云服务商，但是市面上提供云服务的厂商众多，服务质量参差不齐。目前大多云服务器厂商所提供的用于模型训练的云服务器，都是采用某一固定的训练策略对各种模型进行训练。显然，这种固定训练策略的方法，不利于提高模型训练的速度。

技术实现思路

[0003]本申请实施例提供一种内容处理模型训练方法以及相关设备，相关设备可以包括内容处理模型训练装置、电子设备、计算机可读存储介质和计算机程序产品，能够大大加快训练速度。
[0004]本申请实施例提供一种内容处理模型训练方法，包括：
[0005]获取内容处理模型和样本内容；
[0006]获取用于训练所述内容处理模型的策略指示信息，所述策略指示信息与所述内容处理模型的应用场景类型相关，在所述应用场景类型为计算机视觉场景的情况下，所述策略指示信息为第一指示信息，在所述应用场景类型为自然语言处理场景的情况下，所述策略指示信息为第二指示信息；
[0007]当所述策略指示信息为第一指示信息时，通过目标数量的线程对所述样本内容进行预处理；
[0008]在通过目标数量的线程对所述样本内容进行预处理时，并行基于预处理完成的部分样本内容对所述内容处理模型进行训练，得到训练后的内容处理模型；
[0009]当所述策略指示信息为第二指示信息时，对所述样本内容进行掩码处理，得到掩码样本内容，所述掩码样本内容包括至少一个待预测的掩码内容单元；
[0010]通过所述内容处理模型，对所述掩码样本内容进行特征编码处理，得到所述掩码样本内容对应的目标特征信息，所述目标特征信息包括各掩码内容单元对应的目标子特征；
[0011]基于所述目标子特征，预测各掩码内容单元属于目标内容类别的实际概率；并根据所述掩码内容单元属于目标内容类别的期望概率和实际概率，调整内容处理模型的参数，得到训练后的内容处理模型。
[0012]相应的，本申请实施例提供一种内容处理模型训练装置，包括：
[0013]第一获取单元，用于获取内容处理模型和样本内容；
[0014]第二获取单元，用于获取用于训练所述内容处理模型的策略指示信息，所述策略指示信息与所述内容处理模型的应用场景类型相关，在所述应用场景类型为计算机视觉场景的情况下，所述策略指示信息为第一指示信息，在所述应用场景类型为自然语言处理场景的情况下，所述策略指示信息为第二指示信息；
[0015]预处理单元，用于当所述策略指示信息为第一指示信息时，通过目标数量的线程对所述样本内容进行预处理；
[0016]第一训练单元，用于在通过目标数量的线程对所述样本内容进行预处理时，并行基于预处理完成的部分样本内容对所述内容处理模型进行训练，得到训练后的内容处理模型；
[0017]掩码单元，用于当所述策略指示信息为第二指示信息时，对所述样本内容进行掩码处理，得到掩码样本内容，所述掩码样本内容包括至少一个待预测的掩码内容单元；
[0018]特征编码单元，用于通过所述内容处理模型，对所述掩码样本内容进行特征编码处理，得到所述掩码样本内容对应的目标特征信息，所述目标特征信息包括各掩码内容单元对应的目标子特征；
[0019]第二训练单元，用于基于所述目标子特征，预测各掩码内容单元属于目标内容类别的实际概率；并根据所述掩码内容单元属于目标内容类别的期望概率和实际概率，调整内容处理模型的参数，得到训练后的内容处理模型。
[0020]可选的，在本申请的一些实施例中，所述内容处理模型训练装置还可以包括设置单元、处理单元和数量确定单元，如下：
[0021]所述设置单元，用于设置待选线程数量集，所述待选线程数量集包括至少两个预设线程数；
[0022]处理单元，用于针对每个预设线程数，通过所述预设线程数下的线程对参考样本内容进行预处理，得到所述预设线程数下的线程对应的预处理时间；
[0023]数量确定单元，用于基于所述至少两个预设线程数下的线程对应的预处理时间，将所述至少两个预设线程数中的一个预设线程数确定为用于对样本内容进行预处理的线程的目标数量。
[0024]可选的，在本申请的一些实施例中，所述第一训练单元具体可以用于通过目标数量的线程对所述样本内容进行第N轮的预处理，得到第N轮训练所需的预处理后样本内容，N为正整数；并行执行下面两个步骤：基于第N轮对应的预处理后样本内容，对内容处理模型进行第N轮的训练；通过目标数量的线程对所述样本内容进行第N+1轮的预处理，以得到训练后的内容处理模型。
[0025]可选的，在本申请的一些实施例中，所述特征编码单元可以包括编码子单元、过滤子单元和映射子单元，如下：
[0026]所述编码子单元，用于通过所述内容处理模型，对所述掩码样本内容中各内容单元进行编码处理，得到所述掩码样本内容的编码特征信息，所述编码特征信息包括各内容单元对应的编码隐状态特征；
[0027]过滤子单元，用于基于所述掩码内容单元在所述掩码样本内容中的位置信息，对所述编码特征信息进行掩码位置信息过滤，得到掩码特征信息，所述掩码特征信息包括各掩码内容单元对应的编码隐状态特征；
[0028]映射子单元，用于对所述掩码特征信息进行特征映射处理，得到所述掩码样本内容对应的目标特征信息。
[0029]可选的，在本申请的一些实施例中，所述第二训练单元具体可以用于针对各掩码内容单元，基于所述掩码内容单元属于目标内容类别的期望概率和实际概率，计算所述掩码内容单元对应的预测子损失；将各个掩码内容单元对应的预测子损失进行融合，得到预测总损失；根据所述预测总损失，调整内容处理模型的参数，得到训练后的内容处理模型。
[0030]可选的，在本申请的一些实施例中，所述内容处理模型训练装置还可以包括测试数据获取单元、第三训练单元、检测单元、性能确定单元和策略生成单元，如下：
[0031]所述测试数据获取单元，用于获取预设应用场景类型下的参考内容处理模型和测试内容，所述预设应用场景类型包括计算机视觉场景和自然语言处理场景；
[0032]第三训练单元，用于通过目标机型设备，根据所述测试内容对所述参考内容处理模型进行训练；
[0033]检测单元，用于对所述目标机型设备在所述训练过程中的行为数据进行检测，以得到所述训练过程对应的资源占用信息；
[0034]性能确定单元，用于基于所述资源占用信息，确定在所述预设应用场景类型下的性能瓶颈信息；
[0035]策略生成单元，用于基于所述性能瓶颈信息，生成与所述预设应用场景类型相关的策略指示信息，所述策略指示信息用于指示对预设应用场景类型下的内容处理模型进行训练。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内容处理模型训练方法，其特征在于，包括：获取内容处理模型和样本内容；获取用于训练所述内容处理模型的策略指示信息，所述策略指示信息与所述内容处理模型的应用场景类型相关，在所述应用场景类型为计算机视觉场景的情况下，所述策略指示信息为第一指示信息，在所述应用场景类型为自然语言处理场景的情况下，所述策略指示信息为第二指示信息；当所述策略指示信息为第一指示信息时，通过目标数量的线程对所述样本内容进行预处理；在通过目标数量的线程对所述样本内容进行预处理时，并行基于预处理完成的部分样本内容对所述内容处理模型进行训练，得到训练后的内容处理模型；当所述策略指示信息为第二指示信息时，对所述样本内容进行掩码处理，得到掩码样本内容，所述掩码样本内容包括至少一个待预测的掩码内容单元；通过所述内容处理模型，对所述掩码样本内容进行特征编码处理，得到所述掩码样本内容对应的目标特征信息，所述目标特征信息包括各掩码内容单元对应的目标子特征；基于所述目标子特征，预测各掩码内容单元属于目标内容类别的实际概率；并根据所述掩码内容单元属于目标内容类别的期望概率和实际概率，调整内容处理模型的参数，得到训练后的内容处理模型。2.根据权利要求1所述的方法，其特征在于，所述通过目标数量的线程对所述样本内容进行预处理之前，还包括：设置待选线程数量集，所述待选线程数量集包括至少两个预设线程数；针对每个预设线程数，通过所述预设线程数下的线程对参考样本内容进行预处理，得到所述预设线程数下的线程对应的预处理时间；基于所述至少两个预设线程数下的线程对应的预处理时间，将所述至少两个预设线程数中的一个预设线程数确定为用于对样本内容进行预处理的线程的目标数量。3.根据权利要求1所述的方法，其特征在于，所述在通过目标数量的线程对所述样本内容进行预处理时，并行基于预处理完成的部分样本内容对所述内容处理模型进行训练，得到训练后的内容处理模型，包括：通过目标数量的线程对所述样本内容进行第N轮的预处理，得到第N轮训练所需的预处理后样本内容，N为正整数；并行执行下面两个步骤：基于第N轮对应的预处理后样本内容，对内容处理模型进行第N轮的训练；通过目标数量的线程对所述样本内容进行第N+1轮的预处理，以得到训练后的内容处理模型。4.根据权利要求1所述的方法，其特征在于，所述通过所述内容处理模型，对所述掩码样本内容进行特征编码处理，得到所述掩码样本内容对应的目标特征信息，包括：通过所述内容处理模型，对所述掩码样本内容中各内容单元进行编码处理，得到所述掩码样本内容的编码特征信息，所述编码特征信息包括各内容单元对应的编码隐状态特征；基于所述掩码内容单元在所述掩码样本内容中的位置信息，对所述编码特征信息进行
掩码位置信息过滤，得到掩码特征信息，所述掩码特征信息包括各掩码内容单元对应的编码隐状态特征；对所述掩码特征信息进行特征映射处理，得到所述掩码样本内容对应的目标特征信息。5.根据权利要求1所述的方法，其特征在于，所述根据所述掩码内容单元属于目标内容类别的期望概率和实际概率，调整内容处理模型的参数，得到训练后的内容处理模型，包括：针对各掩码内容单元，基于所述掩码内容单元属于目标内容类别的期望概率和实际概率，计算所述掩码内容单元对应的预测子损失；将各个掩码内容单元对应的预测子损失进行融合，得到预测总损失；根据所述预测总损失，调整内容处理模型...

【专利技术属性】
技术研发人员：弓静，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：