模型的训练方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种模型的训练方法、装置、设备及存储介质，该方法，包括：将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。从而通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。效率。效率。

【技术实现步骤摘要】
模型的训练方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种模型的训练方法、装置、设备及存储介质。

技术介绍

[0002]计算机视觉在图像处理技术中占有重要的地位，而计算机视觉一般都是通过训练神经网络模型来达到对图像的检测、分类、预测的目的。
[0003]目前，一般通过大量的标注数据对神经网络模型进行监督学习，以得到符合要求的神经网络模型。
[0004]但是，这种方式需要预先生成大量的训练数据，训练周期长，对训练数据的依赖度高，模型训练过程复杂，效率低下。

技术实现思路

[0005]本专利技术提供一种模型的训练方法、装置、设备及存储介质，可以通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。
[0006]第一方面，本专利技术实施例提供一种模型的训练方法，包括：
[0007]将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；
[0008]通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；
[0009]根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。
[0010]第二方面，本专利技术实施例提供一种模型的训练装置，包括：<br/>[0011]第一输入模块，用于第一输入模块，用于将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；
[0012]第一提取模块，用于通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；
[0013]第一优化模块，用于根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。
[0014]第三方面，本专利技术实施例提供一种模型的训练设备，包括：
[0015]存储器，用于存储程序；
[0016]处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如第一方面中任一项所述的方法。
[0017]第四方面，本专利技术实施例提供一种计算机可读存储介质，包括：计算机程序，当其在计算机上运行时，使得计算机执行第一方面中任一所述的方法。
[0018]本专利技术提供的模型的训练方法、装置、设备及存储介质，通过将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。从而通过未标注的视频数据对模型进行非监督学习，提高模型对特定场景的预测能力，缩短模型的训练周期，提高模型的训练效率。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术一应用场景的原理示意图；
[0021]图2为本专利技术实施例一提供的模型的训练方法的流程图；
[0022]图3为本专利技术实施例二提供的模型的训练方法的流程图；
[0023]图4为本专利技术实施例三提供的模型的训练装置的结构示意图；
[0024]图5为本专利技术实施例四提供的模型的训练装置的结构示意图；
[0025]图6为本专利技术实施例五提供的模型的训练设备的结构示意图。
[0026]通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
[0027]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0029]下面以具体地实施例对本专利技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0030]计算机视觉在图像处理技术中占有重要的地位，而计算机视觉一般都是通过训练神经网络模型来达到对图像的检测、分类、预测的目的。现有的非监督学习希望使用未标注的数据完成模型训练，以专注于更好的特征学习。但是单纯的非监督学习难以达到监督学习的准确率。因此，现有技术一般通过大量的标注数据对神经网络模型进行监督学习，以得到符合要求的神经网络模型。但是，这种方式需要预先生成大量的训练数据，训练周期长，对训练数据的依赖度高，模型训练过程复杂，效率低下。
[0031]本专利技术的目的并不是为了通过完全的非监督学习来训练神经网络，而是在监督学习后的神经网络模型基础上，利用视频数据进行非监督学习，以提升神经网络针对特定场景的预测能力，是利用非监督学习进行迁移学习的过程。本专利技术使用的训练方法无需提前额外生成训练数据，通过神经网络直接预测前后帧无需额外的数据生成，方便大规模使用。
[0032]由于已标注数据规模远远小于未标注数据，利用未标注数据的需求变得十分明显。对于视频采集的数据，具有序列相关的特点。本专利技术利用这一特点，使用生成模型训练的方法，将未标注的大量视频数据引入训练，可以更好的提升神经网络的特征提取能力，尤其是通用神经网络迁移到特定场景下的特征提取能力。最终，会提升神经网络在特定场景中的各项任务的能力。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的训练方法，其特征在于，包括：将采集到的T帧图像和T+J帧图像输入预训练模型；T和J为大于0的自然数；其中，所述T帧图像和所述T+J帧图像为未进行标注处理的图像，所述预训练模型是已具备图像特征提取功能的神经网络模型；通过所述预训练模型提取所述T帧图像和所述T+J帧图像的图像特征，得到T帧的图像特征和T+J帧的图像特征；根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能。2.根据权利要求1所述的方法，其特征在于，根据T帧的图像特征和T+J帧的图像特征所对应的第一约束损失函数，优化所述预训练模型的特征提取功能，包括：通过神经网络的反向传递功能，根据所述第一约束损失函数的输出值，不断优化所述预训练模型的特征提取功能，直到所述第一约束损失函数的输出值小于第一预设阈值；其中，所述第一约束损失函数用于评估所述T帧的图像特征和T+J帧的图像特征的相似度；所述T帧的图像特征和T+J帧的图像特征的相似度越高，则所述第一约束损失函数的输出值越小；所述第一约束损失函数包括：L1损失函数、L2损失函数、余弦相似度损失函数中的任一种。3.根据权利要求1或2所述的方法，其特征在于，还包括：将所述T帧的图像特征和所述T+J帧的图像特征输入至少一个重构模型，得到预测的T+N帧的图像特征；其中，所述重构模型为未经训练的神经网络模型，用于根据所述T帧的图像特征和所述T+J帧的图像特征的融合特征，预测T+N帧的图像特征；N为大于J的自然数。4.根据权利要求3所述的方法，其特征在于，还包括：从视频中提取出真实的T+N帧的图像特征；通过神经网络的反向传递功能，根据第二约束损失函数的输出值，不断优化所述预训练模型的特征提取功能，直到所述第二约束损失函数的输出值小于第二预设阈值；其中，所述第二约束损失函数用于评估所述真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度；所述真实的T+N帧的图像特征和预测的T+N帧的图像特征的相似度越高，则所述第二约束损失函数的输出值越小；所述第二约束损失函数包括：L1损失函数、L2损失函数、余弦相似度损失函数中的任一种。5.根据权利要求1所述的方法，其特征在于，所述预训练模型是通过训练集训练的具备图...

【专利技术属性】
技术研发人员：秦暕，
申请(专利权)人：北京四维图新科技股份有限公司，
类型：发明
国别省市：