一种运动感知模型的训练方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种运动感知模型的训练方法、装置、电子设备及存储介质，包括获取训练图像组集合和每一训练图像组对应的标签光流信息，对每一训练图像组进行特征提取处理，确定多个目标特征图集，从每一目标特征图集中，确定每一训练图像组对应的预测光流信息，根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息，基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。本申请可以监督中间的特征层的采样所得到感知信息，提高模型输出的运动状态的精确性。

【技术实现步骤摘要】
一种运动感知模型的训练方法、装置、电子设备及存储介质
本专利技术涉及深度学习领域，尤其涉及一种运动感知模型的训练方法、装置、电子设备及设存储介质。
技术介绍
随着深度学习技术的不断发展，人们使用神经网络对运动物体进行分割，现有基于神经网络对运动物体进行感知的方法，主要是基于Tokmakov提出的一种运动显著性估计的网络结构，该网络是一种端到端的网络结构，即在网络的一端输入光流场，在另一端解码输出运动显著性的地图。由于该网络是通过大感受野感知场景的整体运动状态，因此，在网络设计过程中，会对中间的特征层进行采样，但是在该网络只监督最后一层的输出，因此很难保证对中间的特征层的采样所得到感知信息是想要的信息。如此，将使得网络输出的运动状态的精确性不高，且可能会输出冗余信息，造成计算机资源的浪费。
技术实现思路
本专利技术实施例提供一种运动感知模型的训练方法、装置、电子设备及存储介质，可以监督中间的特征层的采样所得到感知信息，可以提高模型输出的运动状态的精确性。本专利技术实施例提供了一种运动感知模型的训练方法，该方法包括获取训练图像组集合和每一训练图像组对应的标签光流信息；构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集；从每一目标特征图集中，确定每一训练图像组对应的预测光流信息；根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息；基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集；当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。进一步地，对每一训练图像组进行特征提取处理，确定多个目标特征图集，包括：基于当前机器学习模型，对每一训练图像组进行特征提取处理，得到待处理特征图集；对待处理特征图集进行特征提取处理，得到第一特征图集；根据待处理特征图集和第一特征图集，确定第二特征图集；基于第二特征图集，确定多个目标特征图集。进一步地，对待处理特征图集进行特征提取处理，得到第一特征图集之前，还包括：对相机参数信息进行全连接处理，得到相机参数信息对应的权重信息集合和偏置信息集合；根据权重信息集合和偏置信息集合，确定卷积信息集合；卷积信息集合包括第一卷积信息和第二卷积信息中的至少一个。进一步地，基于第二特征图集，确定多个目标特征图集，包括：对第二特征图集进行特征提取处理，得到第三特征图集；将第二特征图集和第三特征图集进行堆叠处理，得到第一候选特征图集；对第一候选特征图集进行特征提取处理，得到多个目标特征图集。进一步地，对候选特征图集进行特征提取处理，得到多个目标特征图集，包括：基于第一预设卷积信息，对第一候选特征图集进行特征提取处理，得到第二候选特征图集，基于第二预设卷积信息，对第二候选特征图集进行特征提取处理，得到第一目标特征图子集；基于第三预设卷积信息，对第一候选特征图集进行特征提取处理，得到第二目标特征图子集；对第一目标特征图子集和第二目标特征图子集进行采样处理，得到多个目标特征图集。进一步地，若卷积信息集合包括第一卷积信息和第二卷积信息，对待处理特征图集进行特征提取处理，得到第一特征图集，包括：基于第一卷积信息，对待处理特征图集进行特征提取处理，得到第一特征图集；对第二特征图集进行特征提取处理，得到第三特征图集，包括：基于第二卷积信息，对第二特征图集进行特征提取处理，得到第三特征图集。本申请实施例还提供了一种运动感知模型的训练装置，该装置包括：获取模块，用于获取训练图像组集合和每一训练图像组对应的标签光流信息；构建模块，用于构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；目标特征图集确定模块，用于基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集；预测光流信息确定模块，用于从每一目标特征图集中，确定每一训练图像组对应的预测光流信息；损失信息确定模块，用于根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息；调整模块，用于基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集；模型确定模块，用于当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。进一步地，该装置还包括：全连接处理模块，用于对相机参数信息进行全连接处理，得到相机参数信息对应的权重信息集合和偏置信息集合；卷积信息确定模块，用于根据权重信息集合和偏置信息集合，确定卷积信息集合；卷积信息集合包括第一卷积信息和第二卷积信息中的至少一个。相应地，本专利技术实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述运动感知模型的训练方法。相应地，本专利技术实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述运动感知模型的训练方法。本专利技术实施例具有如下有益效果：本专利技术实施例提供了一种运动感知模型的确定方法、装置、电子设备及存储介质，包括获取训练图像组集合和每一训练图像组对应的标签光流信息，构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型，基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集，从每一目标特征图集中，确定每一训练图像组对应的预测光流信息，根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息，基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型，重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集，当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。基于本申请实施例，可以监督中间的特征层的采样所得到感知信息，可以提高模型输出的运动状态的精确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将本文档来自技高网...

【技术保护点】
1.一种运动感知模型的训练方法，其特征在于，包括：/n获取训练图像组集合和每一训练图像组对应的标签光流信息；/n构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；/n基于所述当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集；/n从每一目标特征图集中，确定每一训练图像组对应的预测光流信息；/n根据所述标签光流信息和所述预测光流信息，确定每一目标特征图集对应的损失信息；/n基于所述每一目标特征图集对应的损失信息对所述当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集；/n当对所述当前机器学习模型的参数进行调整的次数大于预设阈值时，将所述当前机器学习模型确定为所述运动感知模型，将所述损失信息对应的模型参数确定为所述运动感知模型的参数。/n

【技术特征摘要】
1.一种运动感知模型的训练方法，其特征在于，包括：
获取训练图像组集合和每一训练图像组对应的标签光流信息；
构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；
基于所述当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集；
从每一目标特征图集中，确定每一训练图像组对应的预测光流信息；
根据所述标签光流信息和所述预测光流信息，确定每一目标特征图集对应的损失信息；
基于所述每一目标特征图集对应的损失信息对所述当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集；
当对所述当前机器学习模型的参数进行调整的次数大于预设阈值时，将所述当前机器学习模型确定为所述运动感知模型，将所述损失信息对应的模型参数确定为所述运动感知模型的参数。


2.根据权利要求1所述的方法，其特征在于，所述对每一训练图像组进行特征提取处理，确定多个目标特征图集，包括：
基于所述当前机器学习模型，对每一训练图像组进行特征提取处理，得到待处理特征图集；
对所述待处理特征图集进行特征提取处理，得到第一特征图集；
根据所述待处理特征图集和所述第一特征图集，确定第二特征图集；
基于所述第二特征图集，确定多个目标特征图集。


3.根据权利要求2所述的方法，其特征在于，所述对所述待处理特征图集进行特征提取处理，得到第一特征图集之前，还包括：
对相机参数信息进行全连接处理，得到所述相机参数信息对应的权重信息集合和偏置信息集合；
根据所述权重信息集合和所述偏置信息集合，确定卷积信息集合；所述卷积信息集合包括第一卷积信息和第二卷积信息中的至少一个。


4.根据权利要求2所述的方法，其特征在于，所述基于所述第二特征图集，确定多个目标特征图集，包括：
对所述第二特征图集进行特征提取处理，得到第三特征图集；
将所述第二特征图集和所述第三特征图集进行堆叠处理，得到第一候选特征图集；
对所述第一候选特征图集进行特征提取处理，得到所述多个目标特征图集。


5.根据权利要求4所述的方法，其特征在于，所述对所述候选特征图集进行特征提取处理，得到所述多个目标特征图集，包括：
基于第一预设卷积信息，对所述第一候选特征图集进行特征提取处理，得到第二候选特征图集，
基于第二预设卷积信息，对所述第二候选特征图集进行特征提取处理，得到第一目标特征图子集；
基于第三预设卷积信息，对所述第一候选特征图集进行特征提取处理，得到第二目标特征图子集；
对所述第一目标特征图...

【专利技术属性】
技术研发人员：李嘉茂，王贤舜，朱冬晨，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31