模型确定方法及相关装置制造方法及图纸

本申请实施例提供一种模型确定方法及相关装置，其中，所述方法包括：根据第一模型对所述输入视频进行分类处理，得到第一特征数据，以及根据第二模型对所述输入视频进行分类处理，得到第二特征数据；根据所述第一特征数据、所述第二特征数据，确定第一损失函数；根据所述第一模型和所述第二模型的网络参数，确定第二损失函数；根据所述第一损失函数和所述第二损失函数中至少一个，确定目标损失函数；根据所述目标损失函数对所述第一模型进行调整，以得到第三模型，能够提升调整后得到的模型处理视频分类任务时的准确性。

【技术实现步骤摘要】
模型确定方法及相关装置
本申请涉及数据处理
，具体涉及一种模型确定方法及相关装置。
技术介绍
行为识别作为视频行为理解领域中最基础的研究方向之一，旨在识别修剪视频中发生的动作类别，吸引了越来越多人的关注。现有的基于深度学习的方法主要包含了两种典型的类别：双流网络旨在从RGB图像和堆叠光流中分别捕捉表冠和运动信息，而三维卷积采用3D卷积直接从原始视频中捕捉空间和时间信息。然而，无论哪种方案，为了获得较好的性能，通常都需要牺牲巨大的参数和资源作为代价。为了考虑行为分类的实时性，越来越多研究学者开始探索轻量化模型。蒸馏学习是一种常见的模型轻量化手段，通过将较大的教师模型中关键的信息蒸馏进较小的学生模型中，从而使得学生模型达到与教师模型相近的性能。少数的用于视频分类任务的蒸馏方法大多停留在输入数据层面的有效选取，或者照搬图像分类领域的蒸馏方法，导致了蒸馏得到的学生模型在处理视频分类任务时的准确性较低。
技术实现思路
本申请实施例提供了一种模型确定方法及相关装置，能够提升调整后得到的模型处理视频分类任务时的准确性。...

【技术保护点】
1.一种模型确定方法，其特征在于，所述方法包括：/n根据第一模型对所述输入视频进行分类处理，得到第一特征数据，以及根据第二模型对所述输入视频进行分类处理，得到第二特征数据；/n根据所述第一特征数据、所述第二特征数据，确定第一损失函数；/n根据所述第一模型和所述第二模型的网络参数，确定第二损失函数；/n根据所述第一损失函数和所述第二损失函数中至少一个，确定目标损失函数；/n根据所述目标损失函数对所述第一模型进行调整，以得到第三模型。/n

【技术特征摘要】
1.一种模型确定方法，其特征在于，所述方法包括：
根据第一模型对所述输入视频进行分类处理，得到第一特征数据，以及根据第二模型对所述输入视频进行分类处理，得到第二特征数据；
根据所述第一特征数据、所述第二特征数据，确定第一损失函数；
根据所述第一模型和所述第二模型的网络参数，确定第二损失函数；
根据所述第一损失函数和所述第二损失函数中至少一个，确定目标损失函数；
根据所述目标损失函数对所述第一模型进行调整，以得到第三模型。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征数据、所述第二特征数据，确定第一损失函数，包括：
对所述第一特征数据进行变换，以得到第一频谱数据，以及对所述第二特征数据进行变换，以得到第二频谱数据；
至少根据所述第一频谱数据和所述第二频谱数据，确定所述第一损失函数。


3.根据权利要求2所述的方法，其特征在于，所述第一频谱数据包括所述第一模型中的K个第一恒等结构块的输出数据进行变换后的数据，所述第二频谱数据包括所述第二模型中的K个第二恒等结构块的输出数据进行变换后的数据，所述至少根据所述第一频谱数据和所述第二频谱数据，确定所述第一损失函数，包括：
获取预测器模型的第一参数，所述预测器模型用于确定所述第二模型和所述第一模型的输出数据的尺度相同；
根据所述第一模型中的K个第一恒等结构块的输出数据进行变换后的数据、所述第二模型中的K个第二恒等结构块的输出数据进行变换后的数据和所述第一参数，确定第一损失函数。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一模型和所述第二模型的网络参数，确定第二损失函数，包括：
获取所述第一模型的第一网络参数，以及获取所述第二模型的第二网络参数；
对所述第一网络参数进行排序，得到第一累计分布图，以及对所述第二网络参数进行排序，得到第二累计分布图；
根据所述第一累计分布图和所述第二累计分布图的散度，确定所述第二损失函数。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一损失函数和所述第二损失函数中至少一个，确定目标损失函数，包括：
获取所述第一模型的第三损失函数，所述第三损失函数为视频分类损失函数；
根据所述第一损失函数和所述第三损失函数，确定目标损失函数。


6.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一...

【专利技术属性】
技术研发人员：苏海昇，苏婧，武伟，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31