一种图像处理方法、装置、计算机设备以及存储介质制造方法及图纸

本公开提供了一种图像处理方法、装置、计算机设备以及存储介质，其中，该方法包括：获取当前图像帧，并获取当前图像帧的上一图像帧的图像处理结果；获取用于对所述当前图像帧进行处理的图像处理模型，并确定所述图像处理模型中的融合位置和融合方式；在所述图像处理模型提取所述当前图像帧的图像特征的过程中，按照所述融合方式将所述图像处理模型中位于所述融合位置之前的网络模块输出的图像特征和所述上一图像帧的图像处理结果进行融合，得到融合结果；将所述融合结果输入至所述图像处理模型中位于所述融合位置之后的网络模块进行图像处理，得到所述当前图像帧的图像处理结果。

【技术实现步骤摘要】
一种图像处理方法、装置、计算机设备以及存储介质
本公开涉及图像处理的
，具体而言，涉及一种图像处理方法、装置、计算机设备以及存储介质。
技术介绍
随着人工智能技术和智能终端设备的快速发展，在智能终端设备中越来越多的应用程序开始部署用于进行图像处理的神经网络模型，例如，姿态估计网络模型、人脸识别模型、图像分割网络模型等各种类型的网络模型。在现有的神经网络模型的图像处理方法中，通过神经网络模型对每个图像进行单独的处理。且在图像的数量为多个的情况下，用于对多个图像进行图像处理的神经网络模型的结构是相同。在该处理方式下，并未实现在图像之间合理分配计算资源，从而导致神经网络模型的处理精度无法满足实际应用需求。
技术实现思路
本公开实施例至少提供一种图像处理方法、装置、计算机设备以及存储介质。第一方面，本公开实施例提供了一种图像处理方法，包括：获取当前图像帧，并获取当前图像帧的上一图像帧的图像处理结果；获取用于对当前图像帧进行处理的图像处理模型，并确定所述图像处理模型中的融合位置和融合方式；在所述图像处理模型提取所述当前图本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取当前图像帧，并获取当前图像帧的上一图像帧的图像处理结果；/n获取用于对当前图像帧进行处理的图像处理模型，并确定所述图像处理模型中的融合位置和融合方式；/n在所述图像处理模型提取所述当前图像帧的图像特征的过程中，按照所述融合方式将所述图像处理模型中位于所述融合位置之前的网络模块输出的图像特征和所述上一图像帧的图像处理结果进行融合，得到融合结果；/n将所述融合结果输入至所述图像处理模型中位于所述融合位置之后的网络模块进行图像处理，得到所述当前图像帧的图像处理结果。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取当前图像帧，并获取当前图像帧的上一图像帧的图像处理结果；
获取用于对当前图像帧进行处理的图像处理模型，并确定所述图像处理模型中的融合位置和融合方式；
在所述图像处理模型提取所述当前图像帧的图像特征的过程中，按照所述融合方式将所述图像处理模型中位于所述融合位置之前的网络模块输出的图像特征和所述上一图像帧的图像处理结果进行融合，得到融合结果；
将所述融合结果输入至所述图像处理模型中位于所述融合位置之后的网络模块进行图像处理，得到所述当前图像帧的图像处理结果。


2.根据权利要求1所述的方法，其特征在于，所述获取用于对当前图像帧进行处理的图像处理模型，包括：
基于超网络确定用于对所述当前图像帧进行处理的图像处理模型；所述超网络包括多个具有连接关系的网络模块。


3.根据权利要求2所述的方法，其特征在于，所述基于超网络确定用于对所述当前图像帧进行处理的图像处理模型，包括：
在所述当前图像帧所属的视频片段中确定包含所述当前图像帧的多个连续非关键帧；
在预先训练的第一超网络中搜索满足第一计算资源约束条件的至少一个子网络模型组，其中，每个所述子网络模型组中包含为每个非关键帧搜索的第一子网络模型；
基于所述至少一个子网络模型组确定用于对所述当前图像帧进行处理的图像处理模型。


4.根据权利要求3所述的方法，其特征在于，所述基于所述至少一个子网络模型组确定用于对所述当前图像帧进行处理的图像处理模型，包括：
获取目标测试样本；
通过所述目标测试样本对每个所述子网络模型组进行测试，得到至少一个测试结果；
在所述至少一个测试结果中选择目标测试结果所对应的目标子网络模型组，并根据所述目标子网络模型组确定所述图像处理模型，其中，所述目标测试结果为所述至少一个测试结果中满足第一测试条件的测试结果。


5.根据权利要求3或4所述的方法，其特征在于，所述在预先训练的第一超网络中搜索满足第一计算资源约束条件的至少一个子网络模型组，包括：
确定每个非关键帧的目标搜索范围；其中，每个所述目标搜索范围中包含预设搜索维度中多个第一搜索维度的一个搜索范围；所述第一搜索维度包含：用于指示图像处理模型结构的空间搜索维度，以及用于指示所述融合位置和融合方式的时间搜索维度；
基于各个非关键帧的目标搜索范围，在预先训练的第一超网络中搜索满足所述第一计算资源约束条件的子网络模型，并根据搜索到的子网络模型确定所述子网络模型组。


6.根据权利要求3所述的方法，其特征在于，通过以下步骤训练待训练的第一超网络：
获取第一训练样本集，其中，所述第一训练样本集中包含多个第一训练样本，每个第一训练样本包含多个非关键帧；
在待训练的第一超网络中提取多组待训练子网络；每组待训练子网络中子网络的数量与每个第一训练样本中非关键帧的数量相同，且一个待训练子网络对应处理该训练样本中的一个非关键帧；
通过所述第一训练样本集对每组待训练子网络进行训练，训练之后得到所述第一超网络。


7.根据权利要求1所述的方法，其特征在于，在所述上一图像帧为关键帧的情况下，通过以下步骤确定所述上一图像帧所对应图像处理模型：
在预设搜索维度中确定与所述上一图像帧相匹配的多个第二搜索维度的搜索范围；所述多个第二搜索维度包含用于指示所述上一图像帧所对应的图像处理模型结构的空间搜索维度；
基于各个第二搜索维度的搜索范围对预先训练的第二超网络进行搜索，得到满足第二计算资源约束条件的至少一个第二子网络模型；其中，所述第二计算资源约束条件用于表征对...

【专利技术属性】
技术研发人员：许鲁珉，关英妲，金晟，刘文韬，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11