图像处理方法、训练方法、模型驱动方法及装置、介质制造方法及图纸

一种图像处理方法、训练方法、模型驱动方法、图像处理装置、训练装置、模型驱动装置和非瞬时性计算机可读存储介质。该图像处理方法基于神经网络实现，神经网络包括预处理特征提取子网络，图像处理方法包括：获取输入图像；利用预处理特征提取子网络对输入图像进行特征提取操作，以得到特征图；对特征图进行处理，以得到多个输出驱动参数；基于多个输出驱动参数，确定多个目标驱动参数。预处理特征提取子网络包括切片层，切片层用于执行切片操作，特征提取操作包括切片操作。取操作包括切片操作。取操作包括切片操作。

【技术实现步骤摘要】
图像处理方法、训练方法、模型驱动方法及装置、介质


[0001]本公开的实施例涉及一种图像处理方法、训练方法、模型驱动方法、图像处理装置、训练装置、模型驱动装置和非瞬时性计算机可读存储介质。

技术介绍

[0002]目前，在学生家庭教育场景中，增加学生学习的趣味性可以有效提高学生的学习效率和学习兴趣，提高学习成绩，对于营造和谐的家庭氛围至关重要。通过驱动虚拟形象，可以有效增加教辅过程的趣味性，然而，常规的驱动方式对设备的要求较高，成本高，不利于大面积推广。

技术实现思路

[0003]本公开至少一个实施例提供一种基于神经网络的图像处理方法，其中，所述神经网络包括预处理特征提取子网络，所述图像处理方法包括：获取输入图像；利用所述预处理特征提取子网络对所述输入图像进行特征提取操作，以得到特征图；对所述特征图进行处理，以得到多个输出驱动参数；基于所述多个输出驱动参数，确定多个目标驱动参数，其中，所述预处理特征提取子网络包括切片层，所述切片层用于执行切片操作，所述特征提取操作包括所述切片操作。
[0004]例如，在本公开至少一个实施例提供的图像处理方法中，所述预处理特征提取子网络还包括至少一个第一卷积层、预处理下采样层和第一拼接层，每个第一卷积层用于执行卷积操作，所述预处理下采样层用于执行下采样操作，所述第一拼接层用于执行通道维度拼接操作，所述特征提取操作还包括所述卷积操作、所述下采样操作和所述通道维度拼接操作。
[0005]例如，在本公开至少一个实施例提供的图像处理方法中，利用所述预处理特征提取子网络对所述输入图像进行特征提取操作，以得到特征图，包括：利用所述至少一个第一卷积层对所述输入图像进行所述卷积操作，以得到与所述至少一个卷积层一一对应的至少一个卷积特征图；利用所述预处理下采样层对所述输入图像进行所述下采样操作，以得到下采样特征图；利用所述切片层对所述输入图像进行所述切片操作，以得到切片特征图；利用所述第一拼接层对所述至少一个卷积特征图、所述下采样特征图和所述切片特征图进行所述通道维度拼接操作，以得到所述特征图。
[0006]例如，在本公开至少一个实施例提供的图像处理方法中，所述至少一个第一卷积层包括多个第一卷积层，所述多个第一卷积层中的至少两个第一卷积层的卷积核的尺寸不相同。
[0007]例如，在本公开至少一个实施例提供的图像处理方法中，所述预处理下采样层包括最大池化层。
[0008]例如，在本公开至少一个实施例提供的图像处理方法中，所述神经网络还包括多个主干特征提取子网络、多个主干下采样层、第二拼接层和全连接层组，所述多个主干特征
提取子网络与所述多个主干下采样层一一对应，对所述特征图进行处理，以得到多个输出驱动参数，包括：利用所述多个主干特征提取子网络对所述特征图进行处理，以得到所述多个主干特征提取子网络的输出；利用所述多个主干下采样层分别对所述多个主干特征提取子网络的输出进行处理，以得到所述多个主干下采样层的输出；利用所述第二拼接层对所述多个主干下采样层的输出进行通道维度拼接操作，以得到所述第二拼接层的输出；利用所述全连接层组对所述第二拼接层的输出进行全连接操作，以得到所述多个输出驱动参数。
[0009]例如，在本公开至少一个实施例提供的图像处理方法中，所述多个主干特征提取子网络包括至少一个卷积子网络和至少一个深度可分离卷积子网络，所述至少一个卷积子网络包括第一卷积子网络，所述至少一个深度可分离卷积子网络包括第一深度可分离卷积子网络，利用所述多个主干特征提取子网络对所述特征图进行处理，以得到所述多个主干特征提取子网络的输出，包括：利用所述第一卷积子网络对所述特征图进行处理，以得到所述第一卷积子网络的输出；利用所述第一深度可分离卷积子网络对所述第一卷积子网络的输出进行处理，以得到所述第一深度可分离卷积子网络的输出；其中，所述多个主干特征提取子网络的输出包括所述第一卷积子网络的输出和所述第一深度可分离卷积子网络的输出。
[0010]例如，在本公开至少一个实施例提供的图像处理方法中，所述至少一个深度可分离卷积子网络还包括第二深度可分离卷积子网络，利用所述多个主干特征提取子网络对所述特征图进行处理，以得到所述多个主干特征提取子网络的输出，还包括：利用所述第二深度可分离卷积子网络对所述第一深度可分离卷积子网络的输出进行处理，以得到所述第二深度可分离卷积子网络的输出；其中，所述多个主干特征提取子网络的输出还包括所述第二深度可分离卷积子网络的输出。
[0011]例如，在本公开至少一个实施例提供的图像处理方法中，每个卷积子网络包括多个卷积模块，每个卷积模块包括第二卷积层、批标准化层和激活层，所述第二卷积层用于执行卷积操作，所述批标准化层用于执行批标准化操作，所述激活层用于执行激活操作。
[0012]例如，在本公开至少一个实施例提供的图像处理方法中，所述第二卷积层包括多个第一卷积核，所述多个第一卷积核用于对所述第二卷积层的输入进行卷积操作；或者，所述多个第一卷积核包括多个第一卷积核组，每个第一卷积核组包括至少一个第一卷积核，所述第二卷积层的输入按照通道维度划分为多个子输入，每个第一卷积核组用于对所述第二卷积层的一个子输入进行卷积操作。
[0013]例如，在本公开至少一个实施例提供的图像处理方法中，每个深度可分离卷积子网络包括多个深度可分离卷积模块，每个深度可分离卷积模块包括深度可分离卷积层、批标准化层和激活层，所述深度可分离卷积层用于执行深度可分离卷积操作，所述批标准化层用于执行批标准化操作，所述激活层用于执行激活操作。
[0014]例如，在本公开至少一个实施例提供的图像处理方法中，所述深度可分离卷积层包括多个第二卷积核，所述多个第二卷积核用于对所述深度可分离卷积层的输入进行深度可分离卷积操作；或者，所述多个第二卷积核包括多个第二卷积核组，每个第二卷积核组包括至少一个第二卷积核，所述深度可分离卷积层的输入按照通道维度划分为多个子输入，每个第二卷积核组用于对所述深度可分离卷积层的一个子输入进行深度可分离卷积操作。
[0015]例如，在本公开至少一个实施例提供的图像处理方法中，所述多个主干下采样层包括第一主干下采样层、第二主干下采样层和第三主干下采样层，利用所述多个主干下采样层分别对所述多个主干特征提取子网络的输出进行处理，以得到所述多个主干下采样层的输出，包括：利用所述第一主干下采样层对所述第一卷积子网络的输出进行下采样操作，以得到所述第一主干下采样层的输出；利用所述第二主干下采样层对所述第一深度可分离卷积子网络的输出进行下采样操作，以得到所述第二主干下采样层的输出；利用所述第三主干下采样层对所述第二深度可分离卷积子网络的输出进行下采样操作，以得到所述第三主干下采样层的输出；其中，所述多个主干下采样层的输出包括所述第一主干下采样层的输出、所述第二主干下采样层的输出和所述第三主干下采样层的输出。
[0016]例如，在本公开至少一个实施例提供的图像处理方法中，利用所述第二拼接层对所述多个主干下采样层的输出进行通道维度拼接操作，以得到所述第二拼接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的图像处理方法，其中，所述神经网络包括预处理特征提取子网络，所述图像处理方法包括：获取输入图像；利用所述预处理特征提取子网络对所述输入图像进行特征提取操作，以得到特征图；对所述特征图进行处理，以得到多个输出驱动参数；基于所述多个输出驱动参数，确定多个目标驱动参数，其中，所述预处理特征提取子网络包括切片层，所述切片层用于执行切片操作，所述特征提取操作包括所述切片操作。2.根据权利要求1所述的图像处理方法，其中，所述预处理特征提取子网络还包括至少一个第一卷积层、预处理下采样层和第一拼接层，每个第一卷积层用于执行卷积操作，所述预处理下采样层用于执行下采样操作，所述第一拼接层用于执行通道维度拼接操作，所述特征提取操作还包括所述卷积操作、所述下采样操作和所述通道维度拼接操作。3.根据权利要求2所述的图像处理方法，其中，利用所述预处理特征提取子网络对所述输入图像进行特征提取操作，以得到特征图，包括：利用所述至少一个第一卷积层对所述输入图像进行所述卷积操作，以得到与所述至少一个卷积层一一对应的至少一个卷积特征图；利用所述预处理下采样层对所述输入图像进行所述下采样操作，以得到下采样特征图；利用所述切片层对所述输入图像进行所述切片操作，以得到切片特征图；利用所述第一拼接层对所述至少一个卷积特征图、所述下采样特征图和所述切片特征图进行所述通道维度拼接操作，以得到所述特征图。4.根据权利要求2所述的图像处理方法，其中，所述至少一个第一卷积层包括多个第一卷积层，所述多个第一卷积层中的至少两个第一卷积层的卷积核的尺寸不相同。5.根据权利要求2所述的图像处理方法，其中，所述预处理下采样层包括最大池化层。6.根据权利要求2所述的图像处理方法，其中，所述神经网络还包括多个主干特征提取子网络、多个主干下采样层、第二拼接层和全连接层组，所述多个主干特征提取子网络与所述多个主干下采样层一一对应，对所述特征图进行处理，以得到多个输出驱动参数，包括：利用所述多个主干特征提取子网络对所述特征图进行处理，以得到所述多个主干特征提取子网络的输出；利用所述多个主干下采样层分别对所述多个主干特征提取子网络的输出进行处理，以得到所述多个主干下采样层的输出；利用所述第二拼接层对所述多个主干下采样层的输出进行通道维度拼接操作，以得到所述第二拼接层的输出；利用所述全连接层组对所述第二拼接层的输出进行全连接操作，以得到所述多个输出驱动参数。7.根据权利要求6所述的图像处理方法，其中，所述多个主干特征提取子网络包括至少
一个卷积子网络和至少一个深度可分离卷积子网络，所述至少一个卷积子网络包括第一卷积子网络，所述至少一个深度可分离卷积子网络包括第一深度可分离卷积子网络，利用所述多个主干特征提取子网络对所述特征图进行处理，以得到所述多个主干特征提取子网络的输出，包括：利用所述第一卷积子网络对所述特征图进行处理，以得到所述第一卷积子网络的输出；利用所述第一深度可分离卷积子网络对所述第一卷积子网络的输出进行处理，以得到所述第一深度可分离卷积子网络的输出；其中，所述多个主干特征提取子网络的输出包括所述第一卷积子网络的输出和所述第一深度可分离卷积子网络的输出。8.根据权利要求7所述的图像处理方法，其中，所述至少一个深度可分离卷积子网络还包括第二深度可分离卷积子网络，利用所述多个主干特征提取子网络对所述特征图进行处理，以得到所述多个主干特征提取子网络的输出，还包括：利用所述第二深度可分离卷积子网络对所述第一深度可分离卷积子网络的输出进行处理，以得到所述第二深度可分离卷积子网络的输出；其中，所述多个主干特征提取子网络的输出还包括所述第二深度可分离卷积子网络的输出。9.根据权利要求7所述的图像处理方法，其中，每个卷积子网络包括多个卷积模块，每个卷积模块包括第二卷积层、批标准化层和激活层，所述第二卷积层用于执行卷积操作，所述批标准化层用于执行批标准化操作，所述激活层用于执行激活操作。10.根据权利要求9所述的图像处理方法，其中，所述第二卷积层包括多个第一卷积核，所述多个第一卷积核用于对所述第二卷积层的输入进行卷积操作；或者，所述多个第一卷积核包括多个第一卷积核组，每个第一卷积核组包括至少一个第一卷积核，所述第二卷积层的输入按照通道维度划分为多个子输入，每个第一卷积核组用于对所述第二卷积层的一个子输入进行卷积操作。11.根据权利要求7所述的图像处理方法，其中，每个深度可分离卷积子网络包括多个深度可分离卷积模块，每个深度可分离卷积模块包括深度可分离卷积层、批标准化层和激活层，所述深度可分离卷积层用于执行深度可分离卷积操作，所述批标准化层用于执行批标准化操作，所述激活层用于执行激活操作。12.根据权利要求11所述的图像处理方法，其中，所述深度可分离卷积层包括多个第二卷积核，所述多个第二卷积核用于对所述深度可分离卷积层的输入进行深度可分离卷积操作；或者，所述多个第二卷积核包括多个第二卷积核组，每个第二卷积核组包括至少一个第二卷积核，所述深度可分离卷积层的输入按照通道维度划分为多个子输入，每个第二卷积核组
用于对所述深度可分离卷积层的一个子输入进行深度可分离卷积操作。13.根据权利要求8所述的图像处理方法，其中，所述多个主干下采样层包括第一主干下采样层、第二主干下采样层和第三主干下采样层，利用所述多个主干下采样层分别对所述多个主干特征提取子网络的输出进行处理，以得到所述多个主干下采样层的输出，包括：利用所述第一主干下采样层对所述第一卷积子网络的输出进行下采样操作，以得到所述第一主干下采样层的输出；利用所述第二主干下采样层对所述第一深度可分离卷积子网络的输出进行下采样操作，以得到所述第二主干下采样层的输出；利用所述第三主干下采样层对所述第二深度可分离卷积子网络的输出进行下采样操作，以得到所述第三主干下采样层的输出；其中，所述多个主干下采样层的输出包括所述第一主干下采样层的输出、所述第二主干下采样层的输出和所述第三主干下采样层的输出。14.根据权利要求13所述的图像处理方法，其中，利用所述第二拼接层对所述多个主干下采样层的输出进行通道维度拼接操作，以得到所述第二拼接层的输出，包括：利用所述第二拼接层对所述第一主干下采样层的输出、所述第二主干下采样层的输出和所述第三主干下采样层的输出进行通道维度拼接操作，以得到所述第二拼接层的输出。15.根据权利要求...

【专利技术属性】
技术研发人员：贾兆柱，陈奕名，
申请(专利权)人：北京育达东方软件科技有限公司，
类型：发明
国别省市：