图像处理方法、装置、处理设备及存储介质制造方法及图纸

本公开实施例公开了一种图像处理方法、装置、处理设备及存储介质。其中，所述方法包括：获取对象的预定图像的图像帧；其中，所述图像帧中的至少两个图像帧的分辨率不同；基于所述图像帧的分辨率对所述图像帧进行分类，获得具有不同分辨率的图像帧；将所述不同分辨率的图像帧分别输入训练后的用于图像帧融合的第一模型，获得所述预定图像的融合图像特征。本公开实施例中能够基于不同分辨率的图像帧获得预定图像的融合图像特征，从而使得融合图像特征能够指示的信息更丰富全面，在进一步利用融合图像特征进行算法运算的处理过程中，能够获得更准确的运算结果。得更准确的运算结果。得更准确的运算结果。

【技术实现步骤摘要】
图像处理方法、装置、处理设备及存储介质


[0001]本专利技术涉及且不限于信息处理领域，尤其涉及一种图像处理方法、装置、处理设备及存储介质。

技术介绍

[0002]在进行图像的信息处理的一些应用场景中，往往利用单一分辨率的图像提取图像特征。由于提取的图像特征是基于单一分辨率的图像提取的，因此，提取的图像特征的空间信息少，图像特征不能够高精度地指示的图像的空间情况。如此，导致图像特征用于描述图像的各个物体之间的位置关系时，描述的精度差。

技术实现思路

[0003]有鉴于此，本公开实施例公开了一种图像处理方法、装置、处理设备及存储介质。
[0004]根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：
[0005]获取对象的预定图像的图像帧；其中，所述图像帧中的至少两个图像帧的分辨率不同；
[0006]基于所述图像帧的分辨率对所述图像帧进行分类，获得具有不同分辨率的图像帧；
[0007]将所述不同分辨率的图像帧分别输入训练后的用于图像帧融合的第一模型，获得所述预定图像的融合图像特征。
[0008]在一个实施例中，所述第一模型包括用于分别处理不同分辨率的图像帧的至少两个子网；所述将所述不同分辨率的图像帧分别输入用于图像帧融合的第一模型，获得所述预定图像的融合图像特征，包括：
[0009]将所述不同分别率的图像帧分别输入第一模型的不同子网；
[0010]利用至少两个所述子网分别获得不同分辨率的图像帧的图像特征；
[0011]在输入的图像帧的分辨率低于预定分辨率的子网中，对所述图像特征执行上采样，获得上采样后的图像特征；
[0012]将所述图像特征输入用于处理分辨率高于所述预定分辨率的图像帧的子网。
[0013]在一个实施例中，所述将所述不同分辨率的图像帧分别输入用于图像帧融合的第一模型，获得所述预定图像的融合图像特征，包括：
[0014]在子网中对输入的所述图像帧的图像特征进行分割，获得分割后的图像特征；
[0015]确定所述图像特征的特征序列；
[0016]基于所述特征序列，对所述图像特征执行预处理操作，获得处理后的图像特征；其中，所述预处理操作包括以下至少之一：嵌入操作和/或添加位置编码信息的操作；其中，所述嵌入操作包括将所述图像特征转换成N维向量的操作；所述位置编码信息用于指示所述图像特征在N维向量空间中的位置；N为大于1的整数；
[0017]将所述图像特征输入解码器，获得解码后的图像特征。
[0018]在一个实施例中，所述子网中包括M个模型组件；所述模型组件至少包括用于获得不同分辨率的图像帧的图像特征的卷积神经网络以及所述解码器；所述融合图像特征包括各个子网的第M个模型组件的解码器输出的图像特征；M为正整数。
[0019]在一个实施例中，所述方法还包括：
[0020]将训练样本输入第一模型进行训练直至第一模型的收敛函数收敛，获得训练后的第一模型。
[0021]在一个实施例中，所述方法还包括：
[0022]将所述融合图像特征输入用于分割图像特征的第二模型，获得至少两类图像识别特征；其中，所述两类图像识别特征与所述对象包含的至少一个组成部分的特征关联。
[0023]根据本公开实施例的第二方面，提供一种图像处理方法，所述方法包括：
[0024]获取对象的预定图像的图像帧；
[0025]基于所述图像帧，获得所述预定图像的融合图像特征；
[0026]将所述图像特征输入训练后的至少用于分割图像特征的第二模型，获得至少两类图像识别特征；其中，所述至少两类图像识别特征与所述对象包含的至少一个组成部分的特征关联。
[0027]在一个实施例中，所述将图像特征输入用于分割图像特征的第二模型，获得至少两类图像识别特征，包括：
[0028]利用所述第二模型将所述图像特征至少分割成第一图像特征以及第二图像特征；
[0029]至少基于分割前的图像特征及所述第一图像特征，确定第一类图像识别特征；
[0030]和/或，
[0031]至少基于分割前的图像特征及所述第二图像特征，确定第二类图像识别特征；
[0032]和/或，
[0033]至少基于分割前的图像特征、所述第一图像特征以及所述第二图像特征，确定第三类图像识别特征。
[0034]在一个实施例中，所述方法包括：
[0035]将训练样本输入第二模型进行训练直至第二模型的收敛函数收敛，获得训练后的所述第二模型。
[0036]在一个实施例中，所述图像帧中的至少两个图像帧的分辨率不同；所述基于所述图像帧，获得所述预定图像的融合图像特征，包括：
[0037]基于所述图像帧的分辨率对所述图像帧进行分类，获得具有不同分辨率的图像帧；
[0038]将所述不同分辨率的图像帧分别输入用于图像帧融合的第一模型，获得所述预定图像的所述融合图像特征。
[0039]根据本公开实施例的第三方面，提供一种图像处理方法，所述方法包括：
[0040]获取对象的预定图像；其中，所述预定图像包括对象的坐姿图像；
[0041]对所述预定图像执行根据本公开实施例的第一方面提供的图像处理方法，获得融合图像特征；
[0042]对所述融合图像特征执行根据本公开实施例的第二方面提供的图像处理方法，获得至少两类图像识别特征；其中，所述至少两类图像识别特征与所述对象包含的至少一个
组成部分的特征关联；
[0043]将所述至少两类图像识别特征输入训练后的第三模型，获得对象的坐姿参数和/或注意力参数；其中，所述第三模型至少用于确定对象包含的至少一个组成部分的特征对应的所述坐姿参数和/或所述对象的注意力参数。
[0044]在一个实施例中，所述第三模型包括分别用于确定对象的坐姿参数的第四模型以及用于确定对象的注意力参数的第五模型；所述方法包括：
[0045]将训练样本输入第三模型进行训练直至第三模型的收敛函数收敛，获得所述训练后的第三模型。
[0046]在一个实施例中，所述将所述至少两类图像识别特征输入训练后的第三模型，获得对象的坐姿参数和/或注意力参数，包括：
[0047]将所述至少两类图像识别特征输入用于确定对象的坐姿参数的第四模型，获得所述对象的坐姿参数。
[0048]在一个实施例中，所述将所述至少两类图像识别特征输入训练后的第三模型，获得对象的坐姿参数和/或注意力参数，包括：
[0049]将所述至少两类图像识别特征输入用于确定对象的注意力参数的第五模型，获得所述对象的注意力参数。
[0050]在一个实施例中，所述至少两类图像识别特征至少分别与所述对象的头部或者躯干的特征关联。
[0051]根据本公开实施例的第四方面，提供一种图像处理装置，所述图像处理装置包括：
[0052]第一获取模块，用于：获取对象的预定图像的图像帧；其中，所述图像帧中的至少两个图像帧的分辨率不同；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取对象的预定图像的图像帧；其中，所述图像帧中的至少两个图像帧的分辨率不同；基于所述图像帧的分辨率对所述图像帧进行分类，获得具有不同分辨率的图像帧；将所述不同分辨率的图像帧分别输入训练后的用于图像帧融合的第一模型，获得所述预定图像的融合图像特征。2.根据权利要求1所述的方法，其特征在于，所述第一模型包括用于分别处理不同分辨率的图像帧的至少两个子网；所述将所述不同分辨率的图像帧分别输入用于图像帧融合的第一模型，获得所述预定图像的融合图像特征，包括：将所述不同分别率的图像帧分别输入第一模型的不同子网；利用至少两个所述子网分别获得不同分辨率的图像帧的图像特征；在输入的图像帧的分辨率低于预定分辨率的子网中，对所述图像特征执行上采样，获得上采样后的图像特征；将所述图像特征输入用于处理分辨率高于所述预定分辨率的图像帧的子网。3.根据权利要求2所述的方法，其特征在于，所述将所述不同分辨率的图像帧分别输入用于图像帧融合的第一模型，获得所述预定图像的融合图像特征，包括：在子网中对输入的所述图像帧的图像特征进行分割，获得分割后的图像特征；确定所述图像特征的特征序列；基于所述特征序列，对所述图像特征执行预处理操作，获得处理后的图像特征；其中，所述预处理操作包括以下至少之一：嵌入操作和/或添加位置编码信息的操作；其中，所述嵌入操作包括将所述图像特征转换成N维向量的操作；所述位置编码信息用于指示所述图像特征在N维向量空间中的位置；N为大于1的整数；将所述图像特征输入解码器，获得解码后的图像特征。4.根据权利要求3所述的方法，其特征在于，所述子网中包括M个模型组件；所述模型组件至少包括用于获得不同分辨率的图像帧的图像特征的卷积神经网络以及所述解码器；所述融合图像特征包括各个子网的第M个模型组件的解码器输出的图像特征；M为正整数。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将训练样本输入第一模型进行训练直至第一模型的收敛函数收敛，获得训练后的第一模型。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述融合图像特征输入用于分割图像特征的第二模型，获得至少两类图像识别特征；其中，所述两类图像识别特征与所述对象包含的至少一个组成部分的特征关联。7.一种图像处理方法，其特征在于，所述方法包括：获取对象的预定图像的图像帧；基于所述图像帧，获得所述预定图像的融合图像特征；将所述图像特征输入训练后的至少用于分割图像特征的第二模型，获得至少两类图像识别特征；其中，所述至少两类图像识别特征与所述对象包含的至少一个组成部分的特征关联。8.根据权利要求7所述的方法，其特征在于，所述将所述图像特征输入训练后的至少用于分割图像特征的第二模型，获得至少两类图像识别特征，包括：
利用所述第二模型将所述图像特征至少分割成第一图像特征以及第二图像特征；至少基于分割前的图像特征及所述第一图像特征，确定第一类图像识别特征；和/或，至少基于分割前的图像特征及所述第二图像特征，确定第二类图像识别特征；和/或，至少基于分割前的图像特征、所述第一图像特征以及所述第二图像特征，确定第三类图像识别特征。9.根据权利要求7所述的方法，其特征在于，所述方法包括：将训练样本输入第二模型进行训练直至第二模型的收敛函数收敛，获得训练后的所述第二模型。10.根据权利要求7所述的方法，其特征在于，所述图像帧中的至少两个图像帧的分辨率不同；所述基于所述图像帧，获得所述预定图像的融合图像特征，包括：基于所述图像帧的分辨率对所述图像帧进行分类，获得具有不同分辨率的图像帧；将所...

【专利技术属性】
技术研发人员：李廷龙，欧阳柏强，陈庆勇，郭丽茹，张璐璐，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：