一种图像的处理方法、装置以及存储介质制造方法及图纸

本申请公开了一种图像的处理方法、装置以及存储介质。通过获取参考库和检索库；然后将参考库中的参考图像和提示语输入扩散模型得到估计噪声；并合并得到参考噪声特征；然后确定检索图像对应的多个检索噪声特征；进而根据多个检索噪声特征与参考噪声特征的相似度确定检索图像对应的目标标签，从而实现无需训练的标签配置过程。由于采用由扩散模型所得的参考库和检索库中图像的噪声之差，指示图像相似度匹配的过程，无需训练即可为检索库配置相应的标签，提高了训练数据配置过程中的图像处理效率。效率。效率。

【技术实现步骤摘要】
一种图像的处理方法、装置以及存储介质


[0001]本申请涉及计算机
，尤其涉及一种图像的处理方法
、
装置以及存储介质
。

技术介绍

[0002]随着人工智能技术的迅速发展，深度学习模型广泛的应用于图像的分类
、
检测等任务中，而随着训练数据的不断更新，如何将添加的训练数据适配到深度学习模型中称为难题
。
[0003]一般，可以将已有的训练数据与将添加的训练数据均输入深度学习模型进行训练，以完成添加的训练数据适配
。
[0004]但是，由于添加的训练数据属于零星的样本，较难很快的通过数据积累完成模型的适配，其训练过程需要大量时间，影响在训练数据配置过程中图像处理的效率
。

技术实现思路

[0005]有鉴于此，本申请提供一种图像的处理方法，可以有效提高训练数据配置过程中图像处理的效率
。
[0006]本申请第一方面提供一种图像的处理方法，可以应用于终端设备中包含图像的处理功能的系统或程序中，具体包括：
[0007]获取参考库和检索库，所述参考库中的参考图像配置了图像标签；
[0008]将所述参考库中的参考图像和所述参考图像对应的提示语输入扩散模型，以得到各个所述参考图像对应的估计噪声，所述提示语根据所述图像标签确定；
[0009]基于各个所述参考图像对应的所述图像标签对各个所述参考图像对应的所述估计噪声进行合并，以得到各个所述图像标签对应的参考噪声特征；
[0010]对所述检索库中的检索图像与各个所述图像标签分别进行组合得到多个检索组合，以将多个所述检索组合输入所述扩散模型得到所述检索图像对应的多个检索噪声特征；
[0011]根据多个所述检索噪声特征与所述参考噪声特征的特征相似度，确定所述检索图像对应的目标标签
。
[0012]可选的，在本申请一些可能的实现方式中，所述将所述参考库中的参考图像和所述参考图像对应的提示语输入扩散模型，以得到各个所述参考图像对应的估计噪声，包括：
[0013]将所述参考库中的参考图像输入所述扩散模型中的编码器，以得到所述参考图像对应的潜在向量；
[0014]对所述潜在向量添加噪声，以得到带噪向量；
[0015]对所述参考图像对应的提示语输入所述扩散模型中的文本图像匹配网络，以得到文本向量；
[0016]通过所述扩散模型中的语义分割网络，利用所述文本向量和所述带噪向量预测所述参考图像对应的估计噪声
。
[0017]可选的，在本申请一些可能的实现方式中，所述通过所述扩散模型中的语义分割网络，利用所述文本向量和所述带噪向量预测所述参考图像对应的估计噪声，包括：
[0018]获取与所述参考库和所述检索库相关的检索任务对应的场景信息；
[0019]根据所述场景信息确定噪声估计阶段中的目标阶段；
[0020]通过所述扩散模型中的语义分割网络，利用所述文本向量和所述带噪向量预测所述参考图像在所述目标阶段对应的估计噪声
。
[0021]可选的，在本申请一些可能的实现方式中，所述方法还包括：
[0022]通过所述扩散模型中的语义分割网络，利用所述文本向量和所述带噪向量预测所述参考图像在各个所述噪声估计阶段中对应的测试噪声；
[0023]根据所述测试噪声执行所述检索任务，以得到各个所述噪声估计阶段对应的效果信息；
[0024]基于所述效果信息中指示的性能参数确定所述目标阶段
。
[0025]可选的，在本申请一些可能的实现方式中，所述方法还包括：
[0026]获取由所述参考图像确定对应的估计噪声时所采用噪声估计阶段中的目标阶段；
[0027]基于所述目标阶段执行多个检索组合在所述扩散模型中确定检索噪声特征的过程
。
[0028]可选的，在本申请一些可能的实现方式中，所述将所述参考库中的参考图像输入所述扩散模型中的编码器，以得到所述参考图像对应的潜在向量，包括：
[0029]获取所述扩散模型对应潜在空间所适配的尺寸信息；
[0030]基于所述尺寸信息对所述参考库中的参考图像进行调整；
[0031]将调整后的所述参考图像输入所述扩散模型中的编码器，以得到所述参考图像对应的潜在向量
。
[0032]可选的，在本申请一些可能的实现方式中，所述获取参考库和检索库，包括：
[0033]获取针对于所述检索任务关联的所述检索库；
[0034]确定所述检索库对应的类别信息；
[0035]基于所述类别信息对所述检索任务关联的训练集进行图像调用，以得到所述参考库
。
[0036]可选的，在本申请一些可能的实现方式中，所述基于各个所述参考图像对应的所述图像标签对各个所述参考图像对应的所述估计噪声进行合并，以得到各个所述图像标签对应的参考噪声特征，包括：
[0037]获取所述图像标签下各个所述参考图像对应的估计噪声，以得到噪声集合；
[0038]对所述噪声集合中的估计噪声进行求和，以得到噪声总量；
[0039]根据所述噪声集合中的估计噪声的数量对所述噪声总量取均值，以得到所述图像类别对应的参考噪声特征
。
[0040]可选的，在本申请一些可能的实现方式中，所述基于各个所述参考图像对应的所述图像标签对各个所述参考图像对应的所述估计噪声进行合并，以得到各个所述图像标签对应的参考噪声特征，包括：
[0041]获取所述图像标签下各个所述参考图像对应的估计噪声，以得到噪声集合；
[0042]对所述噪声集合中的估计噪声在各个像素点上的取值进行数值统计，以得到统计
结果；
[0043]确定所述统计结果中各个像素点上取值的中位数，以得到所述图像类别对应的参考噪声特征
。
[0044]可选的，在本申请一些可能的实现方式中，所述根据多个所述检索噪声特征与所述参考噪声特征的特征相似度，确定所述检索图像对应的目标标签，包括：
[0045]获取针对于检索任务配置的比对窗口，所述检索任务与所述检索库相关联；
[0046]基于所述比对窗口对所述检索噪声特征进行采样，以得到检索窗口特征；
[0047]基于所述比对窗口对所述参考噪声特征进行采样，以得到参考窗口特征；
[0048]对所述检索窗口特征与所述参考窗口特征进行余弦相似度计算，以得到所述特征相似度；
[0049]根据所述特征相似度确定所述检索图像对应的目标标签
。
[0050]可选的，在本申请一些可能的实现方式中，所述获取针对于检索任务配置的比对窗口，包括：
[0051]获取针对于所述检索任务配置的时限信息；
[0052]确定检索库中检索图像对应的数量信息；
[0053]基于所述时限信息和所述数量信息确定效率参数；
[0054]将所述效率参数与预设效率进行比对，以得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像的处理方法，其特征在于，包括：获取参考库和检索库，所述参考库中的参考图像配置了图像标签；将所述参考库中的参考图像和所述参考图像对应的提示语输入扩散模型，以得到各个所述参考图像对应的估计噪声，所述提示语根据所述图像标签确定；基于各个所述参考图像对应的所述图像标签对各个所述参考图像对应的所述估计噪声进行合并，以得到各个所述图像标签对应的参考噪声特征；对所述检索库中的检索图像与各个所述图像标签分别进行组合得到多个检索组合，以将多个所述检索组合输入所述扩散模型得到所述检索图像对应的多个检索噪声特征；根据多个所述检索噪声特征与所述参考噪声特征的特征相似度，确定所述检索图像对应的目标标签
。2.
根据权利要求1所述的方法，其特征在于，所述将所述参考库中的参考图像和所述参考图像对应的提示语输入扩散模型，以得到各个所述参考图像对应的估计噪声，包括：将所述参考库中的参考图像输入所述扩散模型中的编码器，以得到所述参考图像对应的潜在向量；对所述潜在向量添加噪声，以得到带噪向量；对所述参考图像对应的提示语输入所述扩散模型中的文本图像匹配网络，以得到文本向量；通过所述扩散模型中的语义分割网络，利用所述文本向量和所述带噪向量预测所述参考图像对应的估计噪声
。3.
根据权利要求2所述的方法，其特征在于，所述通过所述扩散模型中的语义分割网络，利用所述文本向量和所述带噪向量预测所述参考图像对应的估计噪声，包括：获取与所述参考库和所述检索库相关的检索任务对应的场景信息；根据所述场景信息确定噪声估计阶段中的目标阶段；通过所述扩散模型中的语义分割网络，利用所述文本向量和所述带噪向量预测所述参考图像在所述目标阶段对应的所述估计噪声
。4.
根据权利要求3所述的方法，其特征在于，所述方法还包括：通过所述扩散模型中的语义分割网络，利用所述文本向量和所述带噪向量预测所述参考图像在各个所述噪声估计阶段中对应的测试噪声；根据所述测试噪声执行所述检索任务，以得到各个所述噪声估计阶段对应的效果信息；基于所述效果信息中指示的性能参数确定所述目标阶段
。5.
根据权利要求3所述的方法，其特征在于，所述方法还包括：获取由所述参考图像确定对应的估计噪声时所采用噪声估计阶段中的目标阶段；基于所述目标阶段执行多个检索组合在所述扩散模型中确定检索噪声特征的过程
。6.
根据权利要求2所述的方法，其特征在于，所述将所述参考库中的参考图像输入所述扩散模型中的编码器，以得到所述参考图像对应的潜在向量，包括：获取所述扩散模型对应潜在空间所适配的尺寸信息；基于所述尺寸信息对所述参考库中的参考图像进行调整；将调整后的所述参考图像输入所述扩散模型中的编码器，以得到所述参考图像对应的
潜在向量
。7.
根据权利要求1所述的方法，其特征在于，所述获取参考库和检索库，包括：获取针对于检索任务关联的所述检索库；确定所述检索库对应的类别信息；基于所述类别信息对所述检索任务关联的训练集进行图像调用，以得到所述参考库
。8.
根据权利要求1所述的方法，其特征在于，所述基于各个所述参考图像对应的所述图像标签对各个所述参考图像对应的所述估计噪声进行合并，以得到各个所述图像标签对应的参考噪声特征，包括：获取所述图像标签下各个所述参考图像对应的估计噪声，以得到噪声集合；对所述噪声集合中的估计噪声进行求和，以得到噪声总量；根据所述噪声集合中的估计噪声的数量对所...

【专利技术属性】
技术研发人员：朱城，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：