图像处理方法、模型训练方法、装置、计算机设备和介质制造方法及图纸

本公开提供了一种图像处理方法，包括：获取待处理图像；获取优化模型；将所述待处理图像输入至所述优化模型的输入层，以使所述优化模型的输出层输出：多个检测框信息、针对所述多个检测框信息的多个置信度信息、和针对所述多个检测框信息的多个显著性信息；以及，基于所述多个检测框信息、所述多个置信度信息和所述多个显著性信息，确定所述待处理图像中的关键目标。本公开还提供了一种图像处理装置、一种模型训练方法及装置、一种计算机设备以及一种计算机可读存储介质。种计算机可读存储介质。种计算机可读存储介质。

【技术实现步骤摘要】
图像处理方法、模型训练方法、装置、计算机设备和介质


[0001]本公开涉及计算机
，更具体地，涉及一种图像处理方法及装置、模型训练方法及装置、计算机设备和介质。

技术介绍

[0002]在针对图像进行目标检测的场景中，通常利用基于深度学习的各种目标优化模型来对用户输入的待处理图像进行处理，以得到待处理图像中多个区域的置信度信息。将置信度信息作为多个区域的排序依据，从而确定关键目标。此种方式的问题在于，置信度信息仅用于衡量一个区域能够表征物体目标的程度，而未考虑该区域所表征的物体目标在待处理图像中的显著程度，而用户在实际生活中往往关注的是显著程度更高的物体。导致一些情况下，所确定的关键目标并非用户真正关注的目标。

技术实现思路

[0003]有鉴于此，本公开提供了一种图像处理方法及装置、模型训练方法及装置、计算机设备和介质。
[0004]本公开的一个方面提供了一种图像处理方法，包括：一方面获取待处理图像，另一方面获取优化模型。将待处理图像输入至优化模型的输入层，以使优化模型的输出层输出：多个检测框信息、针对多个检测框信息的多个置信度信息、和针对多个检测框信息的多个显著性信息。接着，基于上述多个检测框信息、多个置信度信息和多个显著性信息，确定待处理图像中的关键目标。
[0005]根据本公开的实施例，上述多个置信度信息中的每个置信度信息包括置信度分值，上述多个显著性信息中的每个显著性信息包括显著性分值。上述基于多个检测框信息、多个置信度信息和多个显著性信息，确定待处理图像中的关键目标包括：基于多个置信度信息，从多个检测框信息中筛选置信度分值高于预定阈值的检测框信息，以得到经过第一筛选的检测框信息。然后，基于多个显著性信息，对经过第一筛选的检测框信息按照显著性分值从高至低的顺序进行排序，以得到排序结果。接着，从排序结果中筛选前预定数量个检测框信息，以得到经过第二筛选的检测框信息。从而基于经过第二筛选的检测框信息，确定待处理图像中的关键目标。
[0006]根据本公开的实施例，上述方法还包括：在确定待处理图像中的关键目标之后，基于该关键目标的检测框信息，从待处理图像中分割出包含该关键目标的子图像。获取关于该子图像的搜索结果，然后输出该搜索结果。
[0007]本公开的另一个方面提供了一种模型训练方法，包括：获取多个样本图像，在多个样本图像中的每个样本图像中标注多个区域，并对多个区域中的任一区域添加标签。其中，标签包括第一标签和第二标签，第一标签用于表征任一区域是否包括物体目标，第二标签用于表征任一区域所包含的物体目标是否显著。然后，获取初始模型。利用上述得到的带有标签的多个样本图像对初始模型进行训练，以得到优化模型，优化模型用于确定待处理图
像中的关键目标。
[0008]根据本公开的实施例，上述利用带有标签的样本图像对初始模型进行训练，以得到优化模型包括：将多个样本图像中的任一样本图像输入至初始模型的输入层，以使初始模型的输出层输出：关于任一样本图像的多个预测检测框信息、针对多个预测检测框信息的多个预测置信度信息、和针对多个预测检测框信息的多个预测显著性信息。然后，基于多个预测检测框信息与任一样本图像中标注的多个区域之间的差异、多个预测置信度信息与任一样本图像的第一标签之间的差异、以及多个预测显著性信息与任一样本图像的第二标签之间的差异，确定初始模型的损失函数是否实现收敛。如果否，则调整初始模型的参数，并重复上述训练过程。如果是，则将初始模型作为上述优化模型。
[0009]根据本公开的实施例，初始模型的输出层包括：第一输出层、第二输出层和第三输出层。第一输出层用于输出预测检测框信息，第二输出层用于输出预测置信度信息，第三输出层用于输出显著性信息。
[0010]本公开的另一个方面提供了一种图像处理装置，包括：第一获取模块、第二获取模块、检测模块、和确定模块。第一获取模块用于获取待处理图像。第二获取模块用于获取优化模型。检测模块用于将待处理图像输入至优化模型的输入层，以使优化模型的输出层输出：多个检测框信息、针对多个检测框信息的多个置信度信息、和针对多个检测框信息的多个显著性信息。确定模块用于基于多个检测框信息、多个置信度信息和多个显著性信息，确定待处理图像中的关键目标。
[0011]本公开的另一个方面提供了一种模型训练装置，包括：第三获取模块、区域标注模块、标签添加模块、第四获取模块、和训练模块。第三获取模块用于获取多个样本图像。区域标注模块用于在多个样本图像中的每个样本图像中标注多个区域。标签添加模块用于对多个区域中的任一区域添加标签。其中，标签包括第一标签和第二标签，第一标签用于表征任一区域是否包括物体目标，第二标签用于表征任一区域所包含的物体目标是否显著。第四获取模块用于获取初始模型。训练模块用于利用带有标签的多个样本图像对初始模型进行训练，以得到优化模型，优化模型用于确定待处理图像中的关键目标。
[0012]本公开的另一方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。
[0013]本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
[0014]本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
[0015]根据本公开的实施例，利用优化模型对待处理图像进行处理时，不仅可以输出针对多个区域的检测框信息和置信度信息，还可以输出针对多个区域的显著性信息。在确定图像中的关键目标时，不仅考虑到图像特征与物体目标的接近程度，还考虑各个物体目标的显著程度，从而能够较为准确地确定符合用户关注和期望的关键目标。
附图说明
[0016]通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
[0017]图1A示意性示出了根据本公开实施例的应用图像处理方法及装置和模型训练方法及装置的示例性系统架构；
[0018]图1B示意性示出了根据本公开实施例的图像处理方法及装置和模型训练方法及装置的应用场景；
[0019]图2示意性示出了根据本公开实施例的待处理图像的示例示意图；
[0020]图3A示意性示出了根据本公开实施例的图像处理方法的流程图；
[0021]图3B示意性示出了根据本公开另一实施例的图像处理方法的流程图；
[0022]图4A示意性示出了根据本公开实施例的优化模型的示例示意图；
[0023]图4B示意性示出了根据本公开实施例的图像搜索过程的示例示意图；
[0024]图5示意性示出了根据本公开实施例的模型训练方法的流程图；
[0025]图6示意性示出了根据本公开实施例的图像处理装置的框图；
[0026]图7示意性示出了根据本公开实施例的模型训练装置的框图；以及
[0027]图8示意性示出了根据本公开实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取待处理图像；获取优化模型；将所述待处理图像输入至所述优化模型的输入层，以使所述优化模型的输出层输出：多个检测框信息、针对所述多个检测框信息的多个置信度信息、和针对所述多个检测框信息的多个显著性信息；以及基于所述多个检测框信息、所述多个置信度信息和所述多个显著性信息，确定所述待处理图像中的关键目标。2.根据权利要求1所述的方法，其中，所述多个置信度信息中的每个置信度信息包括置信度分值，所述多个显著性信息中的每个显著性信息包括显著性分值；所述基于所述多个检测框信息、所述多个置信度信息和所述多个显著性信息，确定所述待处理图像中的关键目标包括：基于所述多个置信度信息，从所述多个检测框信息中筛选置信度分值高于预定阈值的检测框信息，以得到经过第一筛选的检测框信息；基于所述多个显著性信息，对所述经过第一筛选的检测框信息按照显著性分值从高至低的顺序进行排序，以得到排序结果；从所述排序结果中筛选前预定数量个检测框信息，以得到经过第二筛选的检测框信息；以及基于所述经过第二筛选的检测框信息，确定所述待处理图像中的关键目标。3.根据权利要求1所述的方法，还包括：在所述确定所述待处理图像中的关键目标之后，基于所述关键目标的检测框信息，从所述待处理图像中分割出包含所述关键目标的子图像；获取关于所述子图像的搜索结果；以及输出所述搜索结果。4.一种模型训练方法，包括：获取多个样本图像；在所述多个样本图像中的每个样本图像中标注多个区域；对所述多个区域中的任一区域添加标签，其中，所述标签包括第一标签和第二标签，所述第一标签用于表征所述任一区域是否包括物体目标，所述第二标签用于表征所述任一区域所包含的物体目标是否显著；获取初始模型；以及利用带有所述标签的多个样本图像对所述初始模型进行训练，以得到优化模型，所述优化模型用于确定待处理图像中的关键目标。5.根据权利要求4所述的方法，其中，所述利用带有所述标签的样本图像对所述初始模型进行训练，以得到优化模型包括：将所述多个样本图像中的任一样本图像输入至所述初始模型的输入层，以使所述初始模型的输出层输出：关于所述任一样本图像的多个预测检测框信息、针对所述多个预...

【专利技术属性】
技术研发人员：刘晓，徐俊，王林芳，姚霆，梅涛，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：