图像检测方法和图像检测模型的训练方法、装置制造方法及图纸

本公开提供了一种图像检测方法和图像检测模型的训练方法、装置、电子设备、存储介质，涉及人工智能领域，具体涉及深度学习领域和计算机视觉领域。图像检测方法的具体实现方式为：提取待处理图像的特征，获得多个尺度下的多个图像特征，其中每个图像特征中包括至少两个像素级特征；针对多个图像特征中包括的多个像素级特征，确定多个像素级特征各自的重要度；根据重要度对多个图像特征进行解码，得到分别对应多个图像特征的多个解码特征；以及根据多个解码特征，确定针对待处理图像的检测结果。果。果。

【技术实现步骤摘要】
图像检测方法和图像检测模型的训练方法、装置


[0001]本公开涉及人工智能
，具体涉及深度学习领域和计算机视觉领域，尤其涉及一种图像检测方法和图像检测模型的训练方法、装置、电子设备、存储介质。

技术介绍

[0002]随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用。例如，可以采用深度学习技术对图像进行语义识别，从而完成目标检测、目标分割等任务。

技术实现思路

[0003]基于此，本公开提供了一种提高检测精度的图像检测方法、图像检测模型的训练方法、装置、电子设备、存储介质。
[0004]根据本公开的一个方面，提供了一种图像检测方法，包括：提取待处理图像的特征，获得多个尺度下的多个图像特征，其中每个图像特征中包括至少两个像素级特征；针对多个图像特征中包括的多个像素级特征，确定多个像素级特征各自的重要度；根据重要度对多个图像特征进行解码，得到分别对应多个图像特征的多个解码特征；以及根据多个解码特征，确定针对待处理图像的检测结果。
[0005]根据本公开的另一个方面，提供了一种图像检测模型的训练方法，其中，图像检测模型包括特征提取网络、预测网络、解码网络和检测网络；该训练方法包括：将样本图像输入特征提取网络，得到多个尺度下的多个图像特征；其中，样本图像包括实际检测结果，每个图像特征中包括至少两个像素级特征；将多个图像特征中包括的多个像素级特征输入预测网络，得到多个像素级特征各自的重要度；将重要度和多个图像特征输入解码网络，得到分别对应多个图像特征的多个解码特征；将多个解码特征输入检测网络，得到针对样本图像的预测检测结果；以及根据预测检测结果和实际检测结果，对图像检测模型进行训练。
[0006]根据本公开的另一方面，提供了一种图像检测装置，包括：特征提取模块，用于提取待处理图像的特征，获得多个尺度下的多个图像特征，每个图像特征中包括至少两个像素级特征；重要度确定模块，用于针对多个图像特征中包括的多个像素级特征，确定多个像素级特征各自的重要度；解码模块，用于根据重要度对多个图像特征进行解码，得到分别对应多个图像特征的多个解码特征；以及检测确定模块，用于根据多个解码特征，确定针对待处理图像的检测结果。
[0007]根据本公开的另一方面，提供了一种图像检测模型的训练装置，其中，图像检测模型包括特征提取网络、预测网络、解码网络和检测网络；该训练装置包括：特征提取模块，用于将样本图像输入特征提取网络，得到多个图像特征；其中，样本图像包括实际检测结果，每个图像特征中包括至少两个像素级特征；重要度确定模块，用于将多个图像特征中包括的多个像素级特征输入预测网络，得到多个像素级特征各自的重要度；解码模块，用于将重要度和多个图像特征输入解码网络，得到分别对应多个图像特征的多个解码特征；检测确定模块，用于将多个解码特征输入检测网络，得到针对样本图像的预测检测结果；以及模型
训练模块，用于根据预测检测结果和实际检测结果，对图像检测模型进行训练。
[0008]根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的图像检测方法和/或图像检测模型的训练方法。
[0009]根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的图像检测方法和/或图像检测模型的训练方法。
[0010]根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的图像检测方法和/或图像检测模型的训练方法中的步骤。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开实施例的图像检测方法和图像检测模型的训练方法、装置的应用场景示意图；
[0014]图2是根据本公开实施例的图像检测方法的流程示意图；
[0015]图3是根据本公开实施例的确定多个像素级特征各自的重要度的原理示意图；
[0016]图4是根据本公开实施例的图像检测方法的原理示意图；
[0017]图5是根据本公开实施例的对每个图像特征进行解码的原理示意图；
[0018]图6是根据本公开实施例的图像检测模型的训练方法的流程示意图；
[0019]图7是根据本公开实施例的对多个图像特征进行解码的原理示意图；
[0020]图8是根据本公开实施例的图像检测装置的结构框图；
[0021]图9是根据本公开实施例的图像检测模型的训练装置的结构框图；以及
[0022]图10是用来实施本公开实施例的图像检测方法和/或图像检测模型的训练方法的电子设备的框图。
具体实施方式
[0023]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024]本公开提供了一种图像检测方法，包括特征提取阶段、重要度确定阶段、解码阶段和检测确定阶段。在特征提取阶段中，提取待处理图像的特征，获得多个尺度下的多个图像特征，每个图像特征中包括至少两个像素级特征。在重要度确定阶段中，针对多个图像特征中包括的多个像素级特征，确定多个像素级特征各自的重要度。在解码阶段中，根据重要度对多个图像特征进行解码，得到分别对应多个图像特征的多个解码特征。在检测确定阶段
中，根据多个解码特征，确定针对待处理图像的检测结果。
[0025]以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
[0026]图1是根据本公开实施例的图像检测方法和图像检测模型的训练方法、装置的应用场景示意图。
[0027]如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
[0028]该电子设备110例如可以对输入的图像120进行检测，得到检测结果130。具体地，电子设备110可以对输入的图像120进行目标检测或目标分割，从而得到图像120中目标对象的位置和目标对象的类别，并将该目标对象的位置和类别作为检测结果。
[0029]根据本公开的实施例，目标对象的位置例如可以通过目标对象的边界框的位置来表示。该边界框的位置例如可以包括边界框的中心点在图像坐标系中的坐标值、边界框的宽度和边界框的高度。...

【技术保护点】

【技术特征摘要】
1.一种图像检测方法，包括：提取待处理图像的特征，获得多个尺度下的多个图像特征，其中，每个图像特征中包括至少两个像素级特征；针对所述多个图像特征中包括的多个像素级特征，确定所述多个像素级特征各自的重要度；根据所述重要度对所述多个图像特征进行解码，得到分别对应所述多个图像特征的多个解码特征；以及根据所述多个解码特征，确定针对所述待处理图像的检测结果。2.根据权利要求1所述的方法，其中，所述针对所述多个图像特征中包括的多个像素级特征，确定所述多个像素级特征各自的重要度包括：对所述多个图像特征进行维度变换，得到分别对应所述多个图像特征的多个一维特征；拼接所述多个一维特征，得到级联特征；以及对所述级联特征进行非线性处理，得到分别对应所述多个图像特征的多个重要度向量，其中，所述多个重要度向量中的每个重要度向量包括：所述级联特征中的多个像素级特征对于所述每个重要度向量所对应的图像特征的多个重要度。3.根据权利要求2所述的方法，其中，根据所述重要度对所述多个图像特征进行解码，得到分别对应所述多个图像特征的多个解码特征包括：针对所述每个图像特征，根据所述重要度确定所述级联特征中针对所述每个图像特征的目标比例的目标特征；以及根据所述目标特征和所述每个图像特征，确定针对所述每个图像特征的解码特征。4.根据权利要求3所述的方法，其中，所述根据所述目标特征和所述每个图像特征，确定针对所述每个图像特征的解码特征包括：以所述目标特征作为键特征和值特征，以所述每个图像特征作为查询特征，采用多头交叉注意力机制得到针对所述每个图像特征的解码特征。5.根据权利要求1所述的方法，其中，所述根据所述多个解码特征，确定针对所述待处理图像的检测结果包括：融合所述多个解码特征，得到针对所述待处理图像的融合特征；以及根据所述融合特征，确定所述检测结果。6.根据权利要求1所述的方法，其中，所述提取待处理图像的特征，获得多个尺度下的多个图像特征包括：对所述待处理图像提取n个尺度下的特征，得到尺寸依次减小的n个初始特征；针对所述n个初始特征中的第i个初始特征，融合所述第i个初始特征和所述n个初始特征中的第(i+1)个初始特征，得到所述多个图像特征中的第i个图像特征；以及根据所述n个初始特征中的第n个初始特征，确定所述多个图像特征中的第n个图像特征，其中，i的取值区间为[1，n
‑
1]，所述多个图像特征的数目为n个，n为大于1的整数。7.一种图像检测模型的训练方法，其中，所述图像检测模型包括特征提取网络、预测网
络、解码网络和检测网络；所述方法包括：将样本图像输入所述特征提取网络，得到多个尺度下的多个图像特征；其中，所述样本图像包括实际检测结果，每个图像特征包括至少两个像素级特征；将所述多个图像特征中包括的多个像素级特征输入所述预测网络，得到所述多个像素级特征各自的重要度；将所述重要度和所述多个图像特征输入所述解码网络，得到分别对应所述多个图像特征的多个解码特征；将所述多个解码特征输入所述检测网络，得到针对所述样本图像的预测检测结果；以及根据所述预测检测结果和所述实际检测结果，对所述图像检测模型进行训练。8.根据权利要求7所述的方法，其中，所述预测网络包括变换子网络和预测子网络；所述将所述多个图像特征中包括的多个像素级特征输入所述预测网络，得到所述多个像素级特征各自的重要度包括：将所述多个图像特征输入所述变换子网络进行维度变换，并对维度变换得到的多个一维特征进行拼接，得到级联特征；以及将所述级联特征输入所述预测子网络进行非线性处理，得到重要度矩阵，其中，所述重要度矩阵由分别对应所述多个图像特征的多个重要度向量构成，所述多个重要度向量中的每个重要度向量包括：所述级联特征中的多个像素级特征对于所述每个重要度向量所对应的图像特征的多个重要度。9.根据权利要求8所述的方法，其中，所述解码网络包括决策子网络和解码子网络；所述将所述重要度和所述多个图像特征输入所述解码网络，得到分别对应所述多个图像特征的多个解码特征包括：将所述重要度矩阵输入所述决策子网络，得到与所述多个重要度向量分别对应的多个决策特征，作为分别针对所述多个图像特征的决策特征；以及针对所述每个图像特征：根据针对所述每个图像特征的决策特征、所述每个图像特征和所述级联特征，采用所述解码子网络得到对应所述每个图像特征的解码特征，其中，针对所述每个图像特征的决策特征指示所述级联特征包括的各个像素级特征是否被选择。10.根据权利要求9所述的方法，其中，根据针对所述每个图像特征的决策特征、所述每个图像特征和所述级联特征，采用所述解码子网络得到对应所述每个图像特征的解码特征包括：根据针对所述每个图像特征的决策特征，确定针对所述每个图像特征的掩膜特征；以及将所述掩膜特征、所述每个图像特征和所述级联特征输入所述解码子网络，采用多头交叉注意力机制得到对应所述每个图像特征的解码特征。11.根据权利要求10所述的方法，其中，采用多头交叉注意力机制得到对应所述每个图像特征的解码特征包括：以所述每个图像特征作为查询特征，以所述级联特征作为键特征，得到初始得分特征；根据所述掩膜特征对所述初始得分特征进行调整，得到调整后得分特征；以及
以所述级联特征作为值特征，根据所述调整后得分特征得到对应所述每个图像特征的解码特征。12.根据权利要求8所述的方法，其中，根据所述预测检测结果和所述实际检测结果，对所述图像检测模型进行训练包括：根据所述预测检测结果与所述实际检测结果的差异，确定所述图像检测模型的第一损失；针对所述多个重要度向量中的每个向量，确定所述每个向量中元素的平均值，得到多个平均值；根据所述多个平均值与目标比例之间的差异，确定所述图像检测模型的第二损失；以及根据所述第一损失和所述第二损失，对所述图像检测模型进行训练。13.一种图像检测装置，包括：特征提取模块，用于提取待处理图像的特征，获得多个尺度下的多个图像特征，其中每个图像特征中包括至少两个像素级特征；重要度确定模块，用于针对所述多个图像特征中包括的多个像素级特征，确定所述多个像素级特征各自的重要度；解码模...

【专利技术属性】
技术研发人员：伍天意，朱欤，郭国栋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：