目标检测模型的预训练方法、装置及电子设备制造方法及图纸

本公开提供了目标检测模型的预训练方法、装置及电子设备，涉及人工智能技术领域，尤其涉及计算机视觉、深度学习技术领域。具体实现方案为：确定待处理的样本图像对，以及样本图像对中两个样本图像对应的初始检测框；针对每个样本图像，根据样本图像、样本图像对应的初始检测框以及目标检测模型，确定样本图像对应的初始局部特征以及目标检测框；根据样本图像、样本图像对应的目标检测框以及目标检测模型，确定样本图像对应的框内局部特征以及框外局部特征；根据两个样本图像对应的初始局部特征、框内局部特征以及框外局部特征，对目标检测模型进行训练，从而使得目标检测模型能够同时学习到目标语义特征以及目标边界特征，提高目标检测的准确度。目标检测的准确度。目标检测的准确度。

【技术实现步骤摘要】
目标检测模型的预训练方法、装置及电子设备


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、深度学习
，尤其涉及目标检测模型的预训练方法、装置及电子设备。

技术介绍

[0002]目前，目标检测模型的预训练方法主要为，基于对比损失的自监督预训练方法，即采用孪生网络提取不同数据增强后的同一图像的特征作为正样本，通过构造包含正负样本对的对比损失函数，对目标检测模型进行预训练。
[0003]上述预训练方法中，目标检测模型提取图像特征时，只考虑到图像中的目标语义特征，导致提取到的特征的准确度低，进而导致目标检测的准确率低。

技术实现思路

[0004]本公开提供了一种目标检测模型的预训练方法、装置及电子设备。
[0005]根据本公开的一方面，提供了一种目标检测模型的预训练方法，包括：确定待处理的样本图像对，以及所述样本图像对中两个样本图像对应的初始检测框；针对每个样本图像，根据所述样本图像、所述样本图像对应的初始检测框以及目标检测模型，确定所述样本图像对应的初始局部特征以及目标检测框；根据所述样本图像、所述样本图像对应的目标检测框以及所述目标检测模型，确定所述样本图像对应的框内局部特征以及框外局部特征；根据两个所述样本图像对应的所述初始局部特征、所述框内局部特征以及所述框外局部特征，对所述目标检测模型的系数进行调整，实现训练。
[0006]根据本公开的另一方面，提供了一种目标检测模型的预训练装置，包括：第一确定模块，用于确定待处理的样本图像对，以及所述样本图像对中两个样本图像对应的初始检测框；第二确定模块，用于针对每个样本图像，根据所述样本图像、所述样本图像对应的初始检测框以及目标检测模型，确定所述样本图像对应的初始局部特征以及目标检测框；第三确定模块，用于根据所述样本图像、所述样本图像对应的目标检测框以及所述目标检测模型，确定所述样本图像对应的框内局部特征以及框外局部特征；处理模块，用于根据两个所述样本图像对应的所述初始局部特征、所述框内局部特征以及所述框外局部特征，对所述目标检测模型的系数进行调整，实现训练。
[0007]根据本公开的又一方面，提供了一种电子设备，包括：
[0008]至少一个处理器；以及
[0009]与所述至少一个处理器通信连接的存储器；其中，
[0010]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述提出的目标检测模型的预训练方法。
[0011]根据本公开的再一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开上述提出的目标检测模型的预训练方
法。
[0012]根据本公开的再一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述提出的目标检测模型的预训练方法的步骤。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是根据本公开第一实施例的示意图；
[0016]图2是根据本公开第二实施例的示意图；
[0017]图3是目标检测模型的预训练过程示意图；
[0018]图4是根据本公开第三实施例的示意图；
[0019]图5是用来实现本公开实施例的电子设备的框图。
具体实施方式
[0020]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0021]目前，目标检测模型的预训练方法主要为，基于对比损失的自监督预训练方法，即采用孪生网络提取不同数据增强后的同一图像的特征作为正样本，通过构造包含正负样本对的对比损失函数，对目标检测模型进行预训练。
[0022]上述预训练方法中，目标检测模型提取图像特征时，只考虑到图像中的目标语义特征，导致提取到的特征的准确度低，进而导致目标检测的准确率低。
[0023]针对上述问题，本公开提出一种目标检测模型的预训练方法、装置及电子设备。
[0024]图1是根据本公开第一实施例的示意图，需要说明的是，本公开实施例的目标检测模型的预训练方法可应用于目标检测模型的预训练装置，该装置可被配置于电子设备中，以使该电子设备可以执行目标检测模型的预训练功能。
[0025]其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(Personal Computer，简称PC)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
[0026]如图1所示，该目标检测模型的预训练方法可以包括如下步骤：
[0027]步骤101，确定待处理的样本图像对，以及样本图像对中两个样本图像对应的初始检测框。
[0028]在本公开实施例中，目标检测模型的预训练装置执行步骤101的过程例如可以为，确定至少一个原始图像，以及原始图像对应的初始检测框；对原始图像以及对应的初始检测框进行变换处理，得到原始图像对应的两个样本图像，以及两个样本图像对应的初始检测框；根据对应不同原始图像的两个样本图像，确定待处理的样本图像对；或者，根据对应不同原始图像的两个样本图像，确定待处理的样本图像对；确定样本图像对中两个样本图
像对应的初始检测框。
[0029]在本公开实施例中，待处理的样本图像对中的两个样本图像，可以为对相同原始图像进行不同的变换处理得到，或者，可以为对不同原始图像进行变换处理得到。其中，待处理的样本图像对可以为多个，一部分样本图像对，为对相同原始图像进行不同的变换处理得到；另一部分样本图像对，为对不同原始图像进行变换处理得到。
[0030]其中，对相同原始图像进行不同的变换处理得到的两个样本图像组成的样本图像对，可以为正样本图像对；对不同原始图像进行变换处理得到的两个样本图像组成的样本图像对，可以为负样本图像对。例如，假设有两个原始图像，为原始图像A和原始图像B。原始图像A经过不同的变换得到A1和A2；原始图像B经过不同变换得到B1和B2。正样本图像对例如，A1+A2、B1+B2。负样本图像对例如，A1+B2、A1+B1、A2+B1、A2+B2。
[0031]在本公开实施例中，一个原始图像中可能有多个物体，一个物体对应一个目标，即多个目标。每个目标对应一个初始检测框。原始图像对应的初始检测框，可以为原始图像中某个目标的初始检测框，其中，某个目标可以为原始图像中的任意一个目标，例如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测模型的预训练方法，包括：确定待处理的样本图像对，以及所述样本图像对中两个样本图像对应的初始检测框；针对每个样本图像，根据所述样本图像、所述样本图像对应的初始检测框以及目标检测模型，确定所述样本图像对应的初始局部特征以及目标检测框；根据所述样本图像、所述样本图像对应的目标检测框以及所述目标检测模型，确定所述样本图像对应的框内局部特征以及框外局部特征；根据两个所述样本图像对应的所述初始局部特征、所述框内局部特征以及所述框外局部特征，对所述目标检测模型的系数进行调整，实现训练。2.根据权利要求1所述的方法，其中，所述确定待处理的样本图像对，以及所述样本图像对中两个样本图像对应的初始检测框，包括：确定至少一个原始图像，以及所述原始图像对应的初始检测框；对所述原始图像以及对应的初始检测框进行变换处理，得到所述原始图像对应的两个样本图像，以及所述两个样本图像对应的初始检测框；根据对应相同原始图像的两个样本图像，确定所述待处理的样本图像对；或者，根据对应不同原始图像的两个样本图像，确定所述待处理的样本图像对；确定所述样本图像对中两个样本图像对应的初始检测框。3.根据权利要求1所述的方法，其中，所述针对每个样本图像，根据所述样本图像、所述样本图像对应的初始检测框以及目标检测模型，确定所述样本图像对应的初始局部特征以及目标检测框，包括：针对每个样本图像，将所述样本图像输入所述目标检测模型的特征提取网络，获取所述样本图像对应的全局特征；将所述全局特征以及所述样本图像对应的初始检测框，输入所述目标检测模型的头部网络，获取所述样本图像对应的所述初始局部特征以及所述目标检测框。4.根据权利要求1所述的方法，其中，所述根据所述样本图像、所述样本图像对应的目标检测框以及所述目标检测模型，确定所述样本图像对应的框内局部特征以及框外局部特征，包括：根据所述样本图像以及所述样本图像对应的目标检测框，确定所述样本图像中的框内局部图像以及框外局部图像；将所述框内局部图像和所述框外局部图像分别输入所述目标检测模型的特征提取网络，获取所述样本图像对应的所述框内局部特征和所述框外局部特征。5.根据权利要求1所述的方法，其中，所述根据所述样本图像、所述样本图像对应的目标检测框以及所述目标检测模型，确定所述样本图像对应的框内局部特征以及框外局部特征，包括：确定所述样本图像对应的原始图像，其中，所述样本图像由所述原始图像变换处理得到；根据所述样本图像对应的目标检测框以及所述样本图像与对应的原始图像之间的变换处理关系，确定所述原始图像对应的目标检测框；根据所述原始图像以及所述原始图像对应的目标检测框，确定所述原始图像中的框内局部图像以及框外局部图像；
将所述框内局部图像和所述框外局部图像分别输入所述目标检测模型的特征提取网络，获取所述样本图像对应的所述框内局部特征和所述框外局部特征。6.根据权利要求1所述的方法，其中，所述根据两个所述样本图像对应的所述初始局部特征、所述框内局部特征以及所述框外局部特征，对所述目标检测模型的系数进行调整，实现训练，包括：针对每个样本图像，根据所述样本图像对应的所述框内局部特征和所述框外局部特征，确定所述样本图像对应的互信息；根据两个所述样本图像对应的所述初始局部特征以及所述互信息，构建损失函数，对所述目标检测模型的系数进行调整，实现训练。7.根据权利要求6所述的方法，其中，所述根据两个所述样本图像对应的所述初始局部特征以及所述互信息，构建损失函数，对所述目标检测模型的系数进行调整，实现训练，包括：根据两个所述样本图像对应的所述初始局部特征，构建第一子损失函数；根据两个所述样本图像对应的所述互信息，构建第二子损失函数；根据所述第一资损失函数和所述第二子损失函数，确定所述损失函数；根据所述损失函数的数值，对所述目标检测模型的系数进行调整，...

【专利技术属性】
技术研发人员：李兴建，窦德景，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：