网络训练及目标检测方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种网络训练及目标检测方法、装置、设备及存储介质，其中，该方法包括：获取第一图片样本和第二图片样本；第一图片样本由第一相机采集得到，且第一图片样本携带已有商品标签，第二图片样本由第二相机采集得到，且第二图片样本未携带新增商品标签；通过第一图片样本和第二图片样本对预训练的目标检测网络进行训练，得到训练好的目标检测网络以用于对目标图片进行目标检测，得到目标图片中新增商品的检测结果。本公开中的目标检测网络不仅对于源域具有较高的检测准确率，对于目标域同样具有较高的检测准确率，与此同时，基于训练好的目标检测网络可以快速地对新增商品进行上新，节省了大量的人工标注成本，具有更高的实用性。的实用性。的实用性。

Network training and target detection methods, devices, equipment and storage media

【技术实现步骤摘要】
网络训练及目标检测方法、装置、设备及存储介质


[0001]本公开涉及计算机视觉
，具体而言，涉及一种网络训练及目标检测方法、装置、设备及存储介质。

技术介绍

[0002]近年来，智能货柜、智能冰柜等的研究取得了重大的进展，但是如何快速新增以件、盒、托盘为库存量单位(Stock Keeping Unit，SKU)的商品依然是智慧零售中最棘手的问题。通常而言，对于一个智慧零售系统，新增SKU(即新增商品)不仅仅包括新的商品的到来，更常见的是商品的新包装的加入，往往新包装(比如圣诞包装、新年包装、双十一包装等)比新商品的诞生更加频繁。
[0003]通常智慧零售中原本的商品是一个非常庞大的真实数据集，新增SKU时，仅仅用智能零售使用的鱼眼相机拍摄一些新SKU的图片对于算法来说是完全不够的，往往这个时候会进行的是将新商品摆放在智慧零售中规定的架子上，这个新SKU会被新旧物体包围，做不同的组合，拍摄非常多组照片，然后进行大量的标注工作(包括标注检测框的检测任务和标注出每个检测框类别的分类任务)，这时哪怕新增SKU只是非常少的类别，这个标注成本也非常高且耗时过久。
[0004]可知的是，目前新增SKU的方案每次新增都需要采集大量的数据，而且标注过程需要进行检测人工标注和分类人工标注两步，采集时间和人工标注成本都过高，这将不利于进行后续有关目标检测网络的训练。

技术实现思路

[0005]本公开实施例至少提供一种网络训练及目标检测方法、装置、设备及存储介质。
[0006]第一方面，本公开实施例提供了一种网络训练方法，包括：
[0007]获取第一图片样本和第二图片样本；所述第一图片样本由第一相机采集得到，且所述第一图片样本携带已有商品标签，所述第二图片样本由第二相机采集得到，且所述第二图片样本未携带新增商品标签；
[0008]通过所述第一图片样本和所述第二图片样本对预训练的目标检测网络进行训练，得到训练好的目标检测网络；
[0009]其中，所述训练好的目标检测网络用于对目标图片进行目标检测，得到所述目标图片中新增商品的检测结果。
[0010]采用上述网络训练方法，在获取到第一图片样本和第二图片样本的情况下，可以通过第一图片样本和第二图片样本对预训练的目标检测网络进行训练来得到用于对目标图片进行目标检测的目标检测网络。本公开在训练目标检测网络的过程中，可以将采集第一图片样本的第一相机(如鱼眼相机)的拍摄域视为源域，将采集第二图片样本的第二相机的拍摄域视为目标域，其中目标域图片更易于获取，这样，在将大量目标域下未标注的图片特征迁移到源域下已标注的图片特征的情况下，可以使得训练好的目标检测网络不仅对于
源域具有较高的检测准确率，对于目标域同样具有较高的检测准确率，与此同时，基于训练好的目标检测网络可以快速地对新增商品进行上新，节省了大量的人工标注成本，具有更高的实用性。
[0011]在一种可能的实施方式中，所述通过所述第一图片样本和所述第二图片样本对预训练的目标检测网络进行训练，得到训练好的目标检测网络，包括：
[0012]在当前输入到预训练的目标检测网络包括第一图片样本的情况下，利用所述第一图片样本以及针对所述第一图片样本携带的已有商品标签对所述预训练的目标检测网络进行网络训练；以及，
[0013]在当前输入到预训练的目标检测网络包括第二图片样本的情况下，利用所述预训练的目标检测网络对所述第二图片样本进行目标检测，得到检测结果，将所述检测结果作为所述第二图片样本的伪标签以利用携带有伪标签的第二图片样本对所述预训练的目标检测网络进行网络训练；
[0014]直至满足训练截止条件，得到训练好的目标检测网络：
[0015]这里，针对不同的图片样本而言，可以实现不同的操作。对于具有已有商品标签的第一图片样本而言，可以基于第一图片样本以及携带的已有商品标签进行网络训练；对于未携带有新增商品标签的第二图片样本而言，可以利用目标检测网络确定伪标签，并基于伪标签支撑第二图片样本的有关网络训练，使得在整个网络训练的过程中，能更多的挖掘各种图片样本的图片特征，得到性能更好的目标检测网络。
[0016]在一种可能的实施方式中，所述方法还包括：
[0017]获取第三图片样本；所述第三图片样本由第二相机采集得到，且携带新增商品标签，所述第三图片样本的数量小于所述第二图片样本的数量，且所述第二图片样本与所述第三图片样本之间的数量差大于预设阈值；
[0018]在当前输入到预训练的目标检测网络为第三图片样本的情况下，利用所述第三图片样本以及所述第三图片样本携带的新增商品标签对所述预训练的目标检测网络进行网络训练。
[0019]这里，还可以结合携带有新增商品标签的第三图片样本进行网络训练，进一步提升所训练目标检测网络对于目标域的图片特征挖掘能力，提升后续的检测准确度，与此同时，带有新增商品标签的第三图片样本的数量远远小于未携带有新增商品标签的第二图片样本的数量，这在训练数据收集个过程中，将显著降低数据收集的难度，进一步提升整个网络训练的效率。
[0020]在一种可能的实施方式中，所述目标检测网络包括特征提取层以及分类层；所述通过所述第一图片样本和所述第二图片样本对预训练的目标检测网络进行训练，包括：
[0021]通过携带有已有商品标签的第一图片样本、携带有伪标签的第二图片样本以及携带有新增商品标签的第三图片样本对预训练的目标检测网络进行训练。
[0022]在一种可能的实施方式中，所述通过携带有已有商品标签的第一图片样本、携带有伪标签的第二图片样本以及携带有新增商品标签的第三图片样本对预训练的目标检测网络进行训练，包括：
[0023]将所述第一图片样本、所述第二图片样本和所述第三图片样本输入所述预训练的目标检测网络包括的特征提取层，分别提取所述第一图片样本对应的第一图片特征、所述
第二图片样本对应的第二图片特征、以及所述第三图片样本对应的第三图片样本；
[0024]将所述第一图片特征、所述第二图片特征和所述第三图片特征分别输入到所述预训练的目标检测网络包括的分类层，得到针对所述第一图片样本的检测结果、针对所述第二图片样本的检测结果、以及针对所述第三图片样本的检测结果；
[0025]却地名所述第一图片样本的检测结果与所述第一图片样本携带的已有商品标签之间的第一匹配度、所述第二图片样本的检测结果与所述第二图片样本携带的伪标签之间的第二匹配度、以及所述第三图片样本的检测结果与所述第三图片样本携带的新增商品标签之间的第三匹配度；
[0026]基于所述第一匹配度、所述第二匹配度以及所述第三匹配度对所述预训练的目标检测网络进行训练。
[0027]在一种可能的实施方式中，所述基于所述第一匹配度、所述第二匹配度以及所述第三匹配度对所述预训练的目标检测网络进行训练，包括：
[0028]基于所述第一匹配度、所述第二匹配度以及所述第三匹配度，确定所述目标检测网络的损失函数值；
[0029]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络训练方法，其特征在于，包括：获取第一图片样本和第二图片样本；所述第一图片样本由第一相机采集得到，且所述第一图片样本携带已有商品标签，所述第二图片样本由第二相机采集得到，且所述第二图片样本未携带新增商品标签；通过所述第一图片样本和所述第二图片样本对预训练的目标检测网络进行训练，得到训练好的目标检测网络；其中，所述训练好的目标检测网络用于对目标图片进行目标检测，得到所述目标图片中新增商品的检测结果。2.根据权利要求1所述的方法，其特征在于，所述通过所述第一图片样本和所述第二图片样本对预训练的目标检测网络进行训练，得到训练好的目标检测网络，包括：在当前输入到预训练的目标检测网络包括第一图片样本的情况下，利用所述第一图片样本以及所述第一图片样本携带的已有商品标签对所述预训练的目标检测网络进行网络训练；以及，在当前输入到预训练的目标检测网络包括第二图片样本的情况下，利用所述预训练的目标检测网络对所述第二图片样本进行目标检测，得到检测结果，将所述检测结果作为所述第二图片样本的伪标签以利用携带有伪标签的第二图片样本对所述预训练的目标检测网络进行网络训练；直至满足训练截止条件，得到训练好的目标检测网络。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取第三图片样本；所述第三图片样本由第二相机采集得到，且携带新增商品标签，所述第三图片样本的数量小于所述第二图片样本的数量，且所述第二图片样本与所述第三图片样本之间的数量差大于预设阈值；在当前输入到预训练的目标检测网络为第三图片样本的情况下，利用所述第三图片样本以及所述第三图片样本携带的新增商品标签对所述预训练的目标检测网络进行网络训练。4.根据权利要求3所述的方法，其特征在于，所述目标检测网络包括特征提取层以及分类层；所述通过所述第一图片样本和所述第二图片样本对预训练的目标检测网络进行训练，包括：通过携带有已有商品标签的第一图片样本、携带有伪标签的第二图片样本以及携带有新增商品标签的第三图片样本对预训练的目标检测网络进行训练。5.根据权利要求4所述的方法，其特征在于，所述通过携带有已有商品标签的第一图片样本、携带有伪标签的第二图片样本以及携带有新增商品标签的第三图片样本对预训练的目标检测网络进行训练，包括：将所述第一图片样本、所述第二图片样本、和所述第三图片样本输入所述预训练的目标检测网络包括的特征提取层，分别提取所述第一图片样本对应的第一图片特征、所述第二图片样本对应的第二图片特征、以及所述第三图片样本对应的第三图片特征；将所述第一图片特征、所述第二图片特征和所述第三图片特征分别输入到所述预训练的目标检测网络包括的分类层，得到针对所述第一图片样本的检测结果、针对所述第二图片样本的检测结果、以及针对所述第三图片样本的检测结果；
确定所述第一图片样本的检测结果与所述第一图片样本携带的已有商品标签之间的第一匹配度、所述第二图片样本的检测结果与所述第二图片样本携带的伪标签之间的第二匹配度、以及所述第三图片样本的检测结果与所述第三图片样本携带的新增商品标签之间的第三匹配度；基于所述第一匹配度、所述第二匹配度以及所述第三匹配度对所述预训练的目标检测网络进行训练。6.根据权利要求5所述的方法，其特征在于，所述基于所述第一匹配度、所述第二匹配度以及所述第三匹配度对所述预训练的目标检测网络进行训练，包括：基于所述第一匹配度、所述第二匹配度以及所述第三匹配度，确定所述目标检测网络的损失函数值；基于所述损失函数值对所述预训练的...

【专利技术属性】
技术研发人员：李思奇，田茂清，刘建博，伊帅，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：