一种货架完整性的检测方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种货架完整性的检测方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域。该方法包括：对待检测的目标货架图像进行区域检测，得到目标货架图像的目标区域检测信息；目标区域检测信息包括目标货架图像中的目标检测框和目标检测框所属的目标端部类型；对目标货架图像进行陈列场景分类，得到目标货架图像所属的目标陈列场景；对目标货架图像进行直线检测，得到目标货架图像中的目标货架层数；根据目标区域检测信息、目标陈列场景和目标货架层数中的至少一项，确定目标货架图像中的货架是否拍摄完整。通过上述技术方案能够提高货架完整性检测的准确性。够提高货架完整性检测的准确性。够提高货架完整性检测的准确性。

【技术实现步骤摘要】
一种货架完整性的检测方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，具体为深度学习、图像处理、计算机视觉
具体涉及一种货架完整性的检测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)的快速发展，人工智能已经广泛应用于计算机视觉技术、语音识别技术、自然语言处理技术、深度学习、大数据处理技术等领域。
[0003]在快消行业中，可基于计算机视觉对货架图像进行检测得到货架中的物品陈列信息，例如货架的排面占比、空位数、缺货率、合格率等。但是，货架图像是否拍摄完整，决定了物品陈列信息是否真实有效。因此，如何对货架进行完整性检测十分重要。

技术实现思路

[0004]本公开提供了一种货架完整性的检测方法、装置、电子设备及存储介质。
[0005]根据本公开的一方面，提供了一种货架完整性的检测方法，包括：
[0006]对待检测的目标货架图像进行区域检测，得到所述目标货架图像的目标区域检测信息；所述目标区域检测信息包括目标货架图像中的目标检测框和所述目标检测框所属的目标端部类型；
[0007]对所述目标货架图像进行陈列场景分类，得到所述目标货架图像所属的目标陈列场景；
[0008]对所述目标货架图像进行直线检测，得到所述目标货架图像中的目标货架层数；
[0009]根据所述目标区域检测信息、所述目标陈列场景和所述目标货架层数中的至少一项，确定所述目标货架图像中的货架是否拍摄完整。
[0010]根据本公开的另一方面，提供了一种目标区域检测模型的训练方法，包括：
[0011]将未标注的第二样本货架图像输入教师区域检测模型，得到第二样本货架图像的伪区域检测信息；所述教师区域检测模型预先采用已标注的第一样本货架图像训练得到；
[0012]对所述第一样本货架图像和所述第二样本货架图像进行融合得到，得到第三样本货架图像；所述第三样本货架图像具有标注检测框和标注端部类型；
[0013]将所述第三样本货架图像输入学生区域检测模型，得到学生区域检测模型输出的学生检测框和学生端部类型；
[0014]根据所述第三样本货架图像的标注检测框和标注端部类型，以及所述学生检测框和所述学生端部类型，对所述学生区域检测模型进行训练，且将训练结果作为目标区域检测模型。
[0015]根据本公开的又一方面，提供了一种目标场景分类模型的训练方法，包括：
[0016]将未标注的第二样本货架图像输入初始的场景分类模型，得到第二样本货架图像的伪陈列场景；所述初始的场景分类模型预先采用已标注的第一样本货架图像训练得到；
[0017]对所述第一样本货架图像和所述第二样本货架图像进行融合得到，得到第三样本货架图像；所述第三样本货架图像具有标注陈列场景；
[0018]将所述第三样本货架图像输入初始的场景分类模型，得到第三样本货架图像的预测陈列场景；
[0019]根据所述第三样本货架图像的预测陈列场景和所述标注陈列场景对所述初始的场景分类模型进行训练，且将训练结果作为目标场景分类模型。
[0020]根据本公开的又一方面，提供了一种货架完整性的检测装置，包括：
[0021]区域检测模块，用于对待检测的目标货架图像进行区域检测，得到所述目标货架图像的目标区域检测信息；所述目标区域检测信息包括目标货架图像中的目标检测框和所述目标检测框所属的目标端部类型；
[0022]场景分类模块，用于对所述目标货架图像进行陈列场景分类，得到所述目标货架图像所属的目标陈列场景；
[0023]货架层数模块，用于对所述目标货架图像进行直线检测，得到所述目标货架图像中的目标货架层数；
[0024]完整性模块，用于根据所述目标区域检测信息、所述目标陈列场景和所述目标货架层数中的至少一项，确定所述目标货架图像中的货架是否拍摄完整。
[0025]根据本公开的又一方面，提供了一种目标区域检测模型的训练装置，包括：
[0026]教师区域检测模块，用于将未标注的第二样本货架图像输入教师区域检测模型，得到第二样本货架图像的伪区域检测信息；所述教师区域检测模型预先采用已标注的第一样本货架图像训练得到；
[0027]样本融合模块，用于对所述第一样本货架图像和所述第二样本货架图像进行融合得到，得到第三样本货架图像；所述第三样本货架图像具有标注检测框和标注端部类型；
[0028]学生区域检测模块，用于将所述第三样本货架图像输入学生区域检测模型，得到学生区域检测模型输出的学生检测框和学生端部类型；
[0029]区域检测训练模块，用于根据所述第三样本货架图像的标注检测框和标注端部类型，以及所述学生检测框和所述学生端部类型，对所述学生区域检测模型进行训练，且将训练结果作为目标区域检测模型。
[0030]根据本公开的又一方面，提供了一种目标场景分类模型的训练装置，包括：
[0031]初始分类模块，用于将未标注的第二样本货架图像输入初始的场景分类模型，得到第二样本货架图像的伪陈列场景；所述初始的场景分类模型预先采用已标注的第一样本货架图像训练得到；
[0032]样本融合模块，用于对所述第一样本货架图像和所述第二样本货架图像进行融合得到，得到第三样本货架图像；所述第三样本货架图像具有标注陈列场景；
[0033]陈列预测模块，用于将所述第三样本货架图像输入初始的场景分类模型，得到第三样本货架图像的预测陈列场景；
[0034]场景分类训练模块，用于根据所述第三样本货架图像的预测陈列场景和所述标注陈列场景对所述初始的场景分类模型进行训练，且将训练结果作为目标场景分类模型。
[0035]根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
[0036]至少一个处理器；以及
[0037]与所述至少一个处理器通信连接的存储器；其中，
[0038]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所提供的方法。
[0039]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任意实施例所提供的方法。
[0040]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0041]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0042]图1a是根据本公开实施例提供的一种货架完整性的检测方法的流程图；
[0043]图1b是根据本公开实施例提供的一种货架完整性的检测原理示意图；
[0044]图2a是根据本公开实施例提供的另一种货架完整性的检测方法的流程图；
[0045]图2b是根据本公开实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种货架完整性的检测方法，包括：对待检测的目标货架图像进行区域检测，得到所述目标货架图像的目标区域检测信息；所述目标区域检测信息包括目标货架图像中的目标检测框和所述目标检测框所属的目标端部类型；对所述目标货架图像进行陈列场景分类，得到所述目标货架图像所属的目标陈列场景；对所述目标货架图像进行直线检测，得到所述目标货架图像中的目标货架层数；根据所述目标区域检测信息、所述目标陈列场景和所述目标货架层数中的至少一项，确定所述目标货架图像中的货架是否拍摄完整。2.根据权利要求1所述的方法，其中，所述对待检测的目标货架图像进行区域检测，包括：通过目标区域检测模型，对待检测的目标货架图像进行区域检测；所述目标区域检测模型通过如下方式训练得到：将未标注的第二样本货架图像输入教师区域检测模型，得到第二样本货架图像的伪区域检测信息；所述教师区域检测模型预先采用已标注的第一样本货架图像训练得到；对所述第一样本货架图像和所述第二样本货架图像进行融合得到，得到第三样本货架图像；所述第三样本货架图像具有标注检测框和标注端部类型；将所述第三样本货架图像输入学生区域检测模型，得到学生区域检测模型输出的学生检测框和学生端部类型；根据所述第三样本货架图像的标注检测框和标注端部类型，以及所述学生检测框和所述学生端部类型，对所述学生区域检测模型进行训练，且将训练结果作为所述目标区域检测模型。3.根据权利要求2所述的方法，其中，所述根据所述第三样本货架图像的标注检测框和标注端部类型，以及所述学生检测框和所述学生端部类型，对所述学生区域检测模型进行训练，且将训练结果作为所述目标区域检测模型，包括：根据所述第三样本货架图像的标注检测框和所述学生检测框，确定学生区域检测模型的检测框损失；根据所述第三样本货架图像的标注端部类型和所述学生端部类型，确定学生区域检测模型的端部类型损失；根据所述学生区域检测模型的检测框损失和所述学生区域检测模型的端部类型损失，对所述学生区域检测模型进行训练，且将训练结果作为所述目标区域检测模型。4.根据权利要求2所述的方法，还包括：基于指数移动平均EMA法，根据所述学生区域检测模型中的网络参数，对所述教师区域检测模型中的网络参数进行更新。5.根据权利要求1所述的方法，其中，所述对所述目标货架图像进行陈列场景分类，包括：通过目标场景分类模型，对待检测的目标货架图像进行陈列场景分类；所述目标场景分类模型通过如下方式训练得到：将未标注的第二样本货架图像输入初始的场景分类模型，得到第二样本货架图像的伪
陈列场景；所述初始的场景分类模型预先采用已标注的第一样本货架图像训练得到；对所述第一样本货架图像和所述第二样本货架图像进行融合得到，得到第三样本货架图像；所述第三样本货架图像具有标注陈列场景；将所述第三样本货架图像输入初始的场景分类模型，得到第三样本货架图像的预测陈列场景；根据所述第三样本货架图像的预测陈列场景和所述标注陈列场景对所述初始的场景分类模型进行训练，且将训练结果作为所述目标场景分类模型。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述根据所述目标区域检测信息、所述目标陈列场景和所述目标货架层数中的至少一项，确定所述目标货架图像中的货架是否拍摄完整，包括：在根据所述目标区域检测信息确定所述目标货架图像具有底部区域和顶部区域；或者，根据所述目标区域检测信息确定目标货架图像具有顶部区域，且所述目标陈列场景为地龙场景的情况下，确定所述目标货架图像中的货架拍摄完整；否则，根据所述目标陈列场景和所述目标货架层数，确定目标货架图像中的货架是否拍摄完整。7.根据权利要求6所述的方法，其中，所述根据所述目标陈列场景和所述目标货架层数，确定目标货架图像中的货架是否拍摄完整，包括：基于预设的候选陈列场景和候选货架层数区间之间的关联关系，确定与所述目标陈列场景所关联的目标货架层数区间；所述目标货架层数区间包括第一货架层数阈值和第二货架层数阈值；在所述目标货架层数大于所述第一货架层数阈值的情况下，所述目标货架图像中的货架拍摄完整；在所述目标货架层数小于所述第二货架层数阈值的情况下，所述目标货架图像中的货架拍摄不完整。8.一种目标区域检测模型的训练方法，包括：将未标注的第二样本货架图像输入教师区域检测模型，得到第二样本货架图像的伪区域检测信息；所述教师区域检测模型预先采用已标注的第一样本货架图像训练得到；对所述第一样本货架图像和所述第二样本货架图像进行融合得到，得到第三样本货架图像；所述第三样本货架图像具有标注检测框和标注端部类型；将所述第三样本货架图像输入学生区域检测模型，得到学生区域检测模型输出的学生检测框和学生端部类型；根据所述第三样本货架图像的标注检测框和标注端部类型，以及所述学生检测框和所述学生端部类型，对所述学生区域检测模型进行训练，且将训练结果作为目标区域检测模型。9.根据权利要求8所述的方法，其中，所述根据所述第三样本货架图像的标注检测框和标注端部类型，以及所述学生检测框和所述学生端部类型，对所述学生区域检测模型进行训练，且将训练结果作为目标区域检测模型，包括：根据所述第三样本货架图像的标注检测框和所述学生检测框，确定学生区域检测模型的检测框损失；
根据所述第三样本货架图像的标注端部类型和所述学生端部类型，确定学生区域检测模型的端部类型损失；根据所述学生区域检测模型的检测框损失和所述学生区域检测模型的端部类型损失，对所述学生区域检测模型进行训练，且将训练结果作为目标区域检测模型。10.根据权利要求8所述的方法，还包括：基于指数移动平均EMA法，根据所述学生区域检测模型中的网络参数，对所述教师区域检测模型中的网络参数进行更新。11.一种目标场景分类模型的训练方法，包括：将未标注的第二样本货架图像输入初始的场景分类模型，得到第二样本货架图像的伪陈列场景；所述初始的场景分类模型预先采用已标注的第一样本货架图像训练得到；对所述第一样本货架图像和所述第二样本货架图像进行融合得到，得到第三样本货架图像；所述第三样本货架图像具有标注陈列场景；将所述第三样本货架图像输入初始的场景分类模型，得到第三样本货架图像的预测陈列场景；根据所述第三样本货架图像的预测陈列场景和所述标注陈列场景对所述初始的场景分类模型进行训练，且将训练结果作为目标场景分类模型。12.一种货架完整性的检测装置，包括：区域检测模块，用于对待检测的目标货架图像进行区域检测，得到所述目标货架图像的目标区域检测信息；所述目标区域检测信息包括目标货架图像中的目标检测框和所述目标检测框所属的目标端部类型；场景分类模块，用于对所述目标货架图像进行陈列场景分类，得到所述目标货架图像所属的目标陈列场景；货架层数模块，用于对所述目标货架图像进行直线检测，得到所...

【专利技术属性】
技术研发人员：安容巧，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：