本申请公开一种货架空位识别方法、机器学习模型训练方法及相关设备，该货架空位识别方法包括：获取货架的第一图像，第一图像中包括至少一个栏板区域，识别第一图像中货架空位下方相邻的栏板子区域，标示出货架空位下方相邻的栏板子区域的边界，栏板子区域为一个栏板区域的全部或部分区域且栏板子区域上方相邻的货架区域中无商品。本申请通过在第一图像中标示与货架空位下方相邻的栏板子区域实现货架空位区域的标注，货架栏板的图像信息单一且区域形状固定便于确定区域边界线并划分区域，有效避免由于货架空位区域的区域边界线难以确定而导致货架空位识别结果准确率低的情况。由此可见，本申请可以有效提高货架空位的识别准确度。确度。确度。
【技术实现步骤摘要】
货架空位识别方法、机器学习模型训练方法及相关设备
[0001]本申请涉及图像处理领域，更具体地说，涉及一种货架空位识别方法、机器学习模型训练方法及相关设备。
技术介绍
[0002]随着科技的发展，商超售货领域也应用了很多智能技术，通过货架图像自动识别货架上的空位就是其中一种。
[0003]现有的自动识别货架空位的技术为：使用标注有空位区域边界的货架图像对机器学习模型进行训练，并使用训练好的机器学习模型识别货架图像中的空位区域并标示出空位区域边界。如图1所示，A和B为货架，黑色粗线标示的是货架空位，阴影物体是货架空位周围的商品。
[0004]现有的自动识别货架空位的技术标示出的空位区域边界常常不准确，导致货架空位区域的识别准确率较低。
技术实现思路
[0005]有鉴于此，本申请提供了一种货架空位识别方法、机器学习模型训练方法及相关设备，用于解决货架空位的识别准确率低的问题。
[0006]为了实现上述目的，现提出的方案如下：
[0007]一种货架空位识别方法，应用于预先训练的机器学习模型，所述方法包括：
[0008]获取货架的第一图像，所述第一图像中包括至少一个栏板区域；
[0009]识别所述第一图像中货架空位下方相邻的栏板子区域，标示出所述货架空位下方相邻的栏板子区域的边界，其中，所述边界的形状为矩形，所述栏板子区域为一个所述栏板区域的全部或部分区域且所述栏板子区域上方相邻的货架区域中无商品，所述机器学习模型的训练数据包括：多个货架图像，所述货架图像中包括至少一个栏板区域且所述货架图像中标注有货架空位下方相邻的栏板子区域的边界。
[0010]可选的，所述识别所述第一图像中货架空位下方相邻的栏板子区域，包括：
[0011]在所述第一图像中划分得到至少一个初始区域；
[0012]识别所述初始区域中的图像特征并基于识别结果从所述初始区域中筛选获得至少一个建议区域，所述图像特征包括：所述初始区域具有的货架栏板上方的货架空位特征以及所述初始区域具有的所述货架栏板的图像特征；
[0013]对所述建议区域中的对象进行分类预测获得分类结果，所述分类结果为所述建议区域中每个对象的类别；
[0014]将所述建议区域中类别为货架栏板的对象所在区域中的至少一个确定为所述栏板子区域。
[0015]可选的，所述识别所述初始区域中的图像特征并基于识别结果从所述初始区域中筛选获得至少一个建议区域，包括：
[0016]根据所述初始区域中的图像特征对所述初始区域进行分类，获得货架空位下方相邻的栏板子区域；
[0017]确定分类得到的初始区域的分类置信度，所述分类置信度为所述初始区域中有所述栏板子区域的概率；
[0018]将所述分类置信度从高到低将所述初始区域进行排列；
[0019]按照排序从高到低从所述初始区域中选择第一预设数量的初始区域作为所述建议区域。
[0020]可选的，还包括：
[0021]计算所述分类置信度最高的建议区域与其他所述建议区域的重叠率；
[0022]将所述重叠率大于重叠率阈值的所述建议区域进行剔除。
[0023]可选的，所述将所述建议区域中类别为货架栏板的对象所在区域中的至少一个确定为所述栏板子区域，包括：
[0024]将所述建议区域中类别为货架栏板的对象所在区域确定为候选区域；
[0025]确定各所述候选区域的置信度，基于所述置信度从所述候选区域中筛选获得货架空位下方相邻的栏板子区域。
[0026]可选的，所述在所述第一图像中划分得到至少一个初始区域，包括：
[0027]将所述第一图像进行特征提取获得至少一个图像特征层；
[0028]将所述至少一个图像特征层进行融合获得至少一个融合特征层；
[0029]以所述融合特征层的每个像素点为中心点，生成不同尺寸的至少一个初始区域，所述初始区域的形状为矩形。
[0030]一种机器学习模型训练方法，所述方法包括：
[0031]获得训练数据，所述训练数据包括：至少一个货架图像，所述货架图像中包括至少一个栏板区域且所述货架图像中标注有货架空位下方相邻的栏板子区域的边界，所述栏板子区域为一个所述栏板区域的全部或部分区域且所述栏板子区域上方相邻的货架区域中无商品；
[0032]基于所述训练数据对机器学习模型进行训练。
[0033]可选的，所述基于所述训练数据对机器学习模型进行训练，包括：
[0034]从所述训练数据中获取所述货架图像并划分得到至少一个初始区域；
[0035]基于真实区域训练所述机器学习模型从所述初始区域中筛选建议区域，所述真实区域为已标注的栏板子区域边界所围成的区域，所述建议区域为所述初始区域中包含所述栏板子区域的区域；
[0036]基于所述建议区域训练所述机器学习模型进行具体对象分类和筛选候选区域；
[0037]基于所述候选区域训练所述机器学习模型在所述货架图像中获得与货架空位下方相邻的栏板子区域。
[0038]一种货架空位识别装置，所述装置包括：
[0039]获取单元，用于获取货架的第一图像，所述第一图像中包括至少一个栏板区域；
[0040]分割单元，用于识别所述第一图像中货架空位下方相邻的栏板子区域，标示出所述货架空位下方相邻的栏板子区域的边界，其中，所述边界的形状为矩形，所述栏板子区域为一个所述栏板区域的全部或部分区域且所述栏板子区域上方相邻的货架区域中无商品，
所述机器学习模型的训练数据包括：多个货架图像，所述货架图像中包括至少一个栏板区域且所述货架图像中标注有货架空位下方相邻的栏板子区域的边界。
[0041]一种电子设备，包括存储器和处理器；
[0042]所述存储器，用于存储程序；
[0043]所述处理器，用于执行所述程序，实现上述任一种货架空位识别方法的各个步骤，和/或实现上述任一种机器学习模型训练方法的各个步骤。
[0044]本申请通过一种货架空位识别方法、机器学习模型训练方法及相关设备，可以在图像中标示出货架空位下方的栏板子区域，通过标注栏板子区域体现了货架空位区域的标注，货架栏板的图像信息单一且区域形状固定便于确定区域边界线并划分区域，有效避免由于货架空位区域的区域边界线难以确定而导致货架空位识别结果准确率低的情况。由此可见，本专利技术可以有效提高货架空位的识别准确度。
附图说明
[0045]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0046]图1为货架空位标记的示意图；
[0047]图2为本申请实施例提供的一种货架空位识别方法的流程图；
[0048]图3为本申请实施例提供的当前货架空位标记缺陷的示意图；本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种货架空位识别方法，其特征在于，应用于预先训练的机器学习模型，所述方法包括：获取货架的第一图像，所述第一图像中包括至少一个栏板区域；识别所述第一图像中货架空位下方相邻的栏板子区域，标示出所述货架空位下方相邻的栏板子区域的边界，其中，所述边界的形状为矩形，所述栏板子区域为一个所述栏板区域的全部或部分区域且所述栏板子区域上方相邻的货架区域中无商品，所述机器学习模型的训练数据包括：多个货架图像，所述货架图像中包括至少一个栏板区域且所述货架图像中标注有货架空位下方相邻的栏板子区域的边界。2.根据权利要求1所述的方法，其特征在于，所述识别所述第一图像中货架空位下方相邻的栏板子区域，包括：在所述第一图像中划分得到至少一个初始区域；识别所述初始区域中的图像特征并基于识别结果从所述初始区域中筛选获得至少一个建议区域，所述图像特征包括：所述初始区域具有的货架栏板上方的货架空位特征以及所述初始区域具有的所述货架栏板的图像特征；对所述建议区域中的对象进行分类预测获得分类结果，所述分类结果为所述建议区域中每个对象的类别；将所述建议区域中类别为货架栏板的对象所在区域中的至少一个确定为所述栏板子区域。3.根据权利要求2所述的方法，其特征在于，所述识别所述初始区域中的图像特征并基于识别结果从所述初始区域中筛选获得至少一个建议区域，包括：根据所述初始区域中的图像特征对所述初始区域进行分类，获得货架空位下方相邻的栏板子区域；确定分类得到的初始区域的分类置信度，所述分类置信度为所述初始区域中有所述栏板子区域的概率；将所述分类置信度从高到低将所述初始区域进行排列；按照排序从高到低从所述初始区域中选择第一预设数量的初始区域作为所述建议区域。4.根据权利要求3所述的方法，其特征在于，还包括：计算所述分类置信度最高的建议区域与其他所述建议区域的重叠率；将所述重叠率大于重叠率阈值的所述建议区域进行剔除。5.根据权利要求2所述的方法，其特征在于，所述将所述建议区域中类别为货架栏板的对象所在区域中的至少一个确定为所述栏板子区域，包括：将所述建议区域中类别为货架栏板的对象所在区域确定为候选区域；确定各所述候选区域的置信度，基于所述置信度从所述候选区域中筛选获得货架空位下方相邻的栏板子区域。6.根据权利要求2...
【专利技术属性】
技术研发人员：许欢庆，魏翔，卢肖萌，
申请(专利权)人：北京朗镜科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。