一种快餐菜品定位方法技术

本发明专利技术提供一种快餐菜品定位方法，涉及图像识别技术领域，其技术方案要点是：基于菜品与餐盘的颜色差异，采用改进的分水岭方法在待定位菜品图像中确定菜品分割框，并对确定的菜品分割框进行尺寸筛选和颜色筛选得到准确的菜品分割框集合；基于餐盘与托盘的颜色差异，从待定位菜品图像中分割出餐盘边缘图像，并利用深度学习模型在餐盘边缘图像上拟合出不同餐盘部位分割框；根据菜品分割框与不同餐盘部位餐盘分割框的交并比确定更准确的目标分割框，将目标分割框合并为菜品定位框，从而实现菜品的定位。本发明专利技术方案将传统图像算法与深度学习方法进行融合来实现菜品定位，弥补两种方法的缺点，达到泛用性好，精准度高的效果。精准度高的效果。精准度高的效果。

【技术实现步骤摘要】
一种快餐菜品定位方法


[0001]本专利技术涉及图像识别
，尤其涉及一种快餐菜品定位方法。

技术介绍

[0002]现阶段大部分的餐厅都采用了自主挑选菜品，排队进行结账，随着人工智能的快速发展，人们对于“智能化”的需求越来越大，而人工计价存在效率低，正确率无法得到保障等缺点。因此，越来越多许高校以及大型企业的食堂，引入菜品智能识别与结算设备。
[0003]在菜品识别技术中，菜品定位是重中之重。现有菜品定位技术大致为两种技术：第一，通过传统图像算法进行定位，例如“分水岭”，阈值分割等；第二，深度学习方法进行定位，如卷积神经网络等。这两种方案都各有它们的优点缺点。
[0004]然而，传统图像算法根本上是通过色彩变化程度，以若干的阈值进行控制来定位餐盘位置，当图像光照环境复杂，很容易造成定位不准确。深度学习方法是通过梯度下降拟合出结果，那么必然会出现误差，实际应用经常出现虽然能比较准确的定位，但是依然存在误差，物体检测框存在不同程度移位的情况。
[0005]因此，如何通过传统图像算法与深度学习方法进行融合，弥补两种方法的缺点，达到泛用性好，精准度高的效果，成为解决快餐菜品定位的关键。

技术实现思路

[0006]本专利技术提供一种快餐菜品定位方法，将传统图像算法与深度学习方法进行融合，分别对放置在托盘上的餐盘及餐盘中的菜品进行定位，既有深度学习的稳定，又有传统图像算法的精度优势。
[0007]本专利技术提供一种快餐菜品定位方法，包括：获取托盘图像和待定位菜品图像；其中，所述托盘图像和待定位菜品图像是摄像头俯视拍摄得到的；以20*20正方形为单位遍历所述托盘图像的RGB像素值计算每个单位的RGB像素平均值，并对所述每个单位的RGB像素平均值进行K=15的K聚类得到15个聚类RGB像素值；将所述待定位菜品图像转换为菜品灰度图像，并根据预设的像素值变换规则对所述菜品灰度图像进行二值变换，得到菜品二值图像；将所述菜品二值图像沿长度方向和宽度方向平均分成100份得到10000个菜品二值图像块，并计算每个菜品二值图像块中像素值为1的像素点所占的比例；获取像素值为1的像素点所占的比例大于预设比例阈值的菜品二值图像块，并将获取的菜品二值图像块中互相连通的菜品二值图像块进行合并得到菜品分割框集合；对所述菜品分割框集合中的各菜品分割框依次进行尺寸筛选和颜色筛选，得到筛选后的菜品分割框集合；将所述待定位菜品图像分割成多个61*61的菜品图像块，以20*20正方形为单位遍历每个菜品图像块的RGB像素值计算每个单位的RGB像素平均值，判断每个单位的RGB像素
平均值与15个聚类RGB像素值差值的绝对值最小值是否大于第一预设差值阈值，若是则将该单位中各像素点置为1，否则置为0，得到多个61*61的二值菜品图像块；对所述多个61*61的二值菜品图像块进行池化处理得到多个30*30的二值菜品图像块，并根据置信度对所述多个30*30的二值菜品图像块进行筛选得到30*30的二值餐盘边缘图像块；利用预先训练完毕的餐盘拟合网络模型对所述30*30的二值餐盘边缘图像块中的餐盘进行拟合，得到不同餐盘部位分割框集合；计算所述筛选后的菜品分割框集合中每个菜品分割框与所述不同餐盘部位分割框集合中每个餐盘分割框的交并比，并将计算得到的交并比大于预设交并比阈值的菜品分割框与餐盘分割框归为同一类，得到不同类别的框簇；若每一类框簇中包含有菜品分割框，则将面积最大的菜品分割框作为目标分割框，否则，将每一类框簇中的餐盘分割框作为目标分割框；将每一类框簇中确定的目标分割框进行合并，得到最终菜品定位框。
[0008]可选实施例中，所述根据预设的像素值变换规则对所述菜品灰度图像进行二值变换，得到菜品二值图像，包括：去除所述菜品灰度图像中灰度值超出预设灰度值范围的像素点，并从剩余像素点中去除RGB像素值与15个聚类RGB像素值差值的绝对值最小值小于第二预设像素值差值阈值的像素点，得到潜在菜品像素点；从（0,0）位置开始获取潜在菜品像素点作为目标点，获取目标点周围8个位置的潜在菜品像素点的灰度值，将灰度值最低且灰度值低于目标点的潜在菜品像素点作为最新目标点，继续从最新目标点周围8个位置的潜在菜品像素点中查找下一个最新目标点，直至最新目标点周围8个位置的潜在菜品像素点的灰度值均高于最新目标点，则确定当前最新目标点为最终目标点，按照同样的方法依次确定其他潜在菜品像素点的最终目标点，已被确定为最终目标点的潜在菜品像素点不再重复判定为其他潜在菜品像素点的最终目标点，得到全部最终目标点；将所述菜品灰度图像中的全部最终目标点的灰度值置为1，其他像素点的灰度值置为0，得到菜品二值图像。
[0009]可选实施例中，所述对所述菜品分割框集合中的菜品分割框依次进行尺寸筛选和颜色筛选，得到筛选后的菜品分割框集合，包括：根据预设长度阈值和宽度阈值对所述菜品分割框集合中的菜品分割框进行筛选，得到符合尺寸要求的菜品分割框集合；利用RGB聚类方法对所述符合尺寸要求的菜品分割框集合进行颜色划分，得到颜色分类后的菜品分割框集合；利用预先训练好的菜品识别网络模型对所述颜色分类后的菜品分割框集合进行菜品识别，并去除被识别为托盘的菜品分割框，得到筛选后的菜品分割框集合。
[0010]进一步地，所述利用预先训练好的菜品识别网络模型对所述颜色分类后的菜品分割框集合进行菜品识别之前，还包括：获取多张训练菜品图像，并利用RGB聚类方法将所述训练菜品图像进行颜色划分得到多组训练菜品图像；
在每组训练菜品图像中加入训练托盘图像得到训练菜品识别图像，并对每组训练菜品识别图像进行标注得到菜品标注数据；利用所述训练菜品识别图像以及对应的菜品标注数据对构建的菜品识别网络模型进行训练，获得所述训练完毕的菜品识别网络模型。
[0011]可选实施例中，所述利用预先训练完毕的餐盘拟合网络模型对所述30*30的二值餐盘边缘图像块中的餐盘进行拟合之前，包括：获取多张垫着托盘的餐盘图像；其中，所述垫着托盘的餐盘图像是对托盘上方放置的餐盘进行俯视拍摄得到的；将每张垫着托盘的餐盘图像分割成多个61*61的餐盘图像块；从全部61*61的餐盘图像块中选取包含餐盘和托盘的餐盘图像块作为训练餐盘图像块，并对所述训练餐盘图像块进行标注得到餐盘标注数据；其中，餐盘标注数据包括餐盘长度、餐盘宽度、训练餐盘图像块左上角距离餐盘中心的X轴距离和训练餐盘图像块左上角距离餐盘中心的Y轴距离；以20*20正方形为单位遍历每个训练餐盘图像块的RGB像素值计算每个单位的RGB像素平均值，判断每个单位的RGB像素平均值与15个聚类RGB像素值差值的绝对值最小值是否大于第一预设差值阈值，若是则将该单位置中各像素点置为1，否则置为0，得到二值训练餐盘图像块；利用所述二值训练餐盘图像块以及对应的餐盘标注数据对构建的餐盘拟合网络模型进行训练，获得所述训练完毕的餐盘拟合网络模型。
[0012]采用上述技术方案后，本专利技术至少具有如下有益效果：1、基于菜品与餐盘的颜色差异，采用改进的分水岭方法在待定位菜品图像中确定菜品分割框，并对确定的菜品分割框进行尺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种快餐菜品定位方法，其特征在于，包括：获取托盘图像和待定位菜品图像；其中，所述托盘图像和待定位菜品图像是摄像头俯视拍摄得到的；以20*20正方形为单位遍历所述托盘图像的RGB像素值计算每个单位的RGB像素平均值，并对所述每个单位的RGB像素平均值进行K=15的K聚类得到15个聚类RGB像素值；将所述待定位菜品图像转换为菜品灰度图像，并根据预设的像素值变换规则对所述菜品灰度图像进行二值变换，得到菜品二值图像；将所述菜品二值图像沿长度方向和宽度方向平均分成100份得到10000个菜品二值图像块，并计算每个菜品二值图像块中像素值为1的像素点所占的比例；获取像素值为1的像素点所占的比例大于预设比例阈值的菜品二值图像块，并将获取的菜品二值图像块中互相连通的菜品二值图像块进行合并得到菜品分割框集合；对所述菜品分割框集合中的各菜品分割框依次进行尺寸筛选和颜色筛选，得到筛选后的菜品分割框集合；将所述待定位菜品图像分割成多个61*61的菜品图像块，以20*20正方形为单位遍历每个菜品图像块的RGB像素值计算每个单位的RGB像素平均值，判断每个单位的RGB像素平均值与15个聚类RGB像素值差值的绝对值最小值是否大于第一预设差值阈值，若是则将该单位中各像素点置为1，否则置为0，得到多个61*61的二值菜品图像块；对所述多个61*61的二值菜品图像块进行池化处理得到多个30*30的二值菜品图像块，并根据置信度对所述多个30*30的二值菜品图像块进行筛选得到30*30的二值餐盘边缘图像块；利用预先训练完毕的餐盘拟合网络模型对所述30*30的二值餐盘边缘图像块中的餐盘进行拟合，得到不同餐盘部位分割框集合；计算所述筛选后的菜品分割框集合中每个菜品分割框与所述不同餐盘部位分割框集合中每个餐盘分割框的交并比，并将计算得到的交并比大于预设交并比阈值的菜品分割框与餐盘分割框归为同一类，得到不同类别的框簇；若每一类框簇中包含有菜品分割框，则将面积最大的菜品分割框作为目标分割框，否则，将每一类框簇中的餐盘分割框作为目标分割框；将每一类框簇中确定的目标分割框进行合并，得到最终菜品定位框。2.根据权利要求1所述的快餐菜品定位方法，其特征在于，所述根据预设的像素值变换规则对所述菜品灰度图像进行二值变换，得到菜品二值图像，包括：去除所述菜品灰度图像中灰度值超出预设灰度值范围的像素点，并从剩余像素点中去除RGB像素值与15个聚类RGB像素值差值的绝对值最小值小于第二预设像素值差值阈值的像素点，得到潜在菜品像素点；从（0,0）位置开始获取潜在菜品像素点作为目标点，获取目标点周围8个位置的潜在菜品像素点的灰度值，将灰度值最低且灰度值低于目标点的潜在菜品像素点作为最新目标点，继续从最新目标点周围8个位置的潜在菜品像素点中...

【专利技术属性】
技术研发人员：李大鹏，
申请(专利权)人：山东微亮联动网络科技有限公司，
类型：发明
国别省市：