一种基于描述符的用餐营养识别方法、系统、设备及介质技术方案

本发明专利技术涉及图像识别技术领域，尤其涉及一种基于描述符的用餐营养识别方法、系统、设备及介质，所述方法具体包括：建立菜品数据库，包括菜品类别及每个菜品类别的菜品信息；获取菜品图像，根据特征提取算法将所述菜品图像转换为描述符集合；根据所述描述符集合和最近邻算法分别确定取餐食物和餐后剩余食物的所有菜品的菜品类别；根据所述描述符集合、已知重量的菜品样本，分别确定所述取餐食物和所述餐后剩余食物的每个菜品类别的重量；根据所述取餐食物和所述餐后剩余食物的菜品类别和每个菜品类别的重量确定营养摄取量。本发明专利技术通过特征提取算法，全面地描述菜品的视觉特征，获取菜品类别和菜品重量。品类别和菜品重量。品类别和菜品重量。

【技术实现步骤摘要】
一种基于描述符的用餐营养识别方法、系统、设备及介质


[0001]本专利技术涉及图像识别
，尤其涉及一种基于描述符的用餐营养识别方法、系统、设备及介质。

技术介绍

[0002]在菜品图像识别领域，主要基于图像处理和机器学习方法进行特征提取和分类。在真实场景中，菜品图像可能受到噪声、模糊、遮挡和其他干扰因素的影响，这会对特征提取和识别过程造成困难。然而，现有的菜品图像识别技术在处理光照变化和视角变化时可能表现不稳定，导致识别结果的可靠性下降，而且现有的菜品图像识别技术往往缺乏针对菜品特定特征的定制化方法，导致模型在训练和识别过程中对于少数类别的菜品表现不佳，容易产生分类偏差。

技术实现思路

[0003]本专利技术的目的在于提供一种基于描述符的用餐营养识别方法、系统、设备及介质，通过特征提取算法，全面地描述菜品的视觉特征，获取菜品类别和菜品重量，以解决上述现有问题的至少之一。
[0004]本专利技术提供了一种基于描述符的用餐营养识别方法，所述方法具体包括：
[0005]建立菜品数据库，所述菜品数据库包括菜品类别及每个菜品类别的菜品信息；
[0006]获取菜品图像，根据特征提取算法将所述菜品图像转换为描述符集合；
[0007]根据所述描述符集合和最近邻算法分别确定取餐食物和餐后剩余食物的所有菜品的菜品类别；
[0008]根据所述描述符集合、已知重量的菜品样本，分别确定所述取餐食物和所述餐后剩余食物的每个菜品类别的重量；
[0009]根据所述取餐食物和所述餐后剩余食物的菜品类别和每个菜品类别的重量确定营养摄取量。
[0010]进一步的，所述根据特征提取算法将所述菜品图像转换为描述符集合，具体包括：
[0011]基于SIFT算法，确定所述菜品图像的第一特征点集合，提取所述第一特征点集合中每个第一特征点的周围的局部特征，生成SIFT描述符；
[0012]基于SURF算法，确定所述菜品图像的第二特征点集合，提取所述第二特征点集合中每个第二特征点的周围的局部特征，生成SURF描述符；
[0013]基于LBP算法，计算所述菜品图像中每个像素周围邻域的局部二值模式，提取LBP特征，生成LBP描述符；
[0014]将所述SIFT描述符、所述SURF描述符和所述LBP描述符合并为描述符集合。
[0015]更进一步的，所述基于SIFT算法，确定所述菜品图像的第一特征点集合，提取所述第一特征点集合中每个第一特征点的周围的局部特征，生成SIFT描述符，具体包括：
[0016]对所述菜品图像进行不同尺度的高斯模糊和降采样，获得第一高斯金字塔；
[0017]使所述第一高斯金字塔的每组中每相邻两层高斯模糊图像相减，获得高斯差分金字塔；
[0018]基于高斯差分函数，计算所述高斯差分金字塔的每组中每相邻两层的高斯模糊图像之间的差异，确定第一特征点集合；
[0019]对所述第一特征点集合中每个第一特征点的邻域内像素点进行梯度计算，然后采用直方图统计每个第一特征点的邻域内像素点的梯度方向和梯度幅值，确定每个第一特征点的位置、尺度和方向；
[0020]根据每个第一特征点的位置、尺度和位置确定每个第一特征点的特征向量，对每个第一特征点的特征向量进行排序，获得SIFT描述符。
[0021]更进一步的，所述基于SURF算法，确定所述菜品图像的第二特征点集合，提取所述第二特征点集合中每个第二特征点的周围的局部特征，生成SURF描述符，具体包括：
[0022]对所述菜品图像进行不同尺度的高斯模糊和降采样，获得第二高斯金字塔；
[0023]基于Hessian矩阵，计算所述第二高斯金字塔的每个像素点及每个像素点的三维领域内邻近26个像素点之间的特征值大小，确定第二特征点集合；
[0024]计算所述第二特征点集合中每个第二特征点的邻域内像素点的Haar小波响应，确定每个第二特征点的主方向；
[0025]分别以每个第二特征点为中心，将坐标轴旋转到每个第二特征点的主方向并获得新坐标轴；
[0026]在所述新坐标轴中选取区域并划分为多个子区域，计算每个子区域在水平方向和垂直方向的Haar小波响应后进行高斯加权，获得每个子区域的特征向量；
[0027]将每个子区域的特征向量进行组合，获得SURF描述符。
[0028]更进一步的，所述基于LBP算法，计算所述菜品图像中每个像素周围邻域的局部二值模式，提取LBP特征，生成LBP描述符，具体包括：
[0029]基于加权平均法，将所述菜品图像转换为灰度图像；
[0030]比较所述灰度图像中每个像素点及每个像素点的邻域内的像素点之间的灰度值，将大于等于当前像素点的邻域内的像素点的二值编码位置设为1，将小于当前像素点的邻域内的像素点的二值编码位置设为0，生成二值编码；
[0031]将所述二值编码进行旋转操作，使所述二值编码的二进制序列从小到大进行排序，生成LBP特征；
[0032]将所述灰度图像中每个像素点的所述LBP特征进行组合，生成LBP描述符。
[0033]进一步的，所述根据所述描述符集合和最近邻算法分别确定取餐食物和餐后剩余食物的所有菜品的菜品类别，具体包括：
[0034]分别计算所述描述符集合中的SIFT描述符、SURF描述符和LBP描述符与所述菜品数据库的每个菜品的描述符之间的相似度；
[0035]根据所述相似度的大小，分别确定所述菜品数据库中与所述SIFT描述符、所述SURF描述符和所述LBP描述符相似度最高的前k个描述符；
[0036]根据前k个描述符中每个描述符对应的菜品类别，确定每个菜品类别的频率；
[0037]根据每个菜品类别的频率的大小分别确定所述SIFT描述符、所述SURF描述符和所述LBP描述符对应的菜品类别。
[0038]判断所述SIFT描述符、所述SURF描述符和所述LBP描述符对应的菜品类别是否一致，若不一致，基于场景属性、光照条件和菜品种类确定所述SIFT描述符、所述SURF描述符和所述LBP描述符之间的权重，根据所述SIFT描述符、所述SURF描述符和所述LBP描述符之间的权重确定目标菜品类别。
[0039]进一步的，所述根据所述描述符集合、已知重量的菜品样本，分别确定所述取餐食物和所述餐后剩余食物的每个菜品类别的重量，具体包括：
[0040]根据所述描述符集合，获取颜色特征、纹理特征和形状特征；
[0041]构建所述颜色特征、所述纹理特征和所述形状特征分别与已知重量的菜品样本之间的关联数据，形成第一数据集；
[0042]通过回归模型训练所述第一数据集，生成菜品重量识别模型；
[0043]根据所述菜品重量识别模块确定取餐食物和餐后剩余食物的每个菜品类别的重量。
[0044]本专利技术还提供了一种基于描述符的用餐营养识别系统，所述系统具体包括：
[0045]菜品数据库，所述菜品数据库用于存储菜品类别及每个菜品本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于描述符的用餐营养识别方法，其特征在于，所述方法具体包括：建立菜品数据库，所述菜品数据库包括菜品类别及每个菜品类别的菜品信息；获取菜品图像，根据特征提取算法将所述菜品图像转换为描述符集合；根据所述描述符集合和最近邻算法分别确定取餐食物和餐后剩余食物的所有菜品的菜品类别；根据所述描述符集合、已知重量的菜品样本，分别确定所述取餐食物和所述餐后剩余食物的每个菜品类别的重量；根据所述取餐食物和所述餐后剩余食物的菜品类别和每个菜品类别的重量确定营养摄取量。2.根据权利要求1所述的方法，其特征在于，所述根据特征提取算法将所述菜品图像转换为描述符集合，具体包括：基于SIFT算法，确定所述菜品图像的第一特征点集合，提取所述第一特征点集合中每个第一特征点的周围的局部特征，生成SIFT描述符；基于SURF算法，确定所述菜品图像的第二特征点集合，提取所述第二特征点集合中每个第二特征点的周围的局部特征，生成SURF描述符；基于LBP算法，计算所述菜品图像中每个像素周围邻域的局部二值模式，提取LBP特征，生成LBP描述符；将所述SIFT描述符、所述SURF描述符和所述LBP描述符合并为描述符集合。3.根据权利要求2所述的方法，其特征在于，所述基于SIFT算法，确定所述菜品图像的第一特征点集合，提取所述第一特征点集合中每个第一特征点的周围的局部特征，生成SIFT描述符，具体包括：对所述菜品图像进行不同尺度的高斯模糊和降采样，获得第一高斯金字塔；使所述第一高斯金字塔的每组中每相邻两层高斯模糊图像相减，获得高斯差分金字塔；基于高斯差分函数，计算所述高斯差分金字塔的每组中每相邻两层的高斯模糊图像之间的差异，确定第一特征点集合；对所述第一特征点集合中每个第一特征点的邻域内像素点进行梯度计算，然后采用直方图统计每个第一特征点的邻域内像素点的梯度方向和梯度幅值，确定每个第一特征点的位置、尺度和方向；根据每个第一特征点的位置、尺度和位置确定每个第一特征点的特征向量，对每个第一特征点的特征向量进行排序，获得SIFT描述符。4.根据权利要求2所述的方法，其特征在于，所述基于SURF算法，确定所述菜品图像的第二特征点集合，提取所述第二特征点集合中每个第二特征点的周围的局部特征，生成SURF描述符，具体包括：对所述菜品图像进行不同尺度的高斯模糊和降采样，获得第二高斯金字塔；基于Hessian矩阵，计算所述第二高斯金字塔的每个像素点及每个像素点的三维领域内邻近26个像素点之间的特征值大小，确定第二特征点集合；计算所述第二特征点集合中每个第二特征点的邻域内像素点的Haar小波响应，确定每个第二特征点的主方向；
分别以每个第二特征点为中心，将坐标轴旋转到每个第二特征点的主方向并获得新坐标轴；在所述新坐标轴中选取区域并划分为多个子区域，计算每个子区域在水平方向和垂直方向的Haar小波响应后进行高斯加权，获得每个子区域的特征向量；将每个子区域的特征向量进行组合，获得SURF描述符。5.根据权利要求2所述的方法，其特征在于，所述基于LBP算法，计算所述菜品图像中每个像素周围邻域的局部二值模式，提取LBP特征，生成LBP描述符，具体包括：基于加权平均法，将所述菜品图像转换为灰度图像；比较所述灰度图像中每个像素点及每个像素点的邻域内的像素点之间的灰度值，将大于等于当前像素点的邻域内的像素点的二值编码位置设为1，将小于当前像素点的邻域内的像素点的二值编码位置设为0，生成二值编码；将所述二值编码进行旋转操作，使所述二值编码的二进制序列从小到大进行排序，生成LBP特征；将所述灰度图像中每个像素点的所述LBP特征进行组合，生成LB...

【专利技术属性】
技术研发人员：罗哲，
申请(专利权)人：长沙迪卓科技有限公司，
类型：发明
国别省市：