一种基于多特征融合的食物识别系统及方法技术方案

本发明专利技术涉及图像识别及图形数据处理技术领域，公开了一种基于多特征融合的食物识别系统及方法，包括：接收输入的原始食物图像，分别提取该原始食物图像的全局特征、SIFT特征和卷积特征；将原始食物图像的全局特征、SIFT特征和卷积特征融合相加，并将结果输出至第一全连接层；利用归一化指数函数对所述第一全连接层的输出进行归一化。本发明专利技术基于注意力机制，加入SIFT特征，并且融合了基于深度可分离卷积的CNN特征，可以有效提升食物识别的精度，且在复杂场景下有较高的鲁棒性。杂场景下有较高的鲁棒性。杂场景下有较高的鲁棒性。

【技术实现步骤摘要】
一种基于多特征融合的食物识别系统及方法


[0001]本专利技术涉及图像识别及图形数据处理
，特别涉及一种基于多特征融合的食物识别系统及方法。

技术介绍

[0002]作为食品计算的核心任务之一，食品图像识别同时是计算机视觉领域中细粒度视觉识别的重要分支，因而具有重要的理论研究意义，并在智慧健康、食品智能装备、智慧餐饮、智能零售及智能家居等方面有着广泛的应用前景。
[0003]目前的食物识别一般包括两种方案，第一种是基于ResNet，VggNet等特征提取网络提取特征，普遍存在部分类别分类准确率低的问题；第二种是基于无监督的图像搜索算法，如moco、byol、swav等。
[0004]例如公开号为CN114550018A的中国专利申请，提出一种基于深度学习食物图像识别模型的营养管理方法及系统，基于深度学习食物图像识别模型，计算不同种类食物子图像中所含营养的量，将所有食物中的营养素进行累加，得到给用户各种营养素总摄入量；将用户上传的食物摄入信息通过服务器和其他数据集关联。
[0005]一般来说，无监督的算法效果低于有监督本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的食物识别方法，其特征在于，包括如下步骤：接收输入的原始食物图像，分别提取所述原始食物图像的全局特征、SIFT特征和卷积特征；将所述原始食物图像的全局特征、SIFT特征和卷积特征融合相加，并将结果输出至第一全连接层；利用归一化指数函数对所述第一全连接层的输出进行归一化。2.根据权利要求1所述的一种基于多特征融合的食物识别方法，其特征在于，提取所述原始食物图像的全局特征的步骤包括：将所述原始食物图像输入至全局特征提取模块，所述全局特征提取模块包括依次连接的图像补丁分割模块、第一网络模块、第二网络模块、第三网络模块、第四网络模块、第一平均池化模块和第二全连接层；所述图像补丁分割模块用于将所述原始食物图像分割为n
×
n的图像补丁；所述第一网络模块包括依次连接的1个Linear Embeddding模块和2个Swin Transformer模块；所述1个Linear Embeddding模块用于对输入的图像补丁进行线性编码；所述2个Swin Transformer模块为依次相连的1个W
‑
MSA模块和1个SW
‑
MSA模块，用于对线性编码后的数据进行特征提取；所述第二网络模块包括依次连接的1个patch merging模块和2个Swin Transformer模块；所述1个patch merging模块用于对输入数据进行降采样处理；所述2个Swin Transformer模块为依次相连的1个W
‑
MSA模块和1个SW
‑
MSA模块；所述第三网络模块包括依次连接的1个patch merging模块和6个Swin Transformer模块；所述1个patch merging模块用于对输入数据进行降采样处理；所述6个Swin Transformer模块为依次相连的3组注意力模块，每组注意力模块包括依次连接的1个W
‑
MSA模块和1个SW
‑
MSA模块；所述第四网路模块包括依次连接的1个patch merging模块和2个Swin Transformer模块；所述1个patch merging模块用于对输入数据进行降采样处理；所述2个Swin Transformer模块为依次连接的1个W
‑
MSA模块和1个SW
‑
MSA模块。3.根据权利要求1所述的一种基于多特征融合的食物识别方法，其特征在于，提取所述原始食物图像的SIFT特征的步骤包括：对于输入的所述原始食物图像在尺度空间中检测极值点，提取位置、尺度和旋转不变量特征，并将其抽象成特征向量，输出SIFT特征向量。4.根据权利要求1所述的一种基于多特征融合的食物识别方法，其特征在于，提取所述原始食物图像的卷积特征的...

【专利技术属性】
技术研发人员：李利明，李钊，翁翔羽，张兴明，
申请(专利权)人：北京智源人工智能研究院，
类型：发明
国别省市：