一种基于离散小波注意力网络的食品图像分割方法技术

本发明专利技术提出一种基于离散小波注意力网络的食品图像分割方法，首先针对食品图像中食物类别多，分布不规律，大小不一致，边界信息模糊问题，利用迁移学习得到的在Food2K上训练好的Food2K

【技术实现步骤摘要】
一种基于离散小波注意力网络的食品图像分割方法


[0001]本专利技术涉及计算机视觉和食品计算领域，特别是涉及一种基于离散小波注意力网络的食品图像分割方法。

技术介绍

[0002]计算机视觉技术是一种综合了识别技术、场景重建技术、图像恢复技术等多项先进技术种类的现代化信息技术。目前来看，计算机视觉技术在我国的发展速度极快，在图像分析和处理方面，它可以对图像中的内容进行分类、检测和分割。图像语义分割主要是标注出图像中每个像素所属的对象类别；相比较于对整个图像标签进行预测的图像分类来说，对于分割的要求通常会更高。从早期的传统分割方法，如阈值、k均值聚类、区域生长，到目前已经取得了优良效果的深度学习模型，如FCN、PSPNet，以及DeepLab系列，都是利用卷积网络所持有的平移不变性和局部性特点来获取图像中的细节信息，对图像进行卷积操作来获得图像的特征。
[0003]近年来，离散小波变换广泛应用于视觉领域，例如图像超分，图像去噪处理，图像语义分割等等。离散小波变换将图像从空间域处理转换为频域处理，大大减少了计算时的参数量甚至复杂度，频域分析一直是图像处理的有力工具。有效地利用图像频域信息可以大大提高图像恢复算法的性能。一些方法利用频域信息的有效性，将频率信息嵌入到网络结构中。并且提出了小波残差网络，发现神经网络可以从小波子带的学习中获益，利用小波子带的高频信息实现图像纹理细节的强化。
[0004]肥胖是一种对个人身心健康与社会都具有危害的慢性疾病，根据西方医学理论，导致肥胖的原因在于卡路里摄入与消耗的不平衡，同时，这也导致了诸如糖尿病等慢性代谢疾病风险的提升。传统上，营养学家试图通过查看患者所食用食物的图像来解决这些问题。食品图像分割旨在区分各种食品中的各种成分，这对食品安全至关重要，因为估计卡路里和其他营养物质对人类健康和可持续发展很重要。然而，目前的图像分割方法在食物图像数据集上由于其外观的多样性以及食材和日常道具之间的条件差异，其分割性能较差，对食物图像的特征提取能力不足。因此，一个拥有高性能的分割模型可以准确地识别和定位不同的食物成分，这也就为之后进行营养评估和分量估计做出了必要的准备工作。

技术实现思路

[0005]本专利技术主要解决的技术问题：针对食品图像中食物类别多，分布不规律，大小不一致，边界信息模糊的问题，提供了一种基于离散小波注意力网络的食品图像分割方法来解决图像特征在特征处理过程中纹理细节丢失的问题，同时结合注意力机制，实现对频域特征和通道特征加权处理，更好的保留图像语义信息。结合离散小波变换和注意力机制能够更好的实现对图像纹理特征的频域转化，强化高频信息和抑制低频信息，实现空间域和频域特征的融合，从而获得高质量、高度细节化的分割结果。
[0006]为解决上述技术问题，本专利技术采用的一个技术方案是：设计结合离散小波注意力
网络和残差通道注意力网络，形成双分支网络，进行空间域和频域特征处理，分别从空间维度和通道维度来获取空间特征和通道特征，突出并丰富食品图像的特征维度；最后构建分割头网络，将两个分支处理后的不同尺度特征进行卷积、特征融合和上采样操作使得终获得的特征大小和输入图像大小保持一致，其具体包括以下步骤：
[0007](1)针对食品图像特点和特征提取不充分，通过迁移学习利用Food2K
‑
ResNet作为食品图像的特征提取器，该特征提取器主要是利用ResNet模型再在Food2K上进行针对食品图像进行训练，使其特征提取能力更加符合食品图像的特点。然后设计结合离散小波注意力网络和残差通道注意力网络，形成双分支网络，实现从空间维度和通道维度进行图像特征的加权处理，突出并丰富食品图像的特征表示，使得食品图像中的细节特征更加显著，从而使得分割结果边界更加明晰；
[0008](2)针对离散小波注意力分支网络，其设计遵循U
‑
Net网络结构，通过对Food2K
‑
ResNet提取到的特征进行处理，经过离散小波变换分解为对应的低频特征和高频特征，然后利用空间注意力机制实现对高频特征的加权强化处理，对低频特征进行抑制，将低频特征与卷积输出连接为下采样特征，并通过跳跃连接将高频特征添加到离散小波变换上采样模块中；
[0009](3)针对残差通道注意力网络，主要是利用残差连接和通道注意力机制，获取食品图像的通道特征，实现通道特征与原始输入特征的融合，突出原始食品图像的通道信息；
[0010](4)利用步骤2和3分别获得的食品图像特征向量，分别进行卷积操作，使得每个特征的尺度大小一致，然后进行特征融合，形成新的具有多维度、多域表征的食品图像特征，同时包含图像不同语义细节，最后利用构建的解码头(segmenter)进行融合特征处理，使得特征尺度大小与输入图像保持一致。在此基础上利用结构相似损失函数(SSIM)，作用于离散小波注意力分支；使用交叉熵损失函数作用于残差通道注意力分支，构建联合损失函数，通过反向传播来不断优化网络参数进而减少误差损失，预测与输入图像一致的具有精确细节的最优分割结果。
[0011]在步骤1中，首先针对食品图像这种特定领域，传统的ResNet网络作为特征提取器就不能完全适用于食品图像特征，因此利用ResNet网络在Food2K食品数据集上训练好的Food2K
‑
ResNet作为主干网络，设计双分支网络；一个分支为离散小波注意力网络，另一个分支为残差通道注意力网络，实现从空间维度和通道维度进行图像特征的加权处理，丰富食品图像的语义特征表示。
[0012]在步骤2中，针对离散小波注意力分支网络，其设计遵循U
‑
Net网络结构，通过对Food2K
‑
ResNet提取到的特征进行处理，经过离散小波变换分解为对应的3个低频特征和1个高频特征，同时对于输入特征进行卷积、归一化、池化和激活层处理，获取空间域图像特征；
[0013]将低频分量与卷积输出连接为下采样特征，对低频特征进行抑制，使得特征保留更多高频细节信息，并通过跳跃连接将高频分量添加到离散小波变换上采样模块中，空间注意力机制作用于高频特征，实现对高频特征的加权强化处理，同时将低频分量与卷积输出连接为下采样特征，在步骤3中，将步骤2中得到的图像特征进行自顶向下进行特征融合，向下融合的过程中同样使用1x1卷积进行图像尺度对齐，构建出四层特征金字塔，其中每一层特征都包含前几层特征的语义信息。
[0014]在步骤4中，构建分割解码器，按照前三个步骤最终所获得的四种不同尺度的图像特征，进行特征融合，形成新的具有多尺度，包含图像不同语义细节的特征向量，为了使特征尺度与输入图像的大小相同，最后进行上采样操作。使用联合损失函数计算预测值和真实值之间的误差，反向传播，优化编码器中的所有参数，从而生成具有食物类别边界分割精确的最优分割结果。
[0015]本专利技术的有益效果是：本专利技术在进行食品图像分割过程中针对食品图片分割特征提取能力不足以及食品分割图像纹理细节缺失的问题，利用离散小波注意力和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于离散小波注意力网络的食品图像分割方法，其特征在于，包括以下步骤：步骤1：通过迁移学习利用Food2K
‑
ResNet作为食品图像的特征提取器，该特征提取器利用ResNet模型在Food2K上针对食品图像特征进行提取，然后结合离散小波注意力分支网络和残差通道注意力分支网络，形成双分支网络，实现从空间维度和通道维度进行图像特征的加权处理；步骤2：针对离散小波注意力分支网络，其设计遵循U
‑
Net网络结构，对Food2K
‑
ResNet提取到的特征进行处理，经过离散小波变换分解为对应的低频特征和高频特征，然后利用空间注意力机制实现对高频特征的加权强化处理，对低频特征进行抑制，将低频特征与卷积输出连接为下采样特征，并通过跳跃连接将高频特征添加到离散小波变换上采样模块中，以获得食品图像空间特征；步骤3：针对残差通道注意力网络，利用残差连接和通道注意力机制，获取食品图像的通道特征；步骤4：利用步骤2和3分别获得的食品图像空间特征和通道特征，分别进行卷积操作，使得不同特征的尺度大小一致，然后进行特征融合，形成多维度、多域表征的食品图像特征，同时包含图像不同语义细节，最后利用构建的解码头进行融合特征处理，使得特征尺度大小与输入图像保持一致；在此基础上利用结构相似损失函数，作用于离散小波注意力分支；使用交叉熵损失函数作用于残差通道注意力分支，构建联合损失函数，通过反向传播优化网络参数进而减少误差损失，预测与输入图像一致的具有精确细节的最优分割结果。2.根据权利要求1所述的一种基于离散小波注意力网络的食品图像分割方法，其特征在于：所述步骤1中的食品图像处理方法如下：(1)首先针对食品图像领域，利用ResNet网络在Food2K食品数据集上训练好的Food2K
...

【专利技术属性】
技术研发人员：李海生，董笑笑，李勇，王晓川，李燕，朱敏洪，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：