一种基于深度学习的食材辨识系统和食材辨识方法技术方案

本发明专利技术提供一种基于深度学习的食材辨识系统和食材辨识方法，还涉及一种基于深度学习的食材图像识别模块的构建方法，其中所述食材图像识别模块的构建方法包括：获取大量食材图像，根据食材信息为所述食材图像分别设定标签，构建带标签的食材图像数据库；构建初始深度学习网络模型，包括对网络结构以及网络参数的初始化；将所述食材图像数据库中食材图像输入初始深度学习网络模型，训练获得食材图像识别模块。本发明专利技术将基于深度学习的图像识别方法用于食材识别，采用深度学习算法对食材数据进行训练分析，能够实现尽可能精确的食材辨识。

【技术实现步骤摘要】
一种基于深度学习的食材辨识系统和食材辨识方法
本专利技术涉及一种食材辨识系统和食材辨识方法，以及基于深度学习的食材图像识别模块的构建方法和所述食材图像识别模块在智能冰箱中的应用。
技术介绍
深度学习作为一种新兴的机器学习方法，其特征在于模拟人脑关于认知的结构，不断提取样本特征，进而抽象出样本的属性特征。通过数据驱动，可找寻大量样本的内在联系，进而解决一类问题。其在语音识别、图像识别和自然语言处理三个领域中，对于图像的处理是深度学习最早尝试的领域。随着各机构组织研究人员的不懈努力和计算机处理数据能力的不断提高，深度学习算法的模型层次不断加深，结构日趋复杂，在图像识别上对识别效果的提升最为显著。从传统的CNN，到后来的DPM、RCNN，再到现如今AlexNet、GoogLeNet、ResNet等，许多网络结构都能在不同程度上实现对图像的准确识别。如今图像识别已经成为一项较为成熟的技术，在网络搜索、军事、医疗、安防、智能家居等领域均有广泛应用。智能家居提高了人们的生活质量、工作效率，体现了科技性和人性化。作为智能家居系统中不可或缺的一部分，智能冰箱与人们的生活息息相关。在传统冰箱的使用中，食材管理成为一直困扰家家户户的问题，靠里面放置的食材时常因为用户看不到而变质，长此以往将很严重的浪费。通过智能冰箱实现对食材的自主识别，并搭建服务器实现食材管理，是实现健康饮食的关键一步。。
技术实现思路
针对现有技术问题中的一种或多种，在本专利技术的一个方面，本专利技术提供一种基于深度学习的食材图像识别模块的构建方法，包括：(1)获取大量食材图像，根据食材信息为所述食材图像分别设定标签，构建带标签的食材图像数据库；(2)构建初始深度学习网络模型；(3)将所述食材图像数据库中食材图像输入初始深度学习网络模型，训练获得食材图像识别模块。根据本专利技术的一个方面，所述步骤(2)中，初始深度学习网络模型采用MaskRCNN网络模型，所述MaskRCNN网络模型包括VGG、RPN、ROIAlign、卷积输出四部分，优选地，所述VGG部分用于接受图像输入，通过卷积、池化过程产生特征图谱输出，其结构式如下：input->[conv_1*α->max_pool]*β->[conv_1*λ->conv_2->max_pool]*γ->fmap式中，input表示输入，conv_1表示卷积层，卷积核大小为3*3，max_pool表示最大池化，conv_2表示卷积层，卷积核大小为1*1，fmap为VGG网络的特征图谱输出，其中α、β、λ和γ为特定结构的重复次数，均为整数，且满足：α>0，优选α＝2；β>0，优选β＝2；λ>0，优选λ＝2；γ>0，优选γ＝2；所述RPN部分用于接受VGG产生的特征图谱，采用不同大小的滑窗生成特征向量，然后通过分类核、区域核产生分类图谱、区域界定图谱，用于后续内容分类与区域界定，结构式如下：式中，a_box表示滑窗，可视为一种步长为1的卷积核，rpn_out表示输出的特征向量，cls_kernel表示分类核，reg_kernel表示区域核，二者本质上均为卷积核，cls_out为分类特征图谱，reg_out为区域界定特征图谱；所述ROIAlign部分用于接受RPN部分的区域界定，利用双线性插值计算对应于原图的当前特征图中的像素点输出，计算公式如下：式中，x1,y1为原图中像素点坐标，x2,y2为当前特征图中像素点坐标，X,Y为原图大小，x,y为当前特征图大小；所述卷积输出部分包括卷积部分CONV和输出部分，所述卷积部分CONV包括FastRCNN模型和FCN模型，所述输出部分包括分类输出、区域界定输出和图像分割输出。根据本专利技术的一个方面，所述步骤(2)中构建初始深度学习网络模型的方法为：获取公开的用于图像识别的已训练RPN模型和已训练FastRCNN模型作为初始深度学习网络模型。根据本专利技术的一个方面，所述步骤(3)具体操作方法为：将所述食材图像数据库中的食材图像分为训练样本和测试样本，优选地，所述训练样本为所述食材图像数据库中食材图像的80％，其余20％食材图像作为测试样本；将所述训练样本输入所述初始深度学习模型，通过反向传播算法对所述已训练RPN模型进行参数更新，产生候选区域，利用训练样本对所述已训练FastRCNN模型再次进行训练，获得进一步训练的FastRCNN模型，通过所述进一步训练的FastRCNN模型的卷积层提取输入图像的整体特征，得到输入图像的特征图，结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正，得到每个候选区域后对每个候选区域进行预测，得到待识别物体的类别与boundingbox，同时使用FCN网络对每个候选区域进行实例分割，预测每个像素点所属类别，根据得到的图像分割结果优化模型结构与参数，获得基于MaskRCNN网络模型的食材识别模块。根据本专利技术的一个方面，所述训练过程中使用的损失函数表达式为：L＝Lcls+Lreg+Lmask，其中L为总损失函数，Lcls为分类损失函数，Lreg为区域界定损失函数，Lmask为图像分割损失函数，式中，其中Ncls表示分类层的归一化，pi为第i个anchor的目标预测概率值，为groundtruth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0；其中λ为平衡权重，Nreg表示回归层的归一化，ti为预测的boundingbox参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的boundingbox参数化坐标的向量，R是SmoothL1函数，其计算公式为图像分割损失函数是对每一个像素用Sigmoid求二值交叉熵，得到平均的二值交叉熵误差Lmask；对于每一个m×m大小的候选区域，当所有类别为K时，FCN层分支有一个K×m2维的输出，对于每个候选区域，如果检测到候选区域属于哪一类，则用哪一个分支的二值交叉熵作为误差值进行计算，满足以下表达式：Lmask(cls_k)＝Sigmoid(cls_k)其中cls_k为对应第k类的区域输出，Sigmoid表示平均二值交叉熵计算。根据本专利技术的一个方面，所述优化模型结构与参数的具体操作方法为：确定模型结构中的超参数数量及其取值范围，构成参数空间；在确定的参数空间下执行细菌觅食优化算法，以模型在参数向量下的准确率作为评价该向量的目标函数；把所述细菌觅食优化算法获得的最优参数向量输出作为该模型的参数设置。根据本专利技术的一个方面，所述细菌觅食优化算法的具体方法为：初始化参数：给定算法中参数p,S,Ped,C(i)的初始值，设定趋化步数NC、复制次数Nre、消除分散次数Ned，游泳长度NS，其中参数p,S,Ped,C(i)分别代表：优化过程变量数量，细菌总数，消除扩散概率，随机方向上的步长大小；计算当前细菌适应值函数J(i,j,k,l)并初始化Jlast＝J(i,j,k,l)，式中J(i,j,k,l)＝J(i,j,k,l)+JCC(θi(j,k,l),P(j,k,l))其中，J本文档来自技高网...

【技术保护点】
1.一种基于深度学习的食材图像识别模块的构建方法，其特征在于：包括：(1)获取大量食材图像，根据食材信息为所述食材图像分别设定标签，构建带标签的食材图像数据库，优选地，所述食材信息包括食材的颜色、类别、体积和数量；(2)构建初始深度学习网络模型；(3)将所述食材图像数据库中食材图像输入初始深度学习网络模型，训练获得食材图像识别模块。

【技术特征摘要】
1.一种基于深度学习的食材图像识别模块的构建方法，其特征在于：包括：(1)获取大量食材图像，根据食材信息为所述食材图像分别设定标签，构建带标签的食材图像数据库，优选地，所述食材信息包括食材的颜色、类别、体积和数量；(2)构建初始深度学习网络模型；(3)将所述食材图像数据库中食材图像输入初始深度学习网络模型，训练获得食材图像识别模块。2.如权利要求1所述的基于深度学习的食材图像识别模块的构建方法，其特征在于：所述步骤(2)中，初始深度学习网络模型采用MaskRCNN网络模型，所述MaskRCNN网络模型包括VGG、RPN、ROIAlign、卷积输出四部分，优选地，所述VGG部分用于接受图像输入，通过卷积、池化过程产生特征图谱输出，其结构式如下：input->[conv_1*α->max_pool]*β->[conv_1*λ->conv_2->max_pool]*γ->fmap式中，input表示输入，conv_1表示卷积层，卷积核大小为3*3，max_pool表示最大池化，conv_2表示卷积层，卷积核大小为1*1，fmap为VGG网络的特征图谱输出，其中α、β、λ和γ为特定结构的重复次数，均为整数，且满足：α>0，优选α＝2；β>0，优选β＝2；λ>0，优选λ＝2；γ>0，优选γ＝2；所述RPN部分用于接受VGG产生的特征图谱，采用不同大小的滑窗生成特征向量，然后通过分类核、区域核产生分类图谱、区域界定图谱，用于后续内容分类与区域界定，结构式如下：式中，a_box表示滑窗，可视为一种步长为1的卷积核，rpn_out表示输出的特征向量，cls_kernel表示分类核，reg_kernel表示区域核，二者本质上均为卷积核，cls_out为分类特征图谱，reg_out为区域界定特征图谱；所述ROIAlign部分用于接受RPN部分的区域界定，利用双线性插值计算对应于原图的当前特征图中的像素点输出，计算公式如下：式中，x1,y1为原图中像素点坐标，x2,y2为当前特征图中像素点坐标，X,Y为原图大小，x,y为当前特征图大小；所述卷积输出部分包括卷积部分CONV和输出部分，所述卷积部分CONV包括FastRCNN模型和FCN模型，所述输出部分包括分类输出、区域界定输出和图像分割输出；和/或，所述步骤(2)中构建初始深度学习网络模型的方法为：获取公开的用于图像识别的已训练RPN模型和已训练FastRCNN模型作为初始深度学习网络模型；和/或，所述步骤(3)具体操作方法为：将所述食材图像数据库中的食材图像分为训练样本和测试样本，优选地，所述训练样本为所述食材图像数据库中食材图像的80％，其余20％食材图像作为测试样本；将所述训练样本输入所述初始深度学习模型，通过反向传播算法对所述已训练RPN模型进行参数更新，产生候选区域，利用训练样本对所述已训练FastRCNN模型再次进行训练，获得进一步训练的FastRCNN模型，通过所述进一步训练的FastRCNN模型的卷积层提取输入图像的整体特征，得到输入图像的特征图，结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正，得到每个候选区域后对每个候选区域进行预测，得到待识别物体的类别与boundingbox，同时使用FCN网络对每个候选区域进行实例分割，预测每个像素点所属类别，根据得到的图像分割结果优化模型结构与参数，获得基于MaskRCNN网络模型的食材识别模块；优选地，所述优化模型结构与参数的具体操作方法为：确定模型结构中的超参数数量及其取值范围，构成参数空间；在确定的参数空间下执行细菌觅食优化算法，以模型在参数向量下的准确率作为评价该向量的目标函数；和把所述细菌觅食优化算法获得的最优参数向量输出作为该模型的参数设置；进一步优选地，所述细菌觅食优化算法的具体方法为：初始化参数：给定算法中参数p,S,Ped,C(i)的初始值，设定趋化步数NC、复制次数Nre、消除分散次数Ned，游泳长度NS，其中参数p,S,Ped,C(i)分别代表：优化过程变量数量，细菌总数，消除扩散概率，随机方向上的步长大小；计算当前细菌适应值函数J(i,j,k,l)并初始化Jlast＝J(i,j,k,l)，式中J(i,j,k,l)＝J(i,j,k,l)+JCC(θi(j,k,l),P(j,k,l))其中，JCC(·)为趋化函数，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引，θi(·)代表第i个细菌在参数空间中的表示，P(·)代表除θi(·)外其余细菌在参数空间中的表示；细菌按某方向向量移动：其中θi(·)是第i个细菌在参数空间中的表示，j,k,l分别是趋化索引、复制索引、消除扩散索引，C(i)是随机方向上的步长大小，△(i)表示参数空间θ中的随机方向向量；计算移动后的适应值函数J(i,j+1,k,l)，判断Jlast与J(i,j+1,k,l)，做如下代换：Jlast＝min{J(i,j+1,k,l),Jlast}并将游动次数迭代值m加1，其中i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；细菌进行NS次游动后，切换至下一细菌游动，同时菌群判断数i加1；菌群全部完成游动后，菌群判断数i重置为0，并进行一次趋化，趋化计数值j加1，菌群进行下一组游动；趋化表示菌群中优良个体对其他个体的吸引及速度更新，该过程描述如下：其中，Jcc(θ,P(j,k,l))表示趋化函数，S是细菌总数，p是该优化过程变量数量，表现在单个细菌中，有θ＝[θ1,θ2,...,θm,...,θp]T，是参数空间中一点，dattractantwattractant,hreprllant,wrepellant是描述系数，θ是细菌群中优良个体，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；菌群完成Nc次趋化后，趋化计数值j重置为0，并进行一次复制，复制计数值k加1，菌群进行下一组趋化；复制表示健康的细菌分裂成两个子细菌，停留在原来搜索空间位置；和菌群完成Nre次复制后，复制计数值k重置为0，并进行一次消除扩散，消除扩散计数值l加1，菌群进行下一组复制；菌群完成Ned次消除扩散后算法结束，得到最优参数向量输出；消除扩散表示以消除扩散概率Ped去除细菌群中的某些细菌，达到选择作用，同时以消除扩散概率Ped把细菌群中的某些细菌分散到整个搜索空间中，避免陷入局部最优解；和/或，所述步骤(3)中，所述训练过程中使用的损失函数表达式为：L＝Lcls+Lreg+Lmask，其中L为总损失函数，Lcls为分类损失函数，Lreg为区域界定损失函数，Lmask为图像分割损失函数，式中，其中Ncls表示分类层的归一化，pi为第i个anchor的目标预测概率值为groundtruth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0；其中λ为平衡权重，Nreg表示回归层的归一化，ti为预测的boundingbox参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的boundingbox参数化坐标的向量，R是SmoothL1函数，其计算公式为图像分割损失函数是对每一个像素用Sigmoid求二值交叉熵，得到平均的二值交叉熵误差Lmask；对于每一个m×m大小的候选区域，当所有类别为K时，FCN层分支有一个K×m2维的输出，对于每个候选区域，如果检测到候选区域属于哪一类，则用哪一个分支的二值交叉熵作为误差值进行计算，满足以下表达式：Lmask(cls_k)＝Sigmoid(cls_k)其中cls_k为对应第k类的区域输出，Sigmoid表示平均二值交叉熵计算。3.一种基于深度学习的食材辨识系统，其特征在于，包括：图像采集设备，用于获取食材图像；食材图像识别模块，与所述图像采集设备连接，所述食材图像识别模块基于深度学习网络模型，用于根据所获取的食材图像进行食材识别，确定食材信息；和用户界面，与所述食材图像识别模块连接，用于接收并显示食材图像识别模块所识别确定的食材信息。4.如权利要求3所述的食材辨识系统，其特征在于，所述食材辨识系统还包括与所述食材图像识别模块连接的食材数据库；优选地，所述食材数据库包括食材的热量和营养元素数据，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷、硒中的一种或多种；和/或，所述食材图像识别模块包括基于深度学习的食材辨识应用程序接口；和/或，所...

【专利技术属性】
技术研发人员：高忠科，党伟东，常传泉，
申请(专利权)人：天津大学，天津科源科技有限公司，
类型：发明
国别省市：天津,12