【技术实现步骤摘要】
一种基于双目摄像头的食物营养成分检测方法及系统
本专利技术涉及食物营养成分检测方法，特别涉及一种基于双目摄像头的食物营养成分检测方法及系统。
技术介绍
日常生活中，人们对于食物的营养成分关注度越来越高，尤其是对于减肥者、运动员、病人等特殊人群而言。而食物的营养成分难以通过人眼辨别,故本项目提出了一种通过双摄像头计算食物营养成分的方法。在现有的通过图像对食物的营养成分的进行计算的技术中，有两种常见并且较为成熟的思路：将拍摄到的食物图片与系统预定义的图片进行对比，通过计算图片的相似度来估算食物的营养成分。该方法忽略了食物的尺寸这个重要指标，而每个用户的拍摄习惯不同，难以精确计算出食物的营养成分；在拍摄食物时在旁边放上一张校准卡，通过比对校准卡在图片中的长度和校准卡的真实长度，计算出食物的体积，进而对食物的营养成分进行计算；该方法能够比较精确的计算食物的营养成分，但是其缺陷在于，一旦用户忘记携带校准卡，系统便完全失去作用，并且该方法难以应对照片中的透视所造成的误差。基于以上方法的缺陷，本专利技术公开了一种基于双目摄像头和深度学习算法，能够快速且精准的识别出食物的种类以及...
【技术保护点】
1.一种基于双目摄像头的食物营养成分检测方法，其特征在于，步骤如下：步骤S1、首选获取多张包括食物的图片，对每张图片进行食物名称和食物位置的标注，由上述各张图片及其中标注的食物名称和食物位置构成第一训练集，然后通过第一训练集训练深度学习模型，得到第一人工智能模型；步骤S2、通过双目摄像头拍摄到多张包括食物的图片，同时获取到各图片中对应食物的质量；然后将各张图片分别输入到第一人工智能模型中，通过第一人工智能模型判断出双目摄像头所获取到的各张图片中食物名称以及食物位置；步骤S3、将步骤S2中双目摄像头每次拍摄的两张图片通过第一人工智能模型所判断的食物名称和食物位置以及对应食物质...
【技术特征摘要】
1.一种基于双目摄像头的食物营养成分检测方法，其特征在于，步骤如下：步骤S1、首选获取多张包括食物的图片，对每张图片进行食物名称和食物位置的标注，由上述各张图片及其中标注的食物名称和食物位置构成第一训练集，然后通过第一训练集训练深度学习模型，得到第一人工智能模型；步骤S2、通过双目摄像头拍摄到多张包括食物的图片，同时获取到各图片中对应食物的质量；然后将各张图片分别输入到第一人工智能模型中，通过第一人工智能模型判断出双目摄像头所获取到的各张图片中食物名称以及食物位置；步骤S3、将步骤S2中双目摄像头每次拍摄的两张图片通过第一人工智能模型所判断的食物名称和食物位置以及对应食物质量共同作为一个训练样本，构成第二训练集，然后通过第二训练集训练神经网络模型，得到第二人工智能模型；步骤S4、当需要检测食物的营养成分时，首先通过双目摄像头拍摄食物，由双目摄像头一次拍摄到的两张图片构成一个测试样本，将双目摄像头拍摄到测试样本对应两张图片分别输入到第一人工智能模型中，通过第一人工智能模型分别识别出测试样本两张图片中食物名称以及对应食物位置；然后将第一人工智能模型识别出的测试样本两张图片中食物名称以及对应食物位置同时输入到第二人工智能模型中，通过第二人工智能模型获取到食物的质量；步骤S5、通过测试样本中食物名称获取到食物的单位质量营养成分，然后将测试样本中食物的单位质量营养成分与步骤S4中获取到的测试样本中食物的质量相乘得到测试样本中食物的营养成分。2.根据权利要求1所述的基于双目摄像头的食物营养成分检测方法，其特征在于，还包括第一验证集构建过程：获取多张包括食物的图片，对每张图片进行食物名称和食物位置的标注，由上述各张图片及其中标注的食物名称和食物位置构成第一验证集；所述步骤S1训练得到第一人工智能模型的具体过程如下：步骤S11、获取已知标签的图像数据集，通过该图像数据集对深度学习模型进行训练，得到图像分割模型F；步骤S12、将第一训练集中各图片作为特征，各图片对应的食物名称和食物位置作为标签对图像分割模型F进行迁移学习的训练：步骤S122、从图像分割模型F′各网络层中随机选择网络层，并选取出上述所选择网络层的所有神经元，通过第一训练集针对上述选取的神经元进行训练，得到图像分割模型F1；步骤S123、从图像分割模型F′第三网络层以上的网络层中随机选择网络层，并选取出上述所选择网络层的所有神经元，通过第一训练集针对上述选取的神经元进行训练，得到图像分割模型F2；从图像分割模型F′第四网络层以上的网络层中随机选择网络层，并选取出上述所选择网络层的所有神经元，通过第一训练集针对上述选取的神经元进行训练，得到图像分割模型F3；从图像分割模型F′第五网络层以上的网络层中随机选取网络层，并选取出上述所选择网络层的所有神经元，通过第一训练集针对上述选取的神经元进行训练，得到图像分割模型F4；步骤S13、通过第一验证集验证图像分割模型F1、图像分割模型F2、图像分割模型F3和图像分割模型F4的准确率，选择准确率最高的作为第一人工智能模型。3.根据权利要求1所述的基于双目摄像头的食物营养成分检测方法，其特征在于，所述步骤S11中已知标签的图像数据集为COCO图像数据集、Penn-Fudan图像数据集或CV图像数据集。4.根据权利要求1所述的基于双目摄像头的食物营养成分检测方法，其特征在于，所述深度学习模型为MaskR-CNN模型；构成第一训练集的部分训练样本为带多个食物的图片，部分训练样本为带一个食物的图片；当第一训练集训练样本为带多个食物的图片时，图片中各个食物为同种或不同种；构成第二训练集的部分训练样本为带多个食物的两张图片其中的食物名称和食物的位置，部分训练样本为带一个食物的两张图片其中的食物名称和食物的位置；当第二训练集训练样本为带多个食物的两张图片其中的食物名称和食物的位置时，每张图片中各个食物为同种或不同种。5.根据权利要求1所述的...
【专利技术属性】
技术研发人员：刘哲瑞，明伟杰，杨悉琪，何易，黄心怡，陈杰彬，彭俊豪，沈家伊，眭铭刚，吴洪樟，张春业，李京真，方博翰，孙艺萌，蒋邦胜，黄梦琪，任威达，王小玲，宫松，何宗霖，吴佳琳，冯亚轩，宋堅，律音，陈洁莹，薛冬梅，林汝晴，林晓丽，
申请(专利权)人：明伟杰，刘哲瑞，何易，杨悉琪，沈家伊，陈杰彬，彭俊豪，王小玲，黄心怡，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。