智能手机中声波与图像融合的食物体积测量方法及系统技术方案

本发明专利技术公开了一种智能手机中声波与图像融合的食物体积测量方法及系统，包括：S100、通过智能手机的摄像头获取置于桌面装有食物的容器的俯视图像和侧视图像，在摄像头拍摄期间，通过听筒获取扬声器发出的音频信号；S200、对俯视图像和侧视图像进行食物切割和容器分类，得到俯视图像和侧视图像分别对应的食物图像；根据音频信号计算得到摄像头到桌面的垂直距离；S300、基于俯视图像对应的食物图像，根据摄像头到桌面的垂直距离和摄像头的各项参数，计算得到食物的实际尺寸；基于侧视图像对应的食物图像，以及食物的实际尺寸，构建食物模型，计算得到食物的体积。用户仅需要使用手机或其他智能终端便可以方便快捷准确地完成对食物体积的测量。

【技术实现步骤摘要】
智能手机中声波与图像融合的食物体积测量方法及系统
本专利技术涉及食物体积测量
，具体涉及一种智能手机中声波与图像融合的食物体积测量方法及系统。
技术介绍
人们的身体健康与日常饮食摄入息息相关。根据相关医学研究，许多慢性病如糖尿病和肾病等皆是由于不健康饮食引起的。饮食记录可以帮助人们保持健康的饮食习惯，从而改善他们的健康状况。随着智能手机的普及，一些饮食记录软件(如MyFitnessPal1、LoseIt2等)帮助使用者评估日常的食物摄取量。一些研究表明，基于智能手机的饮食记录应用程序可以显著提高用户对食物摄入的认知水平并帮助他们更好地进行营养管理，从而改善他们的健康状况。基于智能手机的饮食记录方法及应用帮助用户完成两个任务：记录他们吃什么和吃了多少，对于前一项任务，近年来研究人员提出基于图像识别技术的一系列方法都能准确识别食物类别，大大简化了用户的手工工作量。然而，对于后一项任务，却没有现有应用软件提供相应功能支持。使用者仍然需要用测量工具测量食物的重量或根据自己的个人经验估计食物的重量然后手动将数据输入应用程序。研究表明人工估算本文档来自技高网...

【技术保护点】
1.一种智能手机中声波与图像融合的食物体积测量方法，其特征在于，包括：/n(1)通过智能手机的摄像头获取置于桌面装有食物的容器的俯视图像和侧视图像，在所述摄像头拍摄期间，通过所述智能手机的听筒获取扬声器发出的音频信号，所述音频信号包括所述扬声器直接传播的原始MLS信号和桌面反射的音频信号；/n(2)对所述俯视图像和所述侧视图像进行食物切割和容器分类，得到所述俯视图像和所述侧视图像分别对应的食物图像；根据所述音频信号计算得到所述摄像头到桌面的垂直距离；/n(3)基于所述俯视图像对应的食物图像，根据所述摄像头到桌面的垂直距离和所述摄像头的各项参数，计算得到所述食物的实际尺寸；基于所述侧视图像对应的...

【技术特征摘要】
1.一种智能手机中声波与图像融合的食物体积测量方法，其特征在于，包括：
(1)通过智能手机的摄像头获取置于桌面装有食物的容器的俯视图像和侧视图像，在所述摄像头拍摄期间，通过所述智能手机的听筒获取扬声器发出的音频信号，所述音频信号包括所述扬声器直接传播的原始MLS信号和桌面反射的音频信号；
(2)对所述俯视图像和所述侧视图像进行食物切割和容器分类，得到所述俯视图像和所述侧视图像分别对应的食物图像；根据所述音频信号计算得到所述摄像头到桌面的垂直距离；
(3)基于所述俯视图像对应的食物图像，根据所述摄像头到桌面的垂直距离和所述摄像头的各项参数，计算得到所述食物的实际尺寸；基于所述侧视图像对应的食物图像，以及所述食物的实际尺寸，构建食物模型，计算得到所述食物的体积。


2.根据权利要求1所述的一种智能手机中声波与图像融合的食物体积测量方法，其特征在于，步骤(1)中，在所述摄像头拍摄期间，通过所述智能手机的听筒获取扬声器发出的音频信号，包括：
当所述摄像头开始拍摄时，所述听筒被激活并开始录制，通过所述扬声器发出一个特定长度的MLS音频信号，当所述摄像头完成拍摄时，所述听筒停止录制，所述听筒录制的音频信号包括所述扬声器直接传播的原始MLS信号和桌面反射的音频信号。


3.根据权利要求1所述的一种智能手机中声波与图像融合的食物体积测量方法，其特征在于，步骤(2)中，对所述俯视图像和所述侧视图像进行食物切割和容器分类，得到所述俯视图像和所述侧视图像分别对应的食物图像，包括：
(2.1)将所述俯视图像和所述侧视图像输入经过训练的卷积层，提取得到图像的卷积特征；
(2.2)将提取到的特征输入经过训练的多任务学习模型，得到分类结果和切割结果，所述多任务学习模型包括：两层全连接层、FCN全连接层、卷积层和池化层。


4.根据权利要求3所述的一种智能手机中声波与图像融合的食物体积测量方法，其特征在于，步骤(2.2)中，通过以下三种方式中的一种得到分类结果和切割结果：
将提取到的特征分别同时输入两层全连接层和FCN全连接层，经两层全连接层输出分类结果，经FCN全连接层训练之后，将训练结果依次经过卷积层和池化层后输出切割结果；
将提取到的特征先输入FCN全连接层进行训练，将训练结果输入卷积层再提取一遍特征后分别同时输入两层全连接层和池化层，经两层全连接层输出分类结果，经池化层输出切割结果；
将提取到的特征先输入FCN全连接层进行训练，将训练结果分别同时输入两层全连接层和卷积层，经两层全连接层输出分类结果，经卷积层再提取一遍特征后输入池化层，经池化层输出切割结果；
具体选择哪一种方式取决于分别使用上述三种方式训练后得到的模型中哪一种分类结果和切割结果最好。


5.根据权利要求3所述的一种智能手机中声波与图像融合的食物体积测量方法，其特征在于，为了训练由卷积层和多任务学习模型组成的多任务学习的FCN模型，需要搜集食物图片并附带其对应的切割标签和容器标签来构建训练数据集，若数据不够充足，则使用预训练好了的深度卷积神经网络提取图像特征，如数据较为充足，则使用未经训练的深度卷积神经网络提取图像特征；对上述模型进行训练直至收敛，得到理想的切割效果和容器识别率；
在训练所述多任务学习的FCN模型处理食物切割和容器分类这两个任务的过程中，这两个任务的总损失函数为：



其中，交叉熵函数L1为食物切割任务的损失函数，交叉熵函数L2为容器分类任务的损失函数，N为训练图像的总个数，n为正整数，λ为用于均衡损失项的超参数，取值范围为[0，+∞)。


6.根据...

【专利技术属性】
技术研发人员：王亚沙，谭伟豪，唐雯，高俊逸，马连韬，
申请(专利权)人：北京大学，北京大学第三医院北京大学第三临床医学院，
类型：发明
国别省市：北京;11