一种基于IMU和视觉的食物体积估计方法及系统技术方案

本发明专利技术公开了一种基于IMU和视觉的食物体积估计方法及系统，该方法包括：获取以视频方式拍摄的待测食物视频帧及对应的IMU数据；通过获取的待测食物视频帧及对应的IMU数据，获取待测食物的稠密点云；从所述获取的待测食物的稠密点云中提取待测食物的表面；在垂直方向上，对待测食物的表面进行切片，获取切片体积。该方法利用手机设备中必备的IMU传感器获取食物的信息，并与视觉信息相结合，不仅能重建食物的模型，还能自动估计食物的体积，操作简便。

【技术实现步骤摘要】
一种基于IMU和视觉的食物体积估计方法及系统
本专利技术属于健康饮食领域，更具体地，涉及一种基于IMU和视觉的食物体积估计方法及系统。
技术介绍
现如今，随着人们生活质量的提高，越来越多的人开始注重自己的饮食健康，尤其是健身运动者们，对自己的饮食情况非常注重，这便涉及到对所食用的食物的体积的估算，现有的对食物体积的估算方法要么需要使用专业的设备，要么需要进行复杂的操作，那么用户就不能随时记录自己的饮食情况，效果不佳。公开号CN105580052A的专利技术公开了一种系统，用于利用移动设备估计板上食物、例如膳食的体积。所述系统使用摄像机和光图案投影仪。在其上具有和不具有投影光图案的食物的图像使得能够计算立体形状和体积，而图像分割和辨别步骤估计所述图像中的一个或多个食物类型。通过应用可访问的知识数据库，碳水化合物含量被估计，并且关联的胰岛素丸剂剂量被提供。发展包括光图案、不同光源和关联的波长的编码、运动补偿、附加光学器件、脂肪含量的估计和关联的多波丸剂。该专利技术可以被实现在葡萄糖仪中或者在被提供有测试条端口或移动电话的胰岛素泵控制器中。该专利技术使用光图案投影技术重建食物的3D模型，然后计算食物的体积，但光图案投影设备只在极少数移动设备上有，不具有普遍性。与现有技术相比，本专利技术利用手机拍摄食物外观的视频，并通过手机必备的IMU传感器获取食物的信息，再结合视觉信息，不仅能重建食物模型，并且可以自动计算食物的体积，操作简单，使用方便，实用性强，用户体验度好。
技术实现思路
针对现有技术的以上缺陷及改进需求，本专利技术提供了一种基于IMU和视觉的食物体积估算方法及系统，其目的在于提供一种操作简单，使用方便的食物体积估计方法及系统，由此解决现有技术存在的操作复杂、使用不便、不具有普遍性的技术问题。为实现上述目的，本专利技术提供一种基于IMU和视觉的食物体积估计方法，包括步骤：S1.获取以视频方式拍摄的待测食物视频帧及对应的IMU数据；S2.通过获取的待测食物视频帧及对应的IMU数据，获取待测食物的稠密点云；S3.从所述获取的待测食物的稠密点云中提取待测食物的表面；S4.在垂直方向上，对待测食物的表面进行切片，获取切片体积。进一步的，所述获取的切片体积之和即为待测食物的体积。进一步的，步骤S2具体包括步骤：根据获取的待测食物的视频帧及对应的IMU数据计算相机移动的轨迹和朝向，根据所述相机移动的轨迹和朝向，获取待测食物及其所在场景的稠密点云。进一步的，还包括步骤：在所述获取的待测食物及其所在场景的稠密点云中通过高度差异将待测食物的稠密点云从其所在场景中分割出来，获取待测食物的稠密点云。进一步的，还包括步骤：将待测食物的体积进行反馈。相应的，还提供一种基于IMU和视觉的食物体积估计系统，包括：第一获取模块，用于获取以视频方式拍摄的待测食物视频帧及对应的IMU数据；第二获取模块，获取待测食物的稠密点云；提取模块，用于从所述获取的待测食物的稠密点云中提取待测食物的表面；切片模块，用于在垂直方向上，对待测食物的表面进行切片；第三获取模块，用于获取切片体积。进一步的，所述获取的切片体积之和即为待测食物的体积。进一步的，还包括：计算模块，用于根据获取的待测食物的视频帧及对应的IMU数据计算相机移动的轨迹和朝向。进一步的，还包括：分割模块，用于在所述获取的待测食物及其所在场景的稠密点云中通过高度差异将待测食物的稠密点云从其所在场景中分割出来。进一步的，还包括：反馈模块，用于将待测食物的体积进行反馈。本专利技术与现有技术相比，有如下优点：利用手机拍摄食物外观的视频，并通过手机必备的IMU传感器获取食物的信息，再结合视觉信息，不仅能重建食物模型，并且可以自动计算食物的体积，操作简单，使用方便，实用性强，用户体验度好。附图说明图1是实施例一提供的一种基于IMU和视觉的食物体积估计方法流程图；图2是实施例一提供的相机轨迹和朝向图；图3是实施例一提供的场景稠密点云图；图4是实施例一提供的待测食物稠密点云图；图5是实施例一提供的不同角度拍摄到的待测食物图；图6是实施例一提供的不同角度拍摄到的待测食物图；图7是实施例一提供的待测食物表面图；图8是实施例一提供的待测食物表面切片图；图9是实施例一提供的一种基于IMU和视觉的食物体积估计系统结构图；图10是实施例二提供的一种基于IMU和视觉的食物体积估计方法流程图；图11是实施例二提供的一种基于IMU和视觉的食物体积估计系统结构图。具体实施方式以下是本专利技术的具体实施例并结合附图，对本专利技术的技术方案作进一步的描述，但本专利技术并不限于这些实施例。实施例一本实施例提供一种基于IMU和视觉的食物体积估计方法，如图1所示，包括步骤：S11.获取以视频方式拍摄的待测食物视频帧及对应的IMU数据；S12.通过获取的待测食物视频帧及对应的IMU数据，获取待测食物的稠密点云；S13.从所述获取的待测食物的稠密点云中提取待测食物的表面；S14.在垂直方向上，对待测食物的表面进行切片，获取切片体积。进一步的，所述获取的切片体积之和即为待测食物的体积。进一步的，步骤S12具体包括步骤：根据获取的待测食物的视频帧及对应的IMU数据计算相机移动的轨迹和朝向，根据所述相机移动的轨迹和朝向，获取待测食物及其所在场景的稠密点云。进一步的，还包括步骤：在所述获取的待测食物及其所在场景的稠密点云中通过高度差异将待测食物的稠密点云从其所在场景中分割出来，获取待测食物的稠密点云。使用纯视觉信息(摄像头从不同角度拍摄待测食物)可以重建待测食物的3D模型，但是使用纯视觉信息不能获取重建的3D模型的绝对尺寸。IMU(InertialMeasurementUnit)是测量物体三轴姿态角以及加速度的装置，目前是智能手机必备的传感器，可以计算出物体的姿态，采用IMU与视觉信息进行结合，不仅可以重建出待测食物的模型，还可以知道模型的绝对尺寸。首先，用户使用手机以拍摄视频的方式从不同角度拍摄待测食物，从拍摄的视频帧中可以得到连续拍摄的待测食物图片序列以及对应的IMU数据；再利用VIO(惯性视觉里程计)算法，利用拍摄到的视频帧以及获取的IMU数据计算出手机相机移动的轨迹和朝向。如图2所示，用户使用手机相机以视频方式从木桶饭的一侧开始，拍摄木桶饭的所有不同角度，得到完整的木桶饭的视频帧及连续拍摄的图片序列，并利用手机自带的IMU传感器获取木桶饭相应的IMU数据，利用VIO算法，通过拍摄的视频帧及获取的IMU数据获取相机移动的轨迹和朝向。然后，基于得到的手机相机移动的轨迹和朝向，使用3D重建算法计算待测食物及其所在场景的稠密点云，在获取了待测食物及其所在场景的稠密点云后，利用稠密点云中高度的差异，把待测食物的稠密点云从场景中分割出来。图3是利用3D重建算法获取的场景的稠密点云，图4则是利用高度差异分割出来的桌面与杯子，其次，使用DelaunayTriangulation算法，从待测食物的稠密点云中提取待测食物的表面。图5与图6是用户使用手机相机拍摄的视频中不同角度拍摄到的食物的图片，图7是经过对食物的稠密点云提取后的食物的表面。最后，如图8所示，在垂直方向上，对待测食物的表面进行切片，计算每一个切片的体积，最终，待测食物的体积即为所有切片体积之和。相应的，还提供一种基于IMU和视本文档来自技高网...

【技术保护点】
1.一种基于IMU和视觉的食物体积估计方法，其特征在于，包括步骤：S1.获取以视频方式拍摄的待测食物视频帧及对应的IMU数据；S2.通过获取的待测食物视频帧及对应的IMU数据，获取待测食物的稠密点云；S3.从所述获取的待测食物的稠密点云中提取待测食物的表面；S4.在垂直方向上，对待测食物的表面进行切片，获取切片体积。

【技术特征摘要】
1.一种基于IMU和视觉的食物体积估计方法，其特征在于，包括步骤：S1.获取以视频方式拍摄的待测食物视频帧及对应的IMU数据；S2.通过获取的待测食物视频帧及对应的IMU数据，获取待测食物的稠密点云；S3.从所述获取的待测食物的稠密点云中提取待测食物的表面；S4.在垂直方向上，对待测食物的表面进行切片，获取切片体积。2.如权利要求1所述的一种基于IMU和视觉的食物体积估计方法，其特征在于：所述获取的切片体积之和即为待测食物的体积。3.如权利要求1所述的种基于IMU和视觉的食物体积估计方法，其特征在于，步骤S2具体包括步骤：根据获取的待测食物的视频帧及对应的IMU数据计算相机移动的轨迹和朝向，根据所述相机移动的轨迹和朝向，获取待测食物及其所在场景的稠密点云。4.如权利要求3所述的种基于IMU和视觉的食物体积估计方法，其特征在于，还包括步骤：在所述获取的待测食物及其所在场景的稠密点云中通过高度差异将待测食物的稠密点云从其所在场景中分割出来，获取待测食物的稠密点云。5.如权利要求2所述的种基于IMU和视觉的食物体积估计方法，其特征在于，还包括步骤...

【专利技术属性】
技术研发人员：王梓里，
申请(专利权)人：上海斐讯数据通信技术有限公司，
类型：发明
国别省市：上海,31