一种食品体积估计方法及其装置制造方法及图纸

本发明专利技术公开了一种食品体积估计方法及其装置，属于深度学习技术领域。所述方法包括：采集包含多种类别食品的图像或视频数据，并获得采集的所述图像或视频数据中食品的真实体积数据；根据所述图像或视频数据、所述真实体积数据利用预设的深度学习神经网络模型进行训练，获得体积估计模型；根据待测食品的图像或视频数据利用所述体积估计模型，获得所述待测食品的体积估计结果。该体积估计方法简单高效，用户只需简单输入一幅食品图像或一小段食品视频，就可以快速地得到该食品的预测体积，可广泛应用于需要频繁而快速地估计食品体积的类似智能饮食管理等网络信息服务中。

【技术实现步骤摘要】
一种食品体积估计方法及其装置
本专利技术涉及深度学习
，特别涉及一种食品体积估计方法及其装置。
技术介绍
现代人越来越关注健康饮食，尤其关心摄入食品的热量，而食品热量是与摄入食品的体积密切相关的，如何利用拍摄的食品图像自动快速的估计出食品的体积是这种智能饮食管理应用的关键。目前，基于图像的食品体积估计的方法还比较少，已有方法多是通过用户输入多视角图像，然后对图像中的食品进行三维模型的重构，最后计算三维模型的体积。这种方式对用户输入要求较高，使用起来很不方便，而且在三维重建的过程需要大量的计算资源，尤其不适合在手机上做移动版应用。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种食品体积估计方法及其装置。所述技术方案如下：第一方面，提供了一种食品体积估计方法，所述方法包括：采集包含多种类别食品的图像或视频数据，并获得采集的所述图像或视频数据中食品的真实体积数据；根据所述图像或视频数据、所述真实体积数据利用预设的深度学习神经网络模型进行训练，获得体积估计模型；根据待测食品的图像或视频数据利用所述体积估计模型，获得所述待测食品的体积估计结果。结合第一方面，在第一种可能实现方式中，采集包含多种类别食品的图像或视频数据，并获得采集的所述图像或视频数据中食品的真实体积数据，包括：在多种背景、多种场景、多种拍摄角度下，采集包含多种类别食品的图像或视频数据，所述多种背景包括简单背景和复杂背景，所述场景包括普通室内场景和普通室外场景，所述多种拍摄角度至少包括正视角和倾斜视角；并通过测量采集的所述图像或食品数据中食品的真实体积，来获得采集的所述图像或视频数据中食品的真实体积数据。结合第一方面，在第二种可能实现方式中，所述预设深度学习神经网络模型包括预设的ResNet、VGG或DenseNet深度学习神经网络模型。结合第一方面，在第三种可能实现方式中，根据所述多个图像或视频数据、所述真实体积数据利用预设的深度学习神经网络模型进行训练，获得体积估计模型，包括：将所述图像或视频数据、所述真实体积数据输入预设的深度学习神经网络模型进行训练，体积计算采用预设的深度学习神经网络模型，损失函数采用均方误差函数计算，获得体积估计模型。结合第一方面的第三种可能实现方式，在第四种可能实现方式中，所述预设的深度学习神经网络模型为预设的ResNet深度学习神经网络模型：将ResNet10网络最后一层的全连接层改为一维输出，并且修改Loss层，并将目标函数改为欧几里德损失函数获得的ResNet10深度学习神经网络模型，其中目标值对应食品的真实体积。结合第一方面，在第五种可能实现方式中，根据待测食品的图像或视频数据利用所述体积估计模型，获得所述待测食品的体积估计结果，包括：将待测食品的图像或视频数据输入所述体积估计模型，当所述图像或视频数据包含所述待测食品的多幅图像时，根据计算得到的每幅图像对应的每个体积值计算出体积平均值，至此获得所述待测食品的体积估计结果。结合第一方面，在第六种可能实现方式中，根据所述多个图像或视频数据、所述真实体积数据利用预设的ResNet、VGG、或DenseNet深度学习神经网络模型进行训练，获得体积估计模型之前，所述方法还包括：对采集的包含多种类别食品的图像或视频数据进行图像预处理，包括：对采集的包含多种类别食品的图像或视频数据进行标注，标注出所述食品和其参照物的位置和边框。结合第一方面的第六种可能实现方式，在第七种可能实现方式中，对采集的包含多种类别食品的图像或视频数据进行标注之后，所述方法还包括：将标注的结果数据输入预设SDD深度学习神经网络模型进行训练，获得食品区域检测模型；其中，根据待测食品的图像或视频数据利用所述体积估计模型，获得所述待测食品的体积估计结果，包括：对待测食品的图像或视频数据进行标注，标注出所述待测食品和其参照物的位置和边框，获得待测食品标注结果数据，根据待测食品标注结果数据利用所述食品区域检测模型，获得所述待测食品的区域检测结果数据，根据所述区域检测结果数据利用所述体积估计模型，获得所述待测食品的体积估计结果。结合第一方面的第七种可能实现方式，在第八种可能实现方式中，对采集的包含多种类别食品的图像或视频数据进行图像预处理，还包括：对采集的包含多种类别食品的视频数据中的视频进行抽帧或分镜操作，获取所述视频的单幅或多幅图像。结合第一方面的第一至八种可能实现方式，在第九至十六种可能实现方式中，根据待测食品的图像或视频数据利用所述体积估计模型，获得所述待测食品的体积估计结果，包括：对待测食品的图像或视频数据中的视频进行抽帧或分镜操作，获取所述视频的单幅或多幅图像。第二方面，提供了一种食品体积估计装置，所述装置包括：采集模块，用于采集包含多种类别食品的图像或视频数据；获取模块，用于获得采集的所述图像或视频数据中食品的真实体积数据；模型训练模块，用于根据所述多个图像或视频数据、所述真实体积数据利用预设的ResNet、VGG、或DenseNet深度学习神经网络模型进行训练，获得体积估计模型；模型计算模块，用于根据待测食品的图像或视频数据利用所述体积估计模型，获得所述待测食品的体积估计结果。结合第二方面，在第一种可能实现方式中，所述模型训练模块用于：根据所述多个图像或视频数据、所述真实体积数据利用预设的ResNet、VGG或DenseNet深度学习神经网络模型进行训练，获得体积估计模型。结合第二方面，在第二种可能实现方式中，所述模型训练模块用于：将所述多个图像或视频数据、所述真实体积数据输入预设的ResNet、VGG、或DenseNet深度学习神经网络模型进行训练，体积计算采用ResNet、VGG或DenseNet深度学习神经网络模型，损失函数采用均方误差函数计算，获得体积估计模型。结合第二方面，在第三种可能实现方式中，所述模型训练模块用于：将所述多个图像或视频数据、所述真实体积数据输入预设的ResNet10深度学习神经网络模型进行训练，将ResNet10网络最后一层的全连接层改为一维输出，并将目标函数改为欧几里德损失函数获得的深度学习神经网络模型，体积计算采用ResNet10深度学习神经网络模型，损失函数采用均方误差函数计算，获得体积估计模型。结合第二方面，在第四种可能实现方式中，所述装置还包括图像预处理模块，用于对采集的包含多种类别食品的图像或视频数据进行图像预处理，包括：对采集的包含多种类别食品的图像或视频数据进行标注，标注出所述食品和其参照物的位置和边框；对采集的包含多种类别食品的视频数据中的视频进行抽帧或分镜操作，获取所述视频的单幅或多幅图像；对待测食品的图像或视频数据中的视频进行抽帧或分镜操作，获取所述视频的单幅或多幅图像。结合第二方面的第四种可能实现方式，在第五种可能实现方式中，所述模型训练模块还用于：将标注的结果数据输入预设SDD深度学习神经网络模型进行训练，获得食品区域检测模型。本专利技术实施例提供的一种食品体积估计方法及其装置，通过采集的食品图像或视频数据以及食品真实体积数据，对预设深度学习神经网络模型进行训练学习，获得体积估计模型，然后再将待测食品的图像或视频输入学习得到的体积估计模型，由于该体积估计模型是前期进行大量训练学习而得到的神经网络模型，会自动学习计算出待测食本文档来自技高网...

【技术保护点】
一种食品体积估计方法，其特征在于，所述方法包括：采集包含多种类别食品的图像或视频数据，并获得采集的所述图像或视频数据中食品的真实体积数据；根据所述图像或视频数据、所述真实体积数据利用预设的深度学习神经网络模型进行训练，获得体积估计模型；根据待测食品的图像或视频数据利用所述体积估计模型，获得所述待测食品的体积估计结果。

【技术特征摘要】
1.一种食品体积估计方法，其特征在于，所述方法包括：采集包含多种类别食品的图像或视频数据，并获得采集的所述图像或视频数据中食品的真实体积数据；根据所述图像或视频数据、所述真实体积数据利用预设的深度学习神经网络模型进行训练，获得体积估计模型；根据待测食品的图像或视频数据利用所述体积估计模型，获得所述待测食品的体积估计结果。2.根据权利要求1所述的方法，其特征在于，采集包含多种类别食品的图像或视频数据，并获得采集的所述图像或视频数据中食品的真实体积数据，包括：在多种背景、多种场景、多种拍摄角度下，采集包含多种类别食品的图像或视频数据，所述多种背景包括简单背景和复杂背景，所述场景包括普通室内场景和普通室外场景，所述多种拍摄角度至少包括正视角和倾斜视角；并通过测量采集的所述图像或食品数据中食品的真实体积，来获得采集的所述图像或视频数据中食品的真实体积数据。3.根据权利要求1所述的方法，其特征在于，所述预设深度学习神经网络模型包括预设的ResNet、VGG或DenseNet深度学习神经网络模型。4.根据权利要求1所述的方法，其特征在于，根据所述多个图像或视频数据、所述真实体积数据利用预设的深度学习神经网络模型进行训练，获得体积估计模型，包括：将所述图像或视频数据、所述真实体积数据输入预设的深度学习神经网络模型进行训练，体积计算采用预设的深度学习神经网络模型，损失函数采用均方误差函数计算，获得体积估计模型。5.根据权利要求4所述的方法，其特征在于，所述预设的深度学习神经网络模型为预设的ResNet深度学习神经网络模型：将ResNet10网络最后一层的全连接层改为一维输出，并且修改Loss层，并将目标函数改为欧几里德损失函数获得的ResNet10深度学习神经网络模型，其中目标值对应食品的真实体积。6.根据权利要求1所述的方法，其特征在于，根据待测食品的图像或视频数据利用所述体积估计模型，获得所述待测食品的体积估计结果，包括：将待测食品的图像或视频数据输入所述体积估计模型，当所述图像或视频数据包含所述待测食品的多幅图像时，根据计算得到的每幅图像对应的每个体积值计算出体积平均值，至此获得所述待测食品的体积估计结果。7.根据权利要求1所述的方法，其特征在于，根据所述多个图像或视频数据、所述真实体积数据利用预设的ResNet、VGG、或DenseNet深度学习神经网络模型进行训练，获得体积估计模型之前，所述方法还包括：对采集的包含多种类别食品的图像或视频数据进行图像预处理，包括：对采集的包含多种类别食品的图像或视频数据进行标注，标注出所述食品和其参照物的位置和边框。8.根据权利要求7所述的方法，其特征在于，对采集的包含多种类别食品的图像或视频数据进行标注之后，所述方法还包括：将标注的结果数据输入预设SDD深度学习神经网络模型进行训练，获得食品...

【专利技术属性】
技术研发人员：韩天奇，李宏宇，
申请(专利权)人：众安信息技术服务有限公司，
类型：发明
国别省市：广东,44