冰箱中食品热量检测的方法及装置制造方法及图纸

本发明专利技术公开了冰箱中食品热量检测的方法及装置，属于智能家电技术领域。该方法包括：获取冰箱中食品的图像；根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。这样，冰箱可对食品的热量进行管理，进一步提高了冰箱的智能性，并且，用户根据冰箱管理的食品热量信息，选择合适的食品进行摄入，进一步提高用户的健康饮食，改善生活质量，提高用户体验。

【技术实现步骤摘要】
冰箱中食品热量检测的方法及装置
本专利技术涉及智能家电
，特别涉及冰箱中食品热量检测的方法及装置。
技术介绍
随着智能家电技术的发展，空调、冰箱、洗衣机等等家电都可进行智能控制。冰箱作为一种智能家电，不仅可以冷藏及冷冻食品，还可对储藏的食品进行管理。目前，一些智能冰箱可识别出存储食品的种类，并记录储藏日期等等，这样，用户可根据智能冰箱的这些管理信息，进行膳食搭配，并且，还可优化食品的消耗过程，减少食品因过期或变质带来的资源浪费。但是，随着生活质量的进一步提高，用户在摄取食物时，不仅需要考虑食物的搭配，还需考虑食物的营养价值，例如：蛋白摄入，热量消耗等等，这就对冰箱的食品管理提出更高的要求。
技术实现思路
本专利技术实施例提供了一种冰箱中食品热量检测的方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。根据本专利技术实施例的第一方面，提供了一种冰箱中食品热量检测的方法，包括：获取冰箱中食品的图像；根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。本专利技术一实施例中，所述获取冰箱中食品的图像之前，包括：根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存；或。从服务器中获取并保存食品图像训练模型，其中，所述食品图像训练模型是所述服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。本专利技术一实施例中，所述根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息包括：根据所述外形特征信息，进行三维重建，确定所述待检测食品的体积；根据保存的食品卡路里对应关系，确定与所述待检测食品的种类以及所述体积对应的所述待检测食品的热量。本专利技术一实施例中，所述确定所述待检测食品的体积包括：对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像；根据所述校正边框图像中边界点的坐标信息，以及与所述外形特征信息中的图像类别信息对应的体积运算公式，确定所述待检测食品的体积。本专利技术一实施例中，所述对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像包括：当所述外接边框图像为外接最小矩形框图像时，确定所述外接最小矩形框图像中四个角的点坐标(x，y)；根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；根据每个所述矫正点坐标(x',y')，获得所述外接最小矩形框图像的校正矩形框图像；其中，aij,bij为矫正参数，i＝0、1、或2，j＝0、1、或2。根据本专利技术实施例的第二方面，提供一种冰箱中食品热量检测的装置，包括：获取单元，用于获取冰箱中食品的图像；识别单元，用于根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；检测单元，用于根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。本专利技术一实施例中，所述装置还包括：存储单元，用于根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存；或，从服务器中获取并保存食品图像训练模型，其中，所述食品图像训练模型是所述服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。本专利技术一实施例中，所述检测单元包括：第一确定模块，用于根据所述外形特征信息，进行三维重建，确定所述待检测食品的体积；第二确定模块，用于根据保存的食品卡路里对应关系，确定与所述待检测食品的种类以及所述体积对应的所述待检测食品的热量。本专利技术一实施例中，所述第一确定模块，具体用于对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像，以及根据所述校正边框图像中边界点的坐标信息，以及与所述外形特征信息中的图像类别信息对应的体积运算公式，确定所述待检测食品的体积。本专利技术一实施例中，所述第一确定模块，具体用于当所述外接边框图像为外接最小矩形框图像时，确定所述外接最小矩形框图像中四个角的点坐标(x，y)；根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；根据每个所述矫正点坐标(x',y')，获得所述外接最小矩形框图像的校正矩形框图像；其中，aij,bij为矫正参数，i＝0、1、或2，j＝0、1、或2。本专利技术实施例提供的技术方案可以包括以下有益效果：本专利技术实施例中，冰箱不仅可识别出食品的种类，还可识别出食品的外形特征信息，从而，可根据种类和外形特征信息，检测出食品的热量信息。这样，冰箱可对食品的热量进行管理，进一步提高了冰箱的智能性，并且，用户根据冰箱管理的食品热量信息，选择合适的食品进行摄入，进一步提高用户的健康饮食，改善生活质量，提高用户体验。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种冰箱中食品热量检测方法的流程示意图；图2是根据一示例性实施例示出的一种基准图的示意图；图3是根据一示例性实施例示出的一种食品三维重建的示意图；图4是根据一示例性实施例示出的一种食品三维重建的示意图；图5是根据一示例性实施例示出的一种食品三维重建的示意图；图6是根据一示例性实施例示出的一种冰箱中食品热量检测方法的流程示意图；图7是根据一示例性实施例示出的一种冰箱中食品热量检测装置的框图；图8是根据一示例性实施例示出的一种冰箱中食品热量检测装置的框图。具体实施方式以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本专利技术的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“专利技术”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的专利技术，不是要自动地限制该应用的范围为任何单个专利技术或专利技术构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的结构、产品等而言，由于其与实施例公开的部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。冰箱已是日常生活中常见的设备了，不仅能冷藏或冷冻食品，而且还可对存储的食品进行管理。本实施例中，冰箱可识别出食品的种类以及外形特征信息，并可根本文档来自技高网...

【技术保护点】
1.一种冰箱中食品热量检测的方法，其特征在于，包括：获取冰箱中食品的图像；根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。

【技术特征摘要】
1.一种冰箱中食品热量检测的方法，其特征在于，包括：获取冰箱中食品的图像；根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。2.如权利要求1所述的方法，其特征在于，所述获取冰箱中食品的图像之前，包括：根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存；或，从服务器中获取并保存食品图像训练模型，其中，所述食品图像训练模型是所述服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。3.如权利要求1或2所述的方法，其特征在于，所述根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息包括：根据所述外形特征信息，进行三维重建，确定所述待检测食品的体积；根据保存的食品卡路里对应关系，确定与所述待检测食品的种类以及所述体积对应的所述待检测食品的热量。4.如权利要求3所述的方法，其特征在于，所述确定所述待检测食品的体积包括：对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像；根据所述校正边框图像中边界点的坐标信息，以及与所述外形特征信息中的图像类别信息对应的体积运算公式，确定所述待检测食品的体积。5.如权利要求3所述的方法，其特征在于，所述对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像包括：当所述外接边框图像为外接最小矩形框图像时，确定所述外接最小矩形框图像中四个角的点坐标(x，y)；根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；根据每个所述矫正点坐标(x',y')，获得所述外接最小矩形框图像的校正矩形框图像；其中，aij,bij为矫正参数，i＝0、1、...

【专利技术属性】
技术研发人员：刘彦甲，高洪波，俞国新，
申请(专利权)人：青岛海尔智能技术研发有限公司，
类型：发明
国别省市：山东,37