基于成分识别的食物制备方法和系统技术方案

一种食物制备系统和方法，包括：在食物支承平台支承第一食物的同时，触发照相机的图像捕获以获得食物支承平台的一个或多个图像；对第一食物进行成分识别，包括：在总体分类器中对相应图像的特征张量进行分类，以识别与第一食物对应的一个或多个第一级食物成分类别；以及在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中，对相应图像的特征张量进行分类，以识别对应于第一食物的对应的第二级食物成分类别，其中，第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及根据已经执行的成分识别，调整一个或多个加热单元以加热第一食物。

【技术实现步骤摘要】
【国外来华专利技术】基于成分识别的食物制备方法和系统相关申请的交叉引用本申请要求保护于2017年12月30日提交的美国专利申请No.62/612,426的优先权，其全部公开内容通过引入并入本文。
本公开涉及家用电器领域，尤其涉及一种基于成分识别的食物制备方法和系统。
技术介绍
传统的电食物制备系统，例如微波炉、炉灶、吐司烤箱、电饭锅、烤炉和蒸锅等，都依赖于对于烹饪温度和烹饪持续时间规格的手动输入。这些传统系统要求用户拥有关于如何在不损害食物安全性要求的情况下将菜肴的不同食物成分加热和烹饪至正确的熟度水平的大量知识和经验。某些较新型的电食物制备系统使得用户能够从一些预设食物选项中进行选择，并根据用户的选择调整烹饪时间和功率水平。但是，针对用户可能希望烹饪的各种各样的食物，这种预设选择菜单太有限或者太广泛而难以确定。随着人们对改善健康和生活方式的兴趣日益浓厚，人们食用的食物的质量和营养价值对他们来说变得越来越重要。智能设备上的某些应用提供了食物成分及其相应营养信息的数据库。但是，这样的应用通常要求用户输入食物成分的名称和每种成分的数量，以便提供相应的营养价值。该过程繁琐且效率低，严重限制了此类应用的实用性。一些研究人员建议使用人工智能和深度学习技术来根据菜肴图像自动识别食物成分。但是，由于食物成分可以在菜肴中呈现的形式差异很大，并且捕获图像图像的条件不同的情况下，识别结果非常差。此外，食物成分的数量成千图像的条件不同，因此识别结果非常差。此外，食物成分的数量成百上千，一道菜肴可能包含数十种成分，这使得自动识别模型非常庞大且计算量大，并且难以在纯学术研究环境之外进行部署。而且，这些系统很难按比例放大，因为每次需要向模型中添加新成分时，都必须更改参数的数量以及必须重复对模型的训练。由于这些原因，需要能够以适度的资源消耗提供一致的食物成分识别，可扩展并且可以调整食物制备控制和/或提供营养推荐的更好的食物制备系统。
技术实现思路
如在
技术介绍
中所讨论的，传统的食物制备系统在基于自动成分识别来自动控制食物制备方面提供有限的能力。传统的食物成分识别不准确，需要大量的计算资源，并且不容易扩展。本文公开的方法和系统以多种方式解决了传统方法和系统的这些缺点。例如，在将食物放入食物制备系统中时，原位拍摄用于成分识别的图像。食物制备系统的基础图像有助于有效消除背景，仅保留食物的相关图像信息。另外，给定已经放置食物的食物制备系统的已知尺寸，图像中食物成分的尺寸和比例也是已知的。原位图像获取消除了传统系统中的以下问题：图像获取是在各种各样的条件下进行的，使图像处理变得困难，并且更容易产生错误的识别结果。其他原位图像获取技术也用于进一步提高图像一致性和图像的保真度。另外，用于成分识别的图像处理分两个阶段进行，即总体分类阶段和详细分类阶段。总体分类阶段将菜肴的食物成分分为粗略类别，例如肉类、蔬菜、谷物等。而详细分类阶段将已识别出类别的食物成分分类为更具体的成分标签，例如肉类下的鱼、鸡肉、牛肉等。食物成分的粗略类别基于食物制备系统的特定使用设置来确定。例如，在烹饪模式下使用微波炉时，使用未加工食物成分类别，例如肉、蔬菜、谷物等；而在再加热模式下使用微波炉时，则使用烹饪方式类别，例如炒菜、烤菜、烤肉、比萨、汤等。通过首先选择粗略类别，由于分类过程更加集中，因此减少了计算模型的尺寸，减少了计算量，并且提高了识别准确度。另外，由于当添加成分时，仅需要更新受影响的粗略类别的详细分类模型，识别系统具有更高的可扩展性。在一些实施例中，通过图像处理仅识别出前n个(例如3个)食物成分，从而进一步降低了计算复杂度、处理时间和存储器使用量。如本文所公开，食物制备系统包括：食物支承平台，该食物支承平台被配置为支承食物；照相机，该照相机具有指向食物支承平台的视场；一个或多个加热单元，所述一个或多个加热单元被配置为对放置在食物支承平台上的食物进行加热；以及食物制备控制单元，该食物制备控制单元用于控制照相机和一个或多个加热单元，食物制备控制单元包括存储指令的存储器和一个或多个处理器，指令在被一个或多个处理器执行时使处理器执行操作，该操作包括：在食物支承平台支承第一食物的同时，触发照相机的图像捕获以获得食物支承平台的一个或多个图像；基于食物支承平台的一个或多个图像对第一食物进行成分识别，包括：在总体分类器中对一个或多个图像中的相应图像的特征张量进行分类，以识别与第一食物对应的一个或多个第一级食物成分类别；在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中，对相应图像的特征张量进行分类，以识别与第一食物对应的第二级食物成分类别，其中，所述第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及根据已经执行的成分识别，调整一个或多个加热单元以加热第一食物。如本文所公开，在一些实施例中，一种控制食物制备的方法包括：在食物制备系统处执行操作，该食物制备系统包括：食物支承平台，该食物支承平台被配置为支承食物；照相机，该照相机具有指向食物支承平台的视场；一个或多个加热单元，一个或多个加热单元被配置为对放置在食物支承平台上的食物进行加热；以及食物制备控制单元，用于控制照相机和一个或多个加热单元，食物制备控制单元包括存储器和一个或多个处理器，所述操作包括：在食物支承平台支承第一食物的同时，触发照相机的图像捕获以获得食物支承平台的一个或多个图像；基于食物支承平台的一个或多个图像对第一食物进行成分识别，包括：在总体分类器中对一个或多个图像中的相应图像的特征张量进行分类，以识别与第一食物对应的一个或多个第一级食物成分类别；以及在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中，对相应图像的特征张量进行分类，以识别与第一食物对应的第二级食物成分类别，其中，第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及根据已经执行的成分识别，调整一个或多个加热单元以加热第一食物。在一些实施例中，系统包括执行本文描述的任一方法的处理器和存储器。根据一些实施例，电子设备包括一个或多个处理器，以及存储一个或多个程序的存储器；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起本文描述的任一方法的操作的性能的指令。根据一些实施例，一种非暂时性计算机可读存储介质存储有指令，这些指令在由电子设备执行时使该设备执行或引起执行本文描述的任一方法的操作的性能。根据一些实施例，一种电子设备包括：用于捕获图像的装置，用于加热食物的装置，以及用于执行或引起执行本文描述的任一方法的操作的性能的装置。根据下面的描述，本申请的各种优点是明显的。附图说明以下将结合附图，通过对优选实施例的详细描述来更清楚地理解所公开技术的前述特征和优点以及其附加特征和优点。为了更清楚地描述本公开技术的实施例中或现有技术中的技术方案，以下简要介绍描述实施例或现有技术所需的附图。显然，以下描述中的附图仅示出了本公开技术的一些实施例，并且本领域普通技术人员仍可以在不付出创造性劳动的情况本文档来自技高网...

【技术保护点】
1.一种食物制备系统，包括：/n食物支承平台，所述食物支承平台被配置为支承食物；/n照相机，所述照相机具有指向所述食物支承平台的视场；/n一个或多个加热单元，所述一个或多个加热单元被配置为对放置在所述食物支承平台上的食物进行加热；以及/n食物制备控制单元，所述食物制备控制单元用于控制所述照相机和所述一个或多个加热单元，所述食物制备控制单元包括一个或多个处理器和存储指令的存储器，所述指令当由所述一个或多个处理器执行时使所述处理器执行操作，所述操作包括：/n在所述食物支承平台支承第一食物的同时，触发所述照相机的图像捕获以获得所述食物支承平台的一个或多个图像；/n基于所述食物支承平台的所述一个或多个图像，对所述第一食物进行成分识别，包括：/n在总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别；以及/n在与所述一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中对所述相应图像的特征张量进行分类，以识别对应于所述第一食物的对应的第二级食物成分类别，其中，所述第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及/n根据已经执行的成分识别，调整所述一个或多个加热单元以加热所述第一食物。/n...

【技术特征摘要】
【国外来华专利技术】20171230 US 62/612,4261.一种食物制备系统，包括：
食物支承平台，所述食物支承平台被配置为支承食物；
照相机，所述照相机具有指向所述食物支承平台的视场；
一个或多个加热单元，所述一个或多个加热单元被配置为对放置在所述食物支承平台上的食物进行加热；以及
食物制备控制单元，所述食物制备控制单元用于控制所述照相机和所述一个或多个加热单元，所述食物制备控制单元包括一个或多个处理器和存储指令的存储器，所述指令当由所述一个或多个处理器执行时使所述处理器执行操作，所述操作包括：
在所述食物支承平台支承第一食物的同时，触发所述照相机的图像捕获以获得所述食物支承平台的一个或多个图像；
基于所述食物支承平台的所述一个或多个图像，对所述第一食物进行成分识别，包括：
在总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别；以及
在与所述一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中对所述相应图像的特征张量进行分类，以识别对应于所述第一食物的对应的第二级食物成分类别，其中，所述第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及
根据已经执行的成分识别，调整所述一个或多个加热单元以加热所述第一食物。


2.根据权利要求1所述的食物制备系统，其中，所述操作包括：
监测所述照相机的视场中的内容；以及
在所述监测期间检测所述照相机的视场中的变化，其中，触发所述照相机的图像捕获以获得所述食物支承平台的所述一个或多个图像包括：响应于检测到所述照相机的视场中的变化而在一段时间内捕获一系列图像。


3.根据权利要求2所述的食物制备系统，其中，所述操作包括：
在基于所述食物支承平台的所述一个或多个图像对所述第一食物进行成分识别之前，使用在将所述第一食物放置在所述食物支承平台上之前捕获的基础图像来对所述食物支承平台的所述一个或多个图像中的每个相应图像进行过滤。


4.根据权利要求1所述的食物制备系统，其中，在所述总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别包括：
基于各个食物量对所述一个或多个第一级食物成分类别进行排序，所述各个食物量对应于已针对所述第一食物识别的所述一个或多个第一级食物成分类别中的每个第一级食物成分类别；以及
从所述一个或多个第一级食物成分类别中选择预定数量的第一级食物成分类别，以使用与所述预定数量的第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器来执行分类。


5.根据权利要求4所述的食物制备系统，其中，所述操作还包括：
识别第一食物食谱，所述第一食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别；以及
基于所述第一食物食谱确定所述第一食物的附加成分，其中，所述附加成分不在针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别中。


6.根据权利要求5所述的食物制备系统，其中，所述操作还包括：
基于针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别和基于所述第一食物食谱识别的所述附加成分，确定所述第一食物的营养信息。


7.根据权利要求5所述的食物制备系统，其中，所述操作还包括：
识别第二食物食谱，所述第二食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别；
比较所述第一食物食谱和所述第二食物食谱的营养信息；以及
根据对所述第一食物食谱和所述第二食物食谱的营养信息的比较，提供用于调整烹饪方法的推荐。


8.一种用于控制食物制备的方法，包括：
在食物制备系统处执行操作，所述食物制备系统包括：食物支承平台，所述食物支承平台被配置为支承食物；具有指向所述食物支承平台的视场的照相机；一个或多个加热单元，所述一个或多个加热单元被配置为对放置在所述食物支承平台上的食物进行加热；以及食物制备控制单元，所述食物制备控制单元用于控制所述照相机和所述一个或多个加热单元，所述食物制备控制单元包括存储器和一个或多个处理器，所述操作包括：
在所述食物支承平台支承第一食物的同时，触发所述照相机的图像捕获以获得所述食物支承平台的一个或多个图像；
基于所述食物支承平台的所述一个或多个图像，对所述第一食物进行成分识别，包括：
在总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别；以及
在与所述一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中对相应图像的特征张量进行分类，以识别与所述第一食物对应的第二级食物成分类别，其中，所述第二级食物成分类别是每个第一级食物成分类别的子类别；以及
根据已经执行的成分识别，调整所述一个或多个加热单元以加热所述第一食物。


9.根据权利要求8所述的方法，包括：
监测所述照相机的视场中的内容；以及
在所述监测期间检测所述照相机的视场中的变化，其中，触发所述照相机的图像捕获以获得所述食物支承平台的所述一个或多个图像包括响应于检测到所述照相机的视场中的变化而在一...

【专利技术属性】
技术研发人员：刁梁，顾海松，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：广东;44