基于图像的菜肴识别装置和方法制造方法及图纸

提供了一种用于执行基于图像的菜肴识别的计算机实现方法。该方法包括：获取(202)描绘待识别菜肴的第一图像；使用预测模型分析(204)第一图像以确定第一候选主题；获取(206)菜肴标识符的参考集合；针对参考集合中的每个菜肴标识符，计算(208)指示由相应的菜肴标识符表示的菜肴与第一候选主题之间相似度的关联分数；选择(210)参考集合中具有最高关联分数的一个或多个菜肴标识符作为第一候选主题的一个或多个变体菜肴标识符；以及输出(212)第一候选主题的形心菜肴标识符和第一候选主题的一个或多个变体菜肴标识符。题的一个或多个变体菜肴标识符。题的一个或多个变体菜肴标识符。

【技术实现步骤摘要】
【国外来华专利技术】基于图像的菜肴识别装置和方法


[0001]本公开涉及基于图像的菜肴识别装置和方法。

技术介绍

[0002]目前市场上有许多饮食记录系统可用于监测个体的营养摄入。这些系统通常依赖于接收用户输入以记录所消耗的食物，该过程需要大量的人类交互以及一定程度的能力，并且从用户获得动力。为了达到期望的有效水平，用户必须准确且持久地记录所消耗的菜肴。

技术实现思路

[0003]如上所述，饮食记录系统的用户需要准确且持久地输入和/或记录他们消耗的菜肴。因此，提供一种用户友好且直观的记录工具，以提高用户坚持每天输入和/或记录所消耗食物的习惯的能力的可能性是非常重要的。实现用户友好性和直观性的关键因素之一是系统在最少量的用户交互步骤内正确地响应用户意图的能力。
[0004]为此，可以利用机器学习和深度学习过程来改善对用户意图的理解，同时减少所需要的用户输入和/或记录菜肴干预量。尽管机器学习过程(诸如涉及神经网络的过程)可以用于从大量标记的训练数据中提取在一个类别内常见且不同于其它类别的模式，但对于许多食品来说，诸如中式烹饪菜肴，缺乏与食品相关联的明确定义或规范，这可能会导致类别规范问题。例如，一些菜肴可能由相似的食物成分组成和/或具有相似的外观但名称不同，并且一些具有相似名称的菜肴可能具有明显不同的食物成分。为此，通常难以以精细粒度指定互斥类别的集合，并且难以基于这样的集合收集示例性数据。类别定义之间的重叠或训练数据的实际重叠可能产生机器学习中的混淆并导致不准确的分类，这在使用中可能会导致用户的挫败感。然而，如果类别定义相差较大，并且仅收集高度代表性的数据以避免重叠，会导致菜肴识别中的高特异性和低灵敏度——这是不期望的，因为系统将不适合识别现实生活中丰富多样的菜肴。因此，提供一种用户友好的基于图像的菜肴识别方法将是有利的，该方法可以准确地识别用户输入(即高召回率)，并且还能够响应用户输入的变化(即高特异性)。
[0005]为了更好地解决前面提到的一个或多个问题，在第一方面，提供了一种基于图像的菜肴识别计算机实现方法。该方法包括：获取描绘待识别菜肴的第一图像；使用预测模型分析第一图像以确定第一候选主题，其中，第一候选主题包括多个候选菜肴标识符，每个候选菜肴标识符与候选菜肴相关联，候选菜肴标识符中的一个是与最能代表第一候选主题的候选菜肴相关联的形心菜肴标识符；获取菜肴标识符的参考集合；针对参考集合中的每个菜肴标识符，计算指示由相应的菜肴标识符表示的菜肴与第一候选主题之间相似度的关联分数；选择参考集合中具有最高关联分数的一个或多个菜肴标识符作为第一候选主题的一个或多个变体菜肴标识符；以及输出第一候选主题的形心菜肴标识符和第一候选主题的一个或多个变体菜肴标识符。
[0006]在一些实施例中，输出第一候选主题的形心菜肴标识符和第一候选主题的一个或多个变体菜肴标识符包括：显示第一候选主题；以及在接收到扩展第一候选主题的用户输入时，显示第一候选主题的形心菜肴标识符和第一候选主题的一个或多个变体菜肴标识符。在这些实施例中，第一候选主题的形心菜肴标识符可以显示在第一候选主题的一个或多个变体菜肴标识符上方，并且第一候选主题的一个或多个变体菜肴标识符可以按照相应的关联分数降序显示。
[0007]在一些实施例中，第一候选主题中的多个候选菜肴标识符可以表示彼此相似的菜肴。
[0008]在一些实施例中，该方法还可以包括：使用预测模型分析第一图像，以确定一个或多个附加候选主题。在这些实施例中，每个附加候选主题可以包括多个候选菜肴标识符，每个候选菜肴标识符与候选菜肴相关联，候选菜肴标识符中的一个是最能代表相应候选主题的形心菜肴标识符。此外，该方法还可以包括输出一个或多个附加候选主题。
[0009]在一些实施例中，该方法还可以包括针对一个或多个附加候选主题中的每一个执行以下方法步骤：针对参考集合中的每个菜肴标识符，计算指示由相应的菜肴标识符表示的菜肴与相应附加候选主题之间相似度的关联分数；选择参考集合中具有最高关联分数的一个或多个菜肴标识符作为相应附加候选主题的一个或多个变体菜肴标识符；以及输出相应附加候选主题的形心菜肴标识符和相应附加候选主题的一个或多个变体菜肴标识符。
[0010]在一些实施例中，该方法还可以包括使用预测模型确定第一候选主题和一个或多个附加候选主题的排序。在这些实施例中，排序可以指示相应候选主题的形心菜肴与获得的第一图像描绘的菜肴之间递减的相似度。该方法还可以包括基于所确定的排序，显示第一候选主题和一个或多个附加候选主题。
[0011]在一些实施例中，该方法还可以包括：获取多个食谱，其中，多个食谱中的每一个包括：菜肴标识符、多个食物成分以及一个或多个烹饪指令；从获得的多个食谱中选择食谱的核心子集；基于以下至少一个，计算核心子集中各食谱之间的相似度分数：两个食谱的菜肴标识符之间的相似度、两个食谱的食物成分之间的相似度，以及两个食谱的烹饪指令之间的相似度；基于多个食谱的相似度分数，将多个食谱聚类为多个参考主题；以及针对多个参考主题中的每个主题，选择与相应参考主题具有最高余弦相似度的食谱作为形心食谱，其中，选定食谱的菜肴标识符是相应参考主题的形心菜肴标识符。在这些实施例中，确定第一候选主题可以包括从多个参考主题中选择第一候选主题。
[0012]在一些实施例中，该方法还可以包括确定多个食谱中每个食谱的流行度分数，其中，流行度分数指示相应食谱的流行度或普遍度。在这些实施例中，选择食谱的核心子集可以基于多个食谱的流行度分数执行。
[0013]在一些实施例中，计算核心子集中各食谱之间的相似度分数可以基于以下至少一个的一个或多个同义词执行：两个食谱的菜肴标识符、多个食物成分以及烹饪指令。
[0014]在一些实施例中，将多个食谱聚类为多个参考主题可以基于K均值聚类或奇异值分解执行。
[0015]在一些实施例中，该方法还可以包括针对多个参考主题中的每个主题，基于相应参考主题的食谱确定多个关键词。在这些实施例中，多个关键词中的每一个与烹饪技术和食物成分中的至少一个相关联；
[0016]在一些实施例中，该方法还可以包括：选择多个参考主题中的一个；基于选定参考主题的形心菜肴标识符和选定参考主题的多个关键词中的至少一个，获取第二图像；以及基于第二图像和选定参考主题，训练预测模型。
[0017]在一些实施例中，预测模型可以是以下至少一个：卷积神经网络、残差神经网络和密集神经网络。
[0018]在第二方面，提供了一种包括计算机可读介质的计算机程序产品。计算机可读介质中包含计算机可读代码，计算机可读代码被配置为当在合适的计算机或处理器上执行时，使得计算机或处理器执行如本文所述的方法。
[0019]在第三方面，提供了一种基于图像的菜肴识别装置。该装置包括处理器，处理器被配置为：获取描绘待识别菜肴的第一图像；使用预测模型分析第一图像以确定第一候选主题，其中，第一候选主题包括多个候选菜肴标识符，每个候选菜肴标识符与候选菜肴相关联，候选菜肴标识符中的一个是与最能代表第一候选主题的候选本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现方法，用于执行基于图像的菜肴识别，所述方法包括：获取(202)描绘待识别菜肴的第一图像；使用预测模型分析(204)所述第一图像以确定第一候选主题，其中，所述第一候选主题包括多个候选菜肴标识符，每个所述候选菜肴标识符与候选菜肴相关联，所述候选菜肴标识符中的一个候选菜肴标识符是与最能代表所述第一候选主题的候选菜肴相关联的形心菜肴标识符；获取(206)菜肴标识符的参考集合；针对所述参考集合中的每个所述菜肴标识符，计算(208)指示由相应菜肴标识符表示的菜肴与所述第一候选主题之间相似度的关联分数；选择(210)所述参考集合中具有最高关联分数的一个或多个菜肴标识符作为所述第一候选主题的一个或多个变体菜肴标识符；以及输出(212)所述第一候选主题的形心菜肴标识符和所述第一候选主题的一个或多个变体菜肴标识符。2.根据权利要求1所述的计算机实现方法，其中输出(212)所述第一候选主题(31)的形心菜肴标识符(310)和所述第一候选主题的一个或多个变体菜肴标识符(311、312、313、314)包括：显示第一候选主题；以及在接收到扩展所述第一候选主题的用户输入时，显示所述第一候选主题的形心菜肴标识符和所述第一候选主题的一个或多个变体菜肴标识符，其中，所述第一候选主题的形心菜肴标识符显示在所述第一候选主题的一个或多个变体菜肴标识符上方，并且所述第一候选主题的一个或多个变体菜肴标识符按照相应的关联分数降序显示。3.根据权利要求1或2所述的计算机实现方法，其中所述第一候选主题中的多个候选菜肴标识符表示彼此相似的菜肴。4.根据前述任意一项权利要求所述的计算机实现方法，还包括：使用预测模型分析所述第一图像，以确定一个或多个附加候选主题，其中，所述附加候选主题中的每个包括多个候选菜肴标识符，每个所述候选菜肴标识符与候选菜肴相关联，所述候选菜肴标识符中的一个候选菜肴标识符是最能代表相应候选主题的形心菜肴标识符；以及输出所述一个或多个附加候选主题。5.根据权利要求4所述的计算机实现方法，针对所述一个或多个附加候选主题中的每一个，还包括以下方法步骤：针对所述参考集合中的每个菜肴标识符，计算指示由相应菜肴标识符表示的菜肴与相应附加候选主题之间相似度的关联分数；选择所述参考集合中具有最高关联分数的一个或多个菜肴标识符作为相应附加候选主题的一个或多个变体菜肴标识符；以及输出相应附加候选主题的所述形心菜肴标识符和相应附加候选主题的所述一个或多个变体菜肴标识符。6.根据权利要求4或5所述的计算机实现方法，还包括：
使用所述预测模型确定所述第一候选主题和所述一个或多个附加候选主题的排序，其中，所述排序指示相应候选主题的所述形心菜肴与在获得的所述第一图像中所描绘的菜肴之间递减的相似度；以及基于所确定的排序，显示所述第一候选主题和所述一个或多个附加候选主题。7.根据前述任意一项权利要求所述的计算机实现方法，还包括：获取多个食谱，其中所述多个食谱中的每一个包括：菜肴标识符、多个食物成分以及一个或多个烹饪指令；从获得的多个食谱中选择食谱的核心子集；基于以下至少一个，计算所述核...

【专利技术属性】
技术研发人员：罗忠池，肖卫民，李林峻，金雅芳，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：