用于在机器人烹饪厨房中制备食物的方法和系统技术方案

本公开涉及用于指示机器人代替人类厨师的活动和动作来制备食物菜肴的方法、计算机程序产品和计算机系统。在仪器化的应用特定的环境中，本实例中为标准化机器人厨房，执行对人类厨师的监视，所述监视涉及采用传感器和计算机来观察、监视、记录和解释人类厨师的运动和动作，以开发出对于环境中的变异和变化具有鲁棒性的机器人可执行命令集，其能够允许机器人厨房中的机器人或自动化系统制备出从标准和质量上与人类厨师制备的菜肴相同的菜肴。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求以下申请的优先权，其公开内容通过整体引用而合并于此：2015年2月16日提交的题为“Method and System for Food Preparation in a Robotic Cooking Kitchen”的美国临时申请No.62/116,563、2015年2月8日提交的题为“Method and System for Food Preparation in a Robotic Cooking Kitchen”的美国临时申请No.62/113,516、2015年1月28日提交的题为“Method and System for Food Preparation in a Robotic Cooking Kitchen”的美国临时申请No.62/109,051、2015年1月16日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/104,680、2014年12月10日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/090,310、2014年11月22日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/083,195、2014年10月31日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/073,846、2014年9月26日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/055,799、2014年9月2日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/044,677、2014年7月15日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/024,948、2014年6月18日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/013,691、2014年6月17日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/013,502、2014年6月17日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/013,190、2014年5月8日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.61/990,431、2014年5月1日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.61/987,406、2014年3月16日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.61/953,930、以及2014年2月20日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.61/942，559。
本专利技术总体上涉及机器人和人工智能的学科交叉领域，更特别地，涉及用于通过使专业和非专业厨师菜肴的食物制备过程数字化，随后借助于实时电子调节来复现厨师的烹饪动作、过程和技术而进行食物制备的计算机化机器人食物制备系统。
技术介绍
机器人的研发已经进行了几十年，但是其取得的进展大多是在诸如汽车制造自动化的重工业应用或者军事应用当中。尽管已经针对消费者市场设计出了简单的机器人系统，但是到目前为止几乎看不到家庭消费机器人的广泛应用。随着技术进步和人民收入更高，市场已经成熟到适于为技术进步创造机会以改善人们生活。机器人借助于增强的人工智能以及对许多形式的人类技能和任务的仿真而不断地改进着自动化技术。自从二十世纪七十年代首次开发机器人以来，在某些领域用机器人代替人类执行通常由人类执行的任务的想法是一种不断演进的思想。制造业长期以来一直以教导重现(teach-playback)模式使用机器人，其中通过控制台(pendant)或离线固定的轨迹生成和下载对机器人进行教导，其持续复制一些动作而不存在变化或偏差。公司将计算机教导轨迹的预编程轨迹运行以及机器人动作重现运用到诸如搅拌饮料、汽车焊接或喷漆等应用领域。但是，所有这些常规应用均采用意在使机器人只忠实地执行动作命令的1:1计算机对机器人或教导-重现原则，机器人将总是无偏差地遵循所教导的/预先计算的轨迹。美食是一门吃的艺术，美食家的菜谱敏锐地将高质量的食材和味道融合起来，吸引着我们的全部感官。美食家的烹饪所遵循的原则是以可能要非常细心、需要专门知识和技术而且在一些情况下可能需要长期训练的技能为基础的。在过去的若干年里，由于收入的快速提高以及烹饪意识的世代流传，对美味食物的需求也随之激增。但是，用餐者仍需去特定餐厅或场所品尝其喜爱的厨师烹饪的美食。现场观看厨师制备您喜欢的菜肴或者体验菜肴的制备是很有利的，这会让您想起儿时祖母为你精心制作的美味。因此，希望有一种系统和方法，使消费者在自己家里就能够方便地制作、品尝厨师的美味菜肴，而不必千里迢迢地走遍世界各地的每一家餐厅去品尝特定的美味。
技术实现思路
本公开的实施例涉及带有机器人指令的机器人设备的方法、计算机程序产品和计算机系统，其以基本相同的结果复现食物菜肴，就像是厨师来制备了该食物菜肴一样。在第一实施例中，标准化机器人厨房中的机器人设备包括两个机器臂和手，其基于先前记录的厨师制备相同食物菜肴的精确动作的软件文件(菜谱脚本)，按照相同的顺序(或基本相同的顺序)和相同的时序(或基本相同的时序)复现厨师的精确动作以制备食物菜肴。在第二实施例中，计算机控制的烹饪设备基于先前记录在软件文件中的感测曲线，例如随时间推移的温度，来制备食物菜肴，其中厨师用带有传感器的烹饪设备制备相同的食物菜肴，当厨师先前在配备有传感器的烹饪设备上制备食物菜肴时，由计算机记录随时间推移的传感器值。在第三实施例中，厨房设备包括第一实施例中的机器臂和第二实施例中用于制备菜肴的带有传感器的烹饪设备，其将机器臂与一条或多条感测曲线两者结合起来，其中机器臂能够在烹饪过程期间对食物菜肴进行质量检查，质量检查所针对的特性诸如是味道、气味和外观，由此允许对食物菜肴的制备步骤进行任何烹饪调整。在第四实施例中，厨房设备包括采用计算机控制容器和容器标识的食物存放系统，用于存放食材以及为用户提供食材，以遵循厨师的烹饪指令制备食物菜肴。在第五实施例中，机器人烹饪厨房包括具有臂的机器人和厨房设备，其中机器人围绕厨房设备移动，从而通过模仿厨师的精确烹饪动作来制备食本文档来自技高网...

【技术保护点】
一种对机器人设备进行操作的计算机实施的方法，包括：对一种或多种食物菜肴的电子描述，包括厨师用食材制作每种食物菜肴的菜谱；对于每种食物菜肴，在厨师采用食材和厨房设备制备食物菜肴时，通过多个机器人传感器感测厨师活动的观测序列；在所述观测序列中检测与在制备特定食物菜肴的每个阶段中执行的活动序列对应的微操纵；将所感测的观测序列转换成计算机可读指令以用于控制能够执行微操纵序列的机器人设备；对于每种食物菜肴至少将微操纵的指令序列存储到电子介质，其中用于每种食物菜肴的微操纵的序列被存储为相应的电子记录；将食物菜肴的相应电子记录传输至能够与厨师的初始动作对应地复现所存储的微操纵的序列的机器人设备；以及通过机器人设备执行用于特定食物菜肴的微操纵的指令序列，由此获得与厨师制备的原始食物菜肴基本相同的结果，其中执行指令包括感测在制备食物菜肴时使用的食材的属性。

【技术特征摘要】
【国外来华专利技术】2014.02.20 US 61/942,559;2014.03.16 US 61/953,930;1.一种对机器人设备进行操作的计算机实施的方法，包括：对一种或多种食物菜肴的电子描述，包括厨师用食材制作每种食物菜肴的菜谱；对于每种食物菜肴，在厨师采用食材和厨房设备制备食物菜肴时，通过多个机器人传感器感测厨师活动的观测序列；在所述观测序列中检测与在制备特定食物菜肴的每个阶段中执行的活动序列对应的微操纵；将所感测的观测序列转换成计算机可读指令以用于控制能够执行微操纵序列的机器人设备；对于每种食物菜肴至少将微操纵的指令序列存储到电子介质，其中用于每种食物菜肴的微操纵的序列被存储为相应的电子记录；将食物菜肴的相应电子记录传输至能够与厨师的初始动作对应地复现所存储的微操纵的序列的机器人设备；以及通过机器人设备执行用于特定食物菜肴的微操纵的指令序列，由此获得与厨师制备的原始食物菜肴基本相同的结果，其中执行指令包括感测在制备食物菜肴时使用的食材的属性。2.根据权利要求1所述的方法，还包括将每个微操纵步骤预编程为机器人传感器动作、机器人操纵动作和机器人调整动作的序列的步骤，其中从电子储存器检索预编程的机器人动作的序列并且将其插入到机器人指令的序列中。3.根据权利要求1所述的方法，在感测步骤和存储步骤之间还包括将来自多个传感器的、与各个食物制备阶段对应的感测数据变换成一组计算机可读指令以用于控制机器人设备，其中所述指令确定制备食物菜肴时机器人设备执行的一系列活动。4.根据权利要求3所述的方法，其中，该组计算机可读指令包括根据与特定食物菜肴的食物制备相关联的食材的属性调整一个或多个参数。5.根据权利要求4所述的方法，其中，所述一个或多个参数包括能取数值或数值范围的变量。6.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于调整用于特定食材的指令的一个或多个变量。7.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于调整用于特定微操纵的指令的一个或多个变量。8.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于调整用于特定烹饪阶段的指令的一个或多个变量。9.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于调整用于动作基元的指令的一个或多个变量。10.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于对机器人设备发出指令的指令参数，其包括对机器人装置的指令。11.根据权利要求5所述的方法，其中，所述一个或多个参数包括多个厨师定义的参数。12.根据权利要求5所述的方法，其中，所述一个或多个参数包括多个用户可设置的参数。13.根据权利要求4所述的方法，其中，针对机器人动作的参数调整是在机器人设备在制备食物菜肴的过程中确定的食材的传感器值的基础上动态调整的。14.根据权利要求4所述的方法，其中，针对设备的参数调整是由机器人设备基于厨师在食物菜肴的初始制备中设置的设备的参数值进行的。15.根据权利要求1所述的方法，其中，执行步骤包括机器人设备在与厨师制备初始食物菜肴基本相同的时间量内制备相同的食物菜肴。16.根据权利要求1所述的方法，其中，所述执行步骤包括机器人设备执行的食物菜肴的每个对应的食物制备阶段具有与厨师执行的初始食物制备中的对应步骤基本相同的持续时间。17.根据权利要求3所述的方法，其中，每个阶段包括一个或多个具体的食物制备微操纵，其中微操纵被识别为标准化预编程机器人设备动作基元的序列，其中动作基元的序列被插入到用于控制机器人设备的计算机可读指令的总体序列中。18.根据权利要求3所述的方法，其中，食物制备过程中的所有具体微操纵被识别为标准化预编程机器人设备动作基元的序列，其中动作基元的序列被插入到用于控制机器人设备的计算机可读指令的总体序列中。19.根据权利要求1所述的方法，其中，所述机器人设备包括：第一和第二机器臂，每条臂具有预定的自由度；第一和第二机器手，每只手具有耦接至相应的机器臂的手腕，每个手腕具有预定的自由度；以及第一和第二机器手，每只手包括多根手指，每只对应的手的每根手指具有预定的自由度并且具有至少一个触觉传感器。20.根据权利要求19所述的方法，其中，每条臂的预定自由度至少包括六个自由度。21.根据权利要求19所述的方法，其中，每个手腕的预定自由度至少包括两个自由度。22.根据权利要求19所述的方法，其中，每根手指的预定自由度至少包括每根手指的四个自由度，每根手指具有多达三个关节。23.根据权利要求1所述的方法，其中，机器人传感器包括至少一个视频摄像机。24.根据权利要求1所述的方法，其中，机器人传感器包括至少一个距离传感器。25.根据权利要求1所述的方法，其中，机器人传感器包括至少一个触觉传感器。26.根据权利要求25所述的方法，其中，一个或多个触觉传感器被嵌入到厨师在制备每种食物菜肴时佩戴的手套中。27.根据权利要求1所述的方法，其中，厨师佩戴的手套具有嵌入的表面标记，所述表面标记指示厨师的食物制备过程中每只手套上的手掌表面的形变。28.根据权利要求1所述的方法，其中，厨师佩戴的手套具有嵌入的磁传感器，所述磁传感器测量厨师的食物制备过程中每只手套上的手掌表面的形变。29.根据权利要求1所述的方法，其中，机器人传感器包括基于激光的传感器，以检测制备食物菜肴的至少一个阶段中使用的对象的取向、距离、形状和尺寸。30.根据权利要求25所述的方法，其中，手套中的触觉传感器位于指尖处以及机器手的手掌上。31.一种对机器人设备进行操作的计算机实施的方法，包括：提供一种或多种食物菜肴的电子描述的库，包括食物菜肴的名称、食物菜肴的食材、以及用食材制作食物菜肴的菜谱；提供用于标准化微操纵的预编程指令的序列，其中每个微操纵在至少一种食物菜肴的制备阶段中产生至少一个可识别的结果；在厨师使用食材和厨房设备制备食物菜肴时，通过多个机器人传感器感测与厨师的活动对应的观测序列；在观测序列中检测标准化微操纵，其中微操纵对应于一个或多个观测，微操纵的序列对应于食物菜肴的制备；基于软件实施的方法将观测序列变换为机器人指令，所述软件实施的方法用于基于所感测的厨师活动的序列识别预编程的标准化微操纵的序列；所述微操纵每个都包括机器人指令的序列，所述机器人指令包括动态感测操作和机器人动作操作；将微操纵的序列及其对应的机器人指令存储在电子介质中，用于每种食物菜肴的指令序列和对应的微操纵被存储为相应的电子记录以用于制备每种食物菜肴；将食物菜肴的相应电子记录发送到能够复现和执行机器人指令序列的机器人设备；以及通过机器人设备执行用于每种特定食物菜肴的机器人指令，由此获得与厨师制备的初始食物菜肴基本相同的结果。32.根据权利要求31所述的方法，还包括基于厨师提供的默认值设置机器人指令的参数。33.根据权利要求31所述的方法，还包括基于用户提供的偏好设置机器人指令的参数。34.根据权利要求31所述的方法，还包括在机器人设备执行其指令序列时，基于记录并且变换为机器人指令中的调整后的参数的动态传感器观测来调整机器人指令的参数。35.根据权利要求31所述的方法，其中，参数的调整包括补偿食材的变化以在制备食物菜肴时获得本质上相同的结果。36.根据权利要求35所述的方法，其中，参数的调整使得结果中的预期误差最小化，从而最大化预期精确度。37.根据权利要求36所述的方法，其中，通过下式来估算要最小化的累积误差， E r r o r ( C , R ) = Σ n = 1 , ... n | c i - p i | max ( | c i , t - p i , t | ]]>并且通过下式来估算预期的所得精确度， A ( C , R ) = 1 - 1 n Σ n = 1 , ... n | c i - p i | max ( | c i , t - p i , t | . ]]>38.根据权利要求35所述的方法，其中，通过下式估算要最小化的累积误差， E r r o r ( C , R ) = ( Σ n = 1 , ... n a i | c i - p i | max ( | c i , t - p i , t | ) ]]>并且通过下式估算所得精确度， A ( C , R ) = 1 - ( Σ n = 1 , ... n a i | c i - p i | max ( | c i , t - p i , t | ) / Σ i = 1 , ... n a i . ]]>39.根据权利要求31所述的方法，还包括在软件中实施的一个或多个机器学习机构，其中学习机构使用于制备特定食物菜肴的机器人指令的序列一般化。40.根据权利要求31所述的方法，其中，机器人指令的一般化包括用参数值范围替代参数值。41.根据权利要求31所述的方法，其中，机器人指令的一般化还为食物制备微操纵中的至少一个提供多个替代指令。42.根据权利要求41所述的方法，还包括评估至少一个微操纵的替代机器人指令以确定优选微操纵的步骤。43.根据权利要求31所述的方法，其中，机器学习机构包括机器人的基于实例的学习。44.根据权利要求31所述的方法，其中，机器学习机构包括机器人强化学习。45.一种机器人系统，包括：能在第一仪器化环境中观测人的运动并且生成人运动数据的多模态感测系统；通信耦接至多模态感测系统的计算机，用于记录从多模态感测系统接收到的人运动数据并且处理所述人运动数据以提取运动基元；以及通信耦接至多模态感测系统的机器人设备，其能够使用人运动数据在第二仪器化环境中复现所观测到的人的运动。46.根据权利要求45所述的系统，其中，所述复现包括重现所提取的运动基元。47.根据权利要求45所述的系统，其中，所提取的运动基元包括从高层级运动基元到低层级运动基元在内的多个运动基元。48.根据权利要求45所述的系统，其中，所提取的运动基元包括一个或多个高层级运动基元以及一个或多个低层级运动基元。49.根据权利要求45所述的系统，其中，机器人系统包括：第一和第二机器臂；第一和第二机器手，每只手具有耦接到相应的臂的手腕，每只手具有多根关节连接的手指以及手掌；以及多个致动器，每个致动器控制单个自由度或者自由度的组合，其中每个自由度包括旋转元件、线性元件或其任意组合的相对运动。50.根据权利要求45所述的系统，其中，机器人系统包括：第一和第二机器臂；第一和第二机器手，每只手...

【专利技术属性】
技术研发人员：M·奥利尼克，
申请(专利权)人：M·奥利尼克，
类型：发明
国别省市：摩纳哥;MC