数据处理装置和数据处理方法制造方法及图纸

一种数据处理装置，包括：命令生成单元，被配置成生成用于给出要在由设置有至少一个臂的机器人进行的处理期间执行的一个或更多个操作的指令的指令命令，其中，基于指令数据生成指令命令，该指令数据包括：图像数据，该图像数据通过拍摄处理期间或处理之后的情况的一个或更多个图像而获得，以及文本数据，该文本数据指示要在处理中使用的对象或要在处理期间执行的操作中的至少一个。

【技术实现步骤摘要】
【国外来华专利技术】数据处理装置和数据处理方法
本技术涉及数据处理装置和数据处理方法，并且更具体地涉及用于使得能够基于包括图像数据和文本数据的指令数据来控制机器人的数据处理装置和数据处理方法。相关申请的交叉引用本申请要求于2018年11月5日提交的日本优先权专利申请JP2018-208192的权益，其全部内容通过引用并入本文。
技术介绍
存在向公众展示包括菜肴的食谱的指令数据的服务。用户可以通过按类别搜索食谱或输入原料名称作为关键字来搜索喜爱的食谱。在食谱中，描述了各种类型的信息，例如完成的菜肴的照片、原料和烹饪处理。当然，由这种服务提供的指令准备供人查看。即使在仅描述粗略过程的说明的情况下，人们也能够根据其他菜肴的过去的经验和知识等估计详细过程，并且能够烹饪。顺便提及，随着人工智能(AI)和传感技术的发展，自动执行烹饪处理的烹饪机器人已经引起了注意。一些烹饪机器人以与人类相同的方式使用两个臂来执行烹饪处理。引用列表专利文献专利文献1：JP2017-506169A
技术实现思路
技术问题如果机器人能够基于准备供人查看的指令而被驱动，则将是方便的。不需要如诸如食谱数据的指令数据中所述的让人来准备用于驱动臂等的程序。鉴于前述内容做出本技术，并且本技术使得能够基于包括图像数据和文本数据的指令数据来控制机器人。问题的解决方案根据本技术的一个方面的一种数据处理装置包括：命令生成单元，被配置成生成指令命令，所述指令命令用于给出要在由设置有至少一个臂的机器人进行的处理期间执行的一个或更多个操作的指令，其中，基于指令数据生成所述指令命令，所述指令数据包括：图像数据，所述图像数据是通过拍摄所述处理期间或所述处理之后的情况的一个或更多个图像而获得，以及文本数据，所述文本数据指示要在所述处理中使用的对象或要在所述处理期间执行的操作中的至少一个。根据本技术的另一方面，一种数据处理方法包括：由数据处理装置生成指令命令，所述指令命令用于给出要由设置有至少一个臂的机器人执行的一个或更多个操作的指令，其中，基于指令数据生成所述指令命令，所述指令数据包括：图像数据，所述图像数据是通过拍摄所述处理期间或所述处理之后的情况的一个或更多个图像而获得，以及文本数据，所述文本数据指示要在所述处理中使用的对象或在所述处理期间执行的操作中的至少一个。附图说明[图1]图1是示出根据本技术的实施方式的控制系统的配置示例的图。[图2]图2是示出数据处理装置的布置示例的图。[图3]图3是示出烹饪机器人的外观的立体图。[图4]图4是示出烹饪臂的放大情况的视图。[图5]图5是示出烹饪臂的外观的视图。[图6]图6是示出烹饪臂的各个部分的可移动范围的示例的视图。[图7]图7是示出烹饪臂与控制器之间的连接的示例的视图。[图8]图8是示出食谱数据的示例的图。[图9]图9是示出食谱数据的示例的图。[图10]图10是示出由数据处理装置执行的整个处理的流程的图。[图11]图11是示出状态的描述的示例的图。[图12]图12是示出目标状态的描述的具体示例的图。[图13]图13是示出状态序列的规划的示例的图。[图14]图14是示出整个烹饪序列的示例的图。[图15]图15是示出状态转换的示例的图。[图16]图16是示出数据库的示例的图。[图17]图17是示出要存储在原料DB中的信息的示例的图。[图18]图18是示出烹饪方法DB的配置示例的图。[图19]图19是示出要存储在状态转换DB中的信息的示例的图。[图20]图20是示出要存储在动作DB中的信息的示例的图。[图21]图21是示出要存储在供应方法DB中的信息的示例的图。[图22]图22是示出动作的表达示例的图。[图23]图23是示出状态转换的图。[图24]图24是示出动作的情况的图。[图25]图25是示出数据处理装置的硬件的配置示例的框图。[图26]图26是示出数据处理装置的功能配置示例的框图。[图27]图27是示出烹饪机器人的配置示例的框图。[图28]图28是用于描述控制数据处理装置的处理的流程图。[图29]图29是接图28的流程图，用于描述控制数据处理装置的处理。[图30]图30是示出动作的选择的示例的图。[图31]图31是示出动作候选的选择的示例的图。[图32]图32是示出动作候选的评估的示例的图。[图33]图33是示出指令命令的生成的示例的图。[图34]图34是用于描述烹饪机器人的烹饪处理的流程图。[图35]图35是示出食谱数据的处理的示例的图。具体实施方式在下文中，将描述用于实施本技术的实施方式。将按以下顺序给出描述。1.烹饪机器人的控制系统2.状态序列的规划和动作3.装置的配置和操作4.修改<<烹饪机器人的控制系统>><系统配置>图1是示出根据本技术的实施方式的控制系统的配置示例的图。如图1所示，由数据处理装置1和烹饪机器人2配置控制系统。烹饪机器人2是包括诸如烹饪臂和各种传感器的驱动系统装置并且具有烹饪功能的机器人。烹饪机器人2例如被安装在家庭中。数据处理装置1是控制烹饪机器人2的装置。由计算机等配置数据处理装置1。如图1的左端所示，基于为每道菜肴准备的食谱数据执行数据处理装置1对烹饪机器人2的控制。在食谱数据中，描述了菜肴图像(其是通过拍摄完成的菜肴的图像而获得的图像)、菜肴的名称、原料的名称、说明烹饪处理的语句等。食谱数据还由烹饪人员通过查看由食谱数据显示的食谱而使用。注意，菜肴是指烹饪后完成的工作产品。烹饪是指制作菜肴的处理或制作菜肴的动作(工作)。数据处理装置1基于食谱数据控制烹饪机器人2以制作菜肴，该食谱数据也用于由人进行的烹饪。如箭头A1所示，例如在输入了菜肴X的食谱数据的情况下，数据处理装置1基于食谱数据的描述执行规划直到菜肴X完成为止。例如，通过设置从起始状态到目标状态的状态转换来执行规划。将未烹饪的原料的状态设置为起始状态，并且将完成的菜肴X的状态设置为目标状态。当由于烹饪机器人2的操作等引起原料的状态改变时，发生状态的转换。数据处理装置1生成使烹饪机器人2进行用于引起从当前状态到下一状态的转换的操作的指令命令，并且如箭头A2所示，向烹饪机器人2输出该指令命令。烹饪机器人2根据从数据处理装置1提供的指令命令驱动诸如烹饪臂的每个部分以执行与烹饪相关的操作。指令命令包括设置在烹饪臂中的马达的扭矩、驱动方向、用于控制驱动量的信息等。从数据处理装置1向烹饪机器人2顺序输出指令命令，直到状态达到目标状态为止。随着烹饪机器人2根据指令命令进行操作，菜肴X最终完成。如上所述，本文档来自技高网...

【技术保护点】
1.一种数据处理装置，包括：/n命令生成单元，被配置成生成指令命令，所述指令命令用于给出要在由设置有至少一个臂的机器人进行的处理期间执行的一个或更多个操作的指令，/n其中，基于指令数据来生成所述指令命令，所述指令数据包括：/n图像数据，所述图像数据是通过拍摄所述处理期间或所述处理之后的情况的一个或更多个图像而获得，以及/n文本数据，所述文本数据指示要在所述处理中使用的对象或要在所述处理期间执行的操作中的至少一个，并且/n其中，所述命令生成单元经由至少一个处理器来实现。/n

【技术特征摘要】
【国外来华专利技术】20181105 JP 2018-2081921.一种数据处理装置，包括：
命令生成单元，被配置成生成指令命令，所述指令命令用于给出要在由设置有至少一个臂的机器人进行的处理期间执行的一个或更多个操作的指令，
其中，基于指令数据来生成所述指令命令，所述指令数据包括：
图像数据，所述图像数据是通过拍摄所述处理期间或所述处理之后的情况的一个或更多个图像而获得，以及
文本数据，所述文本数据指示要在所述处理中使用的对象或要在所述处理期间执行的操作中的至少一个，并且
其中，所述命令生成单元经由至少一个处理器来实现。


2.根据权利要求1所述的数据处理装置，其中，
所述一个或更多个操作包括要在烹饪处理期间执行的一个或更多个烹饪操作，所述指令数据包括菜肴的食谱数据，并且在所述处理中使用的至少一个对象包括在所述烹饪处理中使用的至少一个原料，以及
所述命令生成单元通过参考烹饪数据集来生成所述指令命令，所述烹饪数据集包括所述至少一个原料与要使用所述至少一个原料执行的烹饪操作彼此相关联的信息。


3.根据权利要求2所述的数据处理装置，其中，
所述烹饪数据集是所述烹饪操作与在执行所述烹饪操作时使用的烹饪工具彼此相关联的信息。


4.根据权利要求2所述的数据处理装置，其中，
所述烹饪数据集是所述烹饪操作、在执行所述烹饪操作时使用的烹饪工具以及所述烹饪工具的规格彼此相关联的信息。


5.根据权利要求2所述的数据处理装置，其中，
所述命令生成单元通过参考与所述机器人的能力有关的规格和所述烹饪数据集来生成所述指令命令。


6.根据权利要求2所述的数据处理装置，其中，
所述命令生成单元通过参考供应数据集来生成所述指令命令，所述供应数据集包括与供应所述菜肴中的至少一个原料的方法有关的信息。


7.根据权利要求6所述的数据处理装置，其中，
所述供应数据集是所述至少一个原料的标识符与指示所述至少一个原料在用于供应的餐具中的位置的位置数据彼此相关联的信息。


8.根据权利要求7所述的数据处理装置，其中，
所述位置数据是指示所述至少一个原料的平面位置或所述至少一个原料的层级位置中的至少一个的信息。


9.根据权利要求8所述的数据处理装置，其中，
所述位置数据是指示平面布置模式和指示层级布置模式的信息，所述平面布置模式以预定模式将原料布置在与所述至少一个原料的平面位置相同的层级中，所述层级布置模式以预定模式将所述原料布置在与所述原料的层级位置不同的层级中。


10.根据权利要求1所述的数据处理装置，其中，
...

【专利技术属性】
技术研发人员：河本献太，藤田雅博，米夏埃尔·西格弗里德·施普兰格尔，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：日本;JP