遥控装置、遥控方法、遥控系统和程序制造方法及图纸

本发明专利技术涉及一种遥控装置、遥控方法、遥控系统和程序，通过本发明专利技术，能够仅用手和眼睛的直观动作来实现遥控。多个成像单元拍摄使用者的眼睛和手以及被操作的设备所在的空间的图像。基于拍摄的图像来识别使用者的眼睛和手以及被操作的设备的位置，并且根据使用者的眼睛和被操作的设备之间的位置关系来识别使用者的视线。当手被保持在包含视线的直线上的位置时由使用者执行的动作被认为是用于被操作的设备的操作指令，并且操作指令被发送到被操作的设备，从而使该设备进行操作。本发明专利技术可应用于遥控装置。

【技术实现步骤摘要】
【国外来华专利技术】遥控装置、遥控方法、遥控系统和程序
本专利技术涉及遥控装置、遥控方法、遥控系统和程序，特别地，涉及一种能够通过感觉容易地实现遥控的遥控装置、遥控方法、遥控系统和程序。
技术介绍
本专利技术提供一种在室内装置或车内装置中实现遥控的技术。例如，提出一种不使用遥控器来实现遥控的技术(参见专利文献1)。另外，提出一种通过移动手来做出决策(诸如触摸被投影到头戴式显示器(HMD：HeadMountDisplay)上的图像等)，并由此来实现遥控的技术(参见专利文献2)。引用列表专利文献专利文献1：日本专利申请特开第2006-301654号专利文献2：日本专利第5791131号
技术实现思路
技术问题然而，例如，因为使用者必须使用遥控器，或者使用者必须学习不自然的动作，所以很难容易且直观地使用各种遥控技术。换句话说，在专利文献1的情况下，将使用者的意图发送到设备需要花费时间，并且需要不自然的动作。另外，在专利文献2的情况下，假设通过HMD来实现触摸投影图像的操作，其中视角和手的动作的感觉均不同于日常，因此需要对显示器上的视野以及手的操作速度等的差距进行修正。这也需要不自然的动作。鉴于上述情况作出本专利技术，并且特别地，本专利技术仅通过使用手和眼睛的直观动作来实现遥控。技术方案根据本专利技术的第一方面的遥控装置包括：位置检测单元，所述位置检测单元用于检测待操作的装置的位置以及使用者的眼睛和手的位置；使用者动作识别单元，当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；操作指令指定单元，所述操作指令指定单元指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的所述动作；以及驱动指令单元，所述驱动指令单元基于由所述操作指令指定单元指定的所述操作指令来驱动所述待操作的装置。使用者动作识别单元可被构造成基于眼睛、手和装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且在保持所述手位于作为所述视线的直线上的位置关系时，识别所述使用者的动作。使用者动作识别单元可被构造成基于眼睛、手和装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且当保持所述手的预定手指位于作为所述视线的直线上的位置关系时，将所述手在作为所述视线的所述直线上的动作识别为所述使用者的动作。所述待操作的装置进一步包括显示单元，所述显示单元显示UI(用户界面)图像，用以控制所述装置的操作，并且所述使用者动作识别单元可被构造成基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的所述显示单元上的预定UI图像的视线，并且将保持所述手位于作为所述视线的直线上的位置关系时所述使用者作出的动作识别为所述使用者对所述UI图像的动作。显示单元可以被构造成使用者佩戴的透明型头戴式显示器(HMD：HeadMountDisplay)，并且使用者动作识别单元可被构造成基于眼睛、手和装置之间的位置关系来指定从眼睛到在用作装置的显示单元的HMD上的预定UI图像的使用者的视线，并且将当在所述手位于作为所述视线的直线上的位置关系被保持时在从所述使用者观看到的相对于所述HMD的前方位置处所述使用者作出的动作识别为所述使用者对所述UI图像的动作。所述位置检测单元可以被构造成：当该位置检测单元未能检测到眼睛和手中的至少一者的位置时，基于被检测使用者的其它身体部位来估计眼睛和手的位置，并且所述使用者动作识别单元可以被构造成：当眼睛、手和装置之间的估计的位置关系保持为预定位置关系时，识别使用者的动作。位置检测单元可以被构造成包括在多个成像方向上拍摄图像的多个成像单元，并且基于由所述多个成像单元拍摄的图像来检测所述待操作的装置以及所述使用者的所述眼睛和所述手的位置。使用者动作识别单元可以被构造成：当所述眼睛中的右眼、手和装置之间的第一位置关系、所述眼睛中的左眼、手和装置之间的第二位置关系以及左眼和右眼之间的中间位置、手和装置之间的第三位置关系中的任一者保持为预定位置关系时，识别使用者的动作。根据本专利技术的第一个方面的遥控方法包括以下步骤：检测待操作的装置以及使用者的眼睛和手的位置；当眼睛、手和装置之间的位置关系保持为预定位置关系时，识别所述使用者的动作；指定用于待操作的装置的操作指令，该操作指令对应于使用者的动作；并且基于指定的操作指令来驱动待操作的装置。根据本专利技术的第一方面的程序为使计算机起以下作用的程序：位置检测单元，该位置检测单元用于检测待操作的装置以及使用者的眼睛和手的位置；使用者动作识别单元，当眼睛、手和装置之间的位置关系保持为预定位置关系时，该使用者动作识别单元识别使用者的动作；操作指令指定单元，该操作指令指定单元指定用于待操作的装置的操作指令，该操作指令对应于使用者的动作；以及驱动指令单元，该驱动指令单元基于由操作指令指定单元指定的操作指令来驱动待操作的装置。在本专利技术的第一个方面中，检测待操作的装置以及使用者的眼睛和手的位置；当眼睛、手和装置之间的位置关系保持为预定位置关系时，识别使用者的动作；指定用于待操作的装置的操作指令，该操作指令对应于使用者的动作；并且基于指定的操作指令来驱动待操作的装置。根据本专利技术的第二个方面的遥控系统包括：多个待操作的装置，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置，所述主装置包括：位置检测单元，该位置检测单元用于检测主装置、从装置以及使用者的眼睛和手的位置；使用者动作识别单元，当眼睛、手和主装置之间的位置关系或眼睛、手和从装置之间的位置关系保持为预定位置关系时，该使用者动作识别单元识别使用者的动作；操作指令指定单元，该操作指令指定单元指定用于主装置或从装置的操作指令，该操作指令对应于使用者的动作；主驱动指令单元，该主驱动指令单元基于操作指令来驱动主装置；以及主通信单元，该主通信单元向从装置发送操作指令；所述从装置包括：从通信单元，该从通信装置接收从主装置发送的用于从装置的操作指令；以及从驱动指令单元，该从驱动指令单元基于操作指令来驱动从装置。当遥控系统包括第一操作装置和第二操作装置时，第一操作装置为主装置或从装置并具有显示功能，第二操作装置为主装置或从装置并且待被操作；位置检测单元可以被构造成检测第一操作装置、第二操作装置以及使用者的手和眼睛的位置；使用者动作识别单元可被构造成当眼睛、手和第一操作装置之间的位置关系保持为预定的第一位置关系时，识别使用者的第一预定动作，并且将第一操作装置识别为用于显示控制第二操作装置的UI的目标装置；操作指令指定单元可被构造成根据使用者的第一动作来指定使第一操作装置显示用于控制第二操作装置的UI的操作指令；主驱动指示单元可以被构造成基于显示用于控制第二操作装置的UI的操作指令来驱动第一操作装置；使用者动作识别单元可以被构造成当眼睛、手和第二操作装置之间的位置关系保持为预定的第二位置关系时，识别使用者的第二预定动作，并且将第二操作装置识别为用于进行与由第一操作装置显示的UI的操作相对应的操作的目标装置；操作指示指定单元可以被构造成根据使用者的第二动作来指定使第二操作装置进行与由第一操作装置显示的UI的操作相对应的操作的操作指令；并且主驱动指令单元可以被构造成基于与由第一操作装置显示的UI的操作相对应的本文档来自技高网...

【技术保护点】
一种遥控装置，其包括：位置检测单元，所述位置检测单元用于检测待操作的装置的位置以及使用者的眼睛和手的位置；使用者动作识别单元，当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；操作指令指定单元，所述操作指令指定单元指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的所述动作；以及驱动指令单元，所述驱动指令单元基于由所述操作指令指定单元指定的所述操作指令来驱动所述待操作的装置。

【技术特征摘要】
【国外来华专利技术】2016.02.23 JP 2016-0319831.一种遥控装置，其包括：位置检测单元，所述位置检测单元用于检测待操作的装置的位置以及使用者的眼睛和手的位置；使用者动作识别单元，当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；操作指令指定单元，所述操作指令指定单元指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的所述动作；以及驱动指令单元，所述驱动指令单元基于由所述操作指令指定单元指定的所述操作指令来驱动所述待操作的装置。2.根据权利要求1所述的遥控装置，其中，所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且在保持所述手位于作为所述视线的直线上的位置关系时，识别所述使用者的动作。3.根据权利要求2所述的遥控装置，其中，所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且当保持所述手的预定手指位于作为所述视线的直线上的位置关系时，将所述手在作为所述视线的所述直线上的动作识别为所述使用者的动作。4.根据权利要求1所述的遥控装置，其中，所述待操作的装置进一步包括显示单元，所述显示单元显示UI(用户界面)图像，用以控制所述装置的操作；并且所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的所述显示单元上的预定UI图像的视线，并且将保持所述手位于作为所述视线的直线上的位置关系时所述使用者作出的动作识别为所述使用者对所述UI图像的动作。5.根据权利要求4所述的遥控装置，其中，所述显示单元为所述使用者佩戴的透明型HMD(头戴显示器)；并且所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到在用作所述装置的所述显示单元的所述HMD上的预定UI图像的视线，并且将当在所述手位于作为所述视线的直线上的位置关系被保持时在从所述使用者观看到的相对于所述HMD的前方位置处所述使用者作出的动作识别为所述使用者对所述UI图像的动作。6.根据权利要求1所述的遥控装置，其中，当所述位置检测单元未能检测到所述眼睛和所述手中的至少一者的位置时，所述位置检测单元基于被检测的所述使用者的其它身体部位来估计所述眼睛和所述手的位置，并且当所述眼睛、所述手和所述装置之间的估计的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作。7.根据权利要求1所述的遥控装置，其中，所述位置检测单元包括在多个成像方向上拍摄图像的多个成像单元，并且基于由所述多个成像单元拍摄的图像来检测所述待操作的装置以及所述使用者的所述眼睛和所述手的位置。8.根据权利要求1所述的遥控装置，其中，当所述眼睛中的右眼、所述手与所述装置之间的第一位置关系、所述眼睛中的左眼、所述手与所述装置之间的第二位置关系以及所述左眼和所述右眼之间的中间位置、所述手与所述装置之间的第三位置关系中的任一者保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作。9.根据权利要求1所述的遥控装置，进一步包括：提示单元，所述提示单元向所述使用者提示用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的动作。10.根据权利要求9所述的遥控装置，其中，所述提示单元包括：显示对应于所述操作指令的UI的显示单元；发出对应于所述操作指令的光的发光单元；输出对应于所述操作指令的声音的声音输出单元；生成对应于所述操作指令的气味的气味生成单元；或者所述待操作的装置的反应或动作，所述反应或所述动作对应于所述操作指令。11.一种遥控方法，其包括以下步骤：检测待操作的装置以及使用者的眼睛和手的位置；当所述眼睛...

【专利技术属性】
技术研发人员：冈本秀男，中川贵晶，土井宏真，近藤员弘，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP