产生远程临场机器人的控制信号的方法和远程临场系统技术方案

本发明专利技术涉及产生远程临场机器人的控制信号的方法和远程临场系统。为了基于操作者的移动自然地控制远程临场机器人，公开了一种由计算设备基于操作者的移动产生用于远程临场机器人的控制信号的计算机实现的方法。在步骤S102，基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向。在步骤S103，计算所述操作者的所述至少一部分所指向的方位，然后在步骤S107，基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号。所述方向和所述方位被不同地反映到所述一个或多个运动参数。

【技术实现步骤摘要】

本专利技术一般地涉及远程临场机器人，更具体地说，涉及用于产生远程临场机器人的控制信号的方法、远程临场系统和计算机程序。
技术介绍
针对用于人际交流(例如，远程讲座中的演讲者—听众交流)的远程临场系统而言，可以利用配备云台电动机、显示器和摄像机的远程临场机器人将一个参与者(例如，演讲者、发言者)物理地呈现给另一参与者(例如，学生、听众)。远程临场机器人的主要作用不仅包括将有关另一参与者的信息提供给所述一个参与者，而且还通过远程临场机器人所增强的社交临场感为另一参与者提供一致性。位于一个地点的操作者可以遥控远程临场机器人移动其头部；机器人可以移动具有摄像机的脸部来将位于另一地点的机器人周围的信息提供给操作者。远程临场机器人通过模拟操作者的移动来表达操作者的行为，从而将操作者(他/她)的意图、特征和周围环境传递给另一参与者。通过使用诸如键盘之类的输入设备和控制设备控制远程临场机器人给操作者带来了认知负担，从而导致在执行认知复杂的任务(例如，演讲、操作指示等)期间出现性能劣化。如果操作者过分关注他/她的表现，可能会忘记控制，或者，如果他/她专注于控制机器人的操作，则可能无法将注意力集中在他/她的表现上。另外，提供了一种通过使用配备陀螺传感器的HMD(头戴式显示器)来控制的机器人，HMD将操作者的移动复制给远程机器人。但是，穿戴此类传感设备可能给操作者带来负担。被HMD覆盖的脸部导致僵硬的脸部表情，从而使得呈现给听众的亲和力下降。另外还需要考虑操作者的无意移动(例如，向旁边观望)会导致机器人出现不适当行为。
技术实现思路
技术问题需要这样的方法、远程临场系统和关联的计算机程序：即，这些方法、远程临场系统和计算机程序在无需任何干扰操作者自然表情的附加设备且不会给操作者带来太多认知负担的情况下，产生远程临场机器人的控制信号，并且能够基于操作者的移动，通过远程临场机器人表示操作者的自然具身性(embodiment)。问题的解决方案根据本专利技术的一个实施例，提供一种由计算设备基于操作者的移动产生用于远程临场机器人的控制信号的计算机实现的方法。所述方法包括基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向。所述方法还包括计算所述操作者的所述至少一部分所指向的方位。所述方法还包括基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号，其中所述方向和所述方位被不同地反映到所述一个或多个运动参数。根据本专利技术的另一方面，提供一种远程临场系统，其包括基于操作者的移动产生用于远程临场机器人的控制信号的计算设备。所述计算设备包括方向计算器，其被配置为基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向。所述计算设备还包括方位计算器，其被配置为计算所述操作者的所述至少一部分所指向的方位。所述计算设备进一步包括产生器，其被配置为基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号，其中所述方向和所述方位被不同地反映到所述一个或多个运动参数。此处还描述和要求保护与本专利技术的一个或多个方面相关的计算机程序。通过本专利技术的技术实现附加特征和优点。在此详细地描述本专利技术的其它实施例和方面并且它们被视为所要求保护的本专利技术的一部分。附图说明图1示出根据本专利技术的一个示例性实施例的用于远程讲座的远程临场系统的示意图；图2示出根据本专利技术的所述示例性实施例的包括计算设备的远程临场机器人的硬件配置；图3示出根据本专利技术的所述示例性实施例的远程临场系统的框图；图4A描述根据本专利技术的所述示例性实施例的操作者的有意移动和无意移动的角度；图4B描述根据本专利技术的所述示例性实施例的用于由计算设备检测操作者的脸部方向的脸部跟踪处理；图4C描述根据本专利技术的所述示例性实施例的用于由计算设备估计操作者的脸部方位的估计处理；图5是示出根据本专利技术的所述示例性实施例的用于基于操作者的移动控制远程临场机器人的处理的流程图；图6A描述根据本专利技术的所述示例性实施例的远端远程临场机器人的运动参数；图6B描述根据本专利技术的另一示例性实施例的远端远程临场机器人的运动参数；图7A示出根据本专利技术的一个特定优选实施例的由操作者的有意移动实现的远程临场机器人的移动；图7B示出根据本专利技术的所述特定优选实施例的由操作者的无意移动实现的远程临场机器人的移动。具体实施方式现在将使用特定实施例描述本专利技术，下面描述的实施例被理解为仅参考实例，并非旨在限制本专利技术的范围。根据本专利技术的一个或多个实施例涉及用于由计算设备基于操作者的移动产生远程临场机器人的控制信号的方法、远程临场系统和计算机程序。现在参考一系列图1-7，其中示出根据本专利技术的一个或多个实施例的用于产生远程临场系统中的远程临场机器人的控制信号的远程临场系统和方法。参考图1，其中示出根据本专利技术的一个示例性实施例的用于远程讲座的远程临场系统100的示意图。存在两个主要地点，包括演讲者(例如，讲师)130所在的演讲者地点110和听众(例如，学生)170所在的听众地点150。在每个地点110、150中，设置远程临场机器人120、160以增强演讲者130与听众170之间交流的社交临场感。远程临场机器人120、160经由网络102连接来相互通信。网络102可以包括但不限于局域网(LAN)、一般广域网(WAN)、公共网络(例如，因特网、蜂窝网络)等。如图1所示，每个远程临场机器人120、160具有身体122、162和头部124、164。每个头部124、164具有配备显示器166(未示出机器人120的显示器)和摄像机168(未示出机器人120的摄像机)的脸部。在所描述的实施例中，头部124、164可通过致动器沿两个轴线移动，从而使得头部124、164以及脸部可以独立地相对于身体122、162扫视和俯仰。但这只是本专利技术的一个或多个实施例的可能设计的一个实例。在其它实施例中，头部可以沿一个轴线或两个以上的轴线移动，显示器(或脸部)和摄像机(或眼睛)可以沿一个或多个轴线单独移动。在远程临场系统100中，远程临场机器人120、160可以相互地将一个参与者物理呈现给其他参与者(多个)。位于演讲者地点110的远程临场机器人120的摄像机所拍摄的视图经由网络102被发送到位于听众地点150的远程临场机器人160，以通过显示器166显示演讲者地点110的视图(例如，演讲者130的脸部)，并且反之亦然。在主模式下操作的远程临场机器人(例如，演讲者地点110的机器人120)能够通过摄像机检测并跟踪演讲者的脸部，并且通过显示器，从伙伴机器人(在从模式下操作的远程临场机器人(例如，听众地点150的机器人160))的视角在听众地点150显示图像。在从模式下操作的远程临场机器人(例如，机器人160)能够通过显示器166显示演讲者的脸部，并且随着演讲者130的脸部的移动扫视和俯仰头部164。现在参考图2，其中示出远程临场机器人10(与图1所示的每个远程临场机器人120、160对应)的硬件配置的示意图。图2所示的远程临场机器人10只是适当的远程临场机器人的一个例子，并非旨在暗示对此处描述的本专利技术实施例的使用范围或功能的任何限制。总而言之，远程临场机器人10能够实现和/或本文档来自技高网...

【技术保护点】
一种由计算设备基于操作者的移动产生用于远程临场机器人的控制信号的计算机实现的方法，所述方法包括：基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向；计算所述操作者的所述至少一部分所指向的方位；以及基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号，其中所述方向和所述方位被不同地反映到所述一个或多个运动参数。

【技术特征摘要】
2015.08.31 JP 2015-1707871.一种由计算设备基于操作者的移动产生用于远程临场机器人的控制信号的计算机实现的方法，所述方法包括：基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向；计算所述操作者的所述至少一部分所指向的方位；以及基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号，其中所述方向和所述方位被不同地反映到所述一个或多个运动参数。2.根据权利要求1所述的方法，所述方法进一步包括：基于所述方向和所述方位中的至少一者，判定所述操作者是否将注意力集中于配备所述摄像机的显示器，所述显示器被配置为显示所述远程临场机器人的视图；其中所述产生包括根据所述判定的结果对所述方向和所述方位不同地加权。3.根据权利要求2所述的方法，其中所述加权包括：在所述操作者将注意力集中于所述显示器的情况下，对所述方向设定较重的权重并且对所述方位设定较轻的权重。4.根据权利要求2所述的方法，其中所述加权包括：在所述操作者将注意力集中于所述显示器以外的情况下，对所述方向设定较轻的权重并且对所述方位设定较重的权重。5.根据权利要求1所述的方法，其中所述远程临场机器人的所述一个或多个运动参数包括多个参数，每个参数均对应于所述远程临场机器人的不同部分，每个参数由关于所述方向和所述方位的不同函数来确定。6.根据权利要求1所述的方法，其中所述远程临场机器人的所述一个或多个运动参数包括以下至少一者：所述远程临场机器人的一部分的一个或多个角度、安装在所述远程临场机器人中的远程摄像机的一个或多个角度、安装在所述远程临场机器人中的远程显示器的一个或多个角度、以及安装在所述远程临场机器人中的一组远程摄像机和远程显示器的一个或多个角度。7.根据权利要求1所述的方法，其中所述远程临场机器人的所述一个或多个运动参数包括由以下公式确定的所述远程临场机器人的角度T：[公式1]T=f(t1,t2)=t1*M*(1-t2K)+t2*N*(t2K)]]>其中t1表示所述方向，t2表示所述方位，M、N和K分别表示预定常数。8.根据权利要求1所述的方法，其中所述方向被以点对称方式并且所述方位被以同步方式从所述操作者的移动反映到所述远程临场机器人的移动。9.根据权利要求1所述的方法，其中所述操作者的所述至少一部分是所述操作者的脸部，并且所述远程临场机器人具有被配置为显示所述操作者的所述脸部的远程显示器、被配置为收集所述远程临场机器人周围的信息的远程摄像机、以及被配置为沿至少一个轴线致动所述远...

【专利技术属性】
技术研发人员：小杉晋央，福田健太郎，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US