远程控制系统、远程作业装置、影像处理装置以及程序制造方法及图纸

改善远程作业装置中获得的影像的视场角及画质这两者。远程控制系统具有用户装置以及远程作业装置，其中，远程作业装置具有：第1拍摄设备，其具有第1视场角；以及第2拍摄设备，其包含上述第1视场角且具有大于第1视场角的第2视场角，将利用上述第1拍摄设备获得的第1影像以及利用上述第2拍摄设备获得的第2影像经由网络而向用户装置发送。另一方面，用户装置接收从远程作业装置经由网络而输送来的上述第1影像以及上述第2影像，以使得坐标位置以及时间位置一致的方式对接收到的上述第1影像和上述第2影像进行合成而生成第3影像，将所生成的上述第3影像向显示部输出。上述第3影像向显示部输出。上述第3影像向显示部输出。

【技术实现步骤摘要】
【国外来华专利技术】远程控制系统、远程作业装置、影像处理装置以及程序


[0001]本专利技术的实施方式涉及例如用户装置经由网络而对配置于远处的远程作业装置进行控制的远程控制系统、该系统中使用的远程作业装置、影像处理装置以及程序。

技术介绍

[0002]开发了如下系统，即，用户一边观看在显示装置显示的影像，一边经由网络对处于远处的作业装置进行远程控制。这种系统例如在用户的头部佩戴头戴式显示器(Head Mount Display：HMD)(此后也称为头戴式套件)。而且，以如下方式构成，即，用户一边利用头戴式套件观看存在于远处的机器人拍摄的影像，一边使自己的身体执行动作，由此对上述机器人的动作进行远程控制(例如参照专利文献1)。
[0003]专利文献1：日本特开2019
‑
106628号公报

技术实现思路

[0004]但是，关于通常的远程控制系统，如果用户要观看远处的影像，则存在下面的2个问题。其中之一如下，即，通常设置于机器人等远程作业装置的照相机是单摄像头照相机，因此在其影像中失去进深方向的信息，用户无法识别物体的前后而导致操作性下降。为了减轻该问题，提出了如下方案，即，模仿人眼而配置2台照相机，基于其拍摄影像例如利用头戴式套件生成并显示立体影像。例如作为stereoscopic(立体影像)而已知该技术。然而，即使使用该技术，其视场角与人眼相比也依然较小，对于用户而言难以获得充分的目视确认性。
[0005]另一个问题在于，失去进深的信息，无法立体地捕捉。为了解决该问题，例如存在利用360度照相机而获取较大范围的影像的方法。然而，360度照相机需要利用例如照相机内具有的传感器、影像处理部对360度全方向的影像进行处理，具有由此产生画质的劣化、或者影像的扫描延迟增大的其他问题。
[0006]本专利技术就是着眼于上述情形而提出的，一个技术方案要提供改善在远程作业装置中获得的影像的视场角以及画质这两者的技术。
[0007]为了解决上述问题，本专利技术的第1方式涉及一种远程控制系统，其具有：用户装置；以及远程作业装置，其根据从上述用户装置与用户动作相应地经由网络输送来的控制信号而执行动作。远程作业装置具有：第1拍摄设备，其具有第1视场角；以及第2拍摄设备，其包含所述第1视场角且具有大于所述第1视场角的第2视场角。而且，远程作业装置将利用所述第1拍摄设备获得的第1影像以及利用所述第2拍摄设备获得的第2影像经由所述网络而向所述用户装置发送。另一方面，所述用户装置具有接收部、影像合成部以及显示部。接收部接收从所述远程作业装置经由所述网络而输送来的所述第1影像以及所述第2影像。影像合成部以使得坐标位置以及时间位置一致的方式对接收到的所述第1影像和所述第2影像进行合成，生成第3影像。显示部对所生成的所述第3影像进行显示。
[0008]本专利技术的第2方式涉及一种远程作业装置，根据从用户装置与用户动作相应地经
由网络输送来的控制信号而执行动作。远程作业装置具有：第1拍摄设备，其具有第1视场角；以及第2拍摄设备，其包含所述第1视场角且具有大于所述第1视场角的第2视场角，还具有影像合成部以及发送部。影像合成部以使得坐标位置以及时间位置一致的方式对利用所述第1拍摄设备获得的第1影像和利用所述第2拍摄设备获得的第2影像进行合成，生成第3影像。发送部将所生成的所述第3影像经由所述网络而向所述用户装置发送。
[0009]本专利技术的第3方式涉及一种影像处理装置，远程控制系统具有：用户装置；以及远程作业装置，其根据从上述用户装置与用户动作相应地经由网络输送来的控制信号而执行动作，所述远程作业装置具有：第1拍摄设备，其具有第1视场角；以及第2拍摄设备，其包含所述第1视场角且具有大于所述第1视场角的第2视场角，所述影像处理装置设置于所述远程控制系统的所述用户装置或者所述远程作业装置的任一者。影像处理装置具有影像合成部以及输出部。影像合成部以使得坐标位置以及时间位置一致的方式对利用所述第1拍摄设备获得的第1影像和利用所述第2拍摄设备获得的第2影像进行合成，生成第3影像。输出部将所生成的所述第3影像输出。
[0010]专利技术的效果
[0011]根据本专利技术的第1方式，在远程作业装置中，将利用视场角不同的第1及第2拍摄设备拍摄到的影像向用户装置传送。在用户装置中，对从上述远程作业装置输送来的各影像以使得其坐标位置以及时间位置一致的方式进行合成，向用户进行显示。因此，对于用户，关于包含其视线方向在内的主要注视范围，能够通过利用第1拍摄设备获得的影像提供例如具有进深感的高画质的影像，另一方面，关于注视范围以外的周围区域能够提供较大的视场角的影像。
[0012]另外，根据本专利技术的第2方式，在远程作业装置中，对利用视场角不同的第1及第2拍摄设备拍摄到的影像以使其坐标位置以及时间位置一致的方式进行合成，向用户装置输送。因此，在用户装置中，对上述合成后的影像进行显示。因此，对于用户，关于包含其视线方向在内的主要注视范围，能够通过利用第1拍摄设备获得的影像提供例如具有进深感的高画质的影像，另一方面，关于注视范围以外的周围区域，能够提供较大的视场角的影像。
[0013]根据本专利技术的第3方式，针对利用设置于远程作业装置的视场角不同的第1及第2拍摄设备拍摄到的影像，利用设置于远程作业装置或者用户装置的任一者的影像处理装置进行合成，用于用户装置的显示。因此，对于用户，关于包含其视线方向在内的主要注视范围，能够通过利用第1拍摄设备获得的影像提供例如具有进深感的高画质的影像，另一方面，关于注视范围以外的周围区域能够提供较大的视场角的影像。
[0014]即，根据本专利技术的各方式，能够提供改善远程作业装置中获得的影像的视场角及画质这两者的技术。
附图说明
[0015]图1是表示本专利技术的第1实施方式所涉及的远程控制系统的整体结构的图。
[0016]图2是表示图1所示的远程控制系统中作为远程作业装置而使用的机器人的硬件结构的框图。
[0017]图3是表示图1所示的远程控制系统中用户佩戴的头戴式显示器的硬件结构的框图。
[0018]图4是表示图1所示的远程控制系统中作为用户装置而使用的信息处理装置的硬件结构的框图。
[0019]图5是表示图1所示的远程控制系统中作为用户装置而使用的信息处理装置的软件结构的框图。
[0020]图6是表示图5所示的信息处理装置的处理次序及处理内容的流程图。
[0021]图7是表示利用图5所示的信息处理装置生成的合成影像的第1例的图。
[0022]图8是表示利用图5所示的信息处理装置生成的合成影像的第2例的图。
[0023]图9是表示利用图5所示的信息处理装置生成的合成影像的第3例的图。
[0024]图10是表示设置于机器人的照相机的其他配置例的图。
具体实施方式
[0025]下面，参照附图对本专利技术所涉及的几个实施方式进行说明。
[0026][第1实施方式][0027](结构例)
[0028](1)系本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种远程控制系统，其具有：用户装置；以及远程作业装置，其根据从所述用户装置与用户动作相应地经由网络输送来的控制信号而执行动作，其中，所述远程作业装置具有：第1拍摄设备，其具有第1视场角；第2拍摄设备，其包含所述第1视场角且具有大于所述第1视场角的第2视场角；以及发送部，其将利用所述第1拍摄设备获得的第1影像以及利用所述第2拍摄设备获得的第2影像经由所述网络而向所述用户装置发送，所述用户装置具有：接收部，其接收从所述远程作业装置经由所述网络而输送来的所述第1影像以及所述第2影像；影像合成部，其以使得坐标位置以及时间位置一致的方式对接收到的所述第1影像和所述第2影像进行合成，生成第3影像；以及输出部，其将所生成的所述第3影像向显示部输出。2.一种远程作业装置，其根据从用户装置与用户动作相应地经由网络输送来的控制信号而执行动作，其中，所述远程作业装置具有：第1拍摄设备，其具有第1视场角；第2拍摄设备，其包含所述第1视场角且具有大于所述第1视场角的第2视场角；影像合成部，其以使得坐标位置以及时间位置一致的方式对利用所述第1拍摄设备获得的第1影像和利用所述第2拍摄设备获得的第2影像进行合成，生成第3影像；以及发送部，其将所生成的所述第3影像经由所述网络而向所述用户装置发送。3.根据权利要求2所述的远程作业装置，其中，所述第1拍摄设备具有立体照相机，该立体照相机具有所述第1视场角，所述第2拍摄设备具有全方位照相机，该全方位照相机作为所述第2视场角而具有能够对整周进行拍摄的视场角。4.一种影像处理装置，远程控制系统具有：用户装置；以及...

【专利技术属性】
技术研发人员：中藏聪哉，
申请(专利权)人：NTT通信公司，
类型：发明
国别省市：