远程支援系统以及远程支援方法技术方案

本公开提供远程支援系统以及远程支援方法。抑制基于由搭载于移动体的摄像机拍摄的图像实施的远程支援的精度降低。远程支援系统根据由搭载于移动体的摄像机拍摄的图像对移动体的动作进行远程支援。远程支援系统与移动体进行通信，接收由摄像机拍摄到的图像。远程支援系统根据输入图像，判定在移动体中是否进行了使图像的画质降低的拥塞控制，输入图像为接收图像或者校正接收图像而得到的校正图像。在移动体中进行了拥塞控制的情况下，远程支援系统通过对输入图像应用超分辨技术改善输入图像的画质而生成改善图像，将改善图像显示于显示装置。示装置。示装置。

【技术实现步骤摘要】
远程支援系统以及远程支援方法


[0001]本专利技术涉及远程支援移动体的动作的技术。特别是，本专利技术涉及根据由搭载于移动体的摄像机拍摄的图像来远程支援移动体的动作的技术。

技术介绍

[0002]专利文献1公开了一种被远程操作的车辆。车辆拍摄视频并将拍摄的视频发送给远程操作装置。操作人员根据显示于远程操作装置的显示器的视频，输出与车辆的驱动、制动或者转向有关的指示。车辆从远程操作装置接收操作人员指示，根据操作人员指示，控制驱动、制动或者转向。在车辆与远程操作装置之间的通信速度降低的情况下，车辆减少构成视频的每1帧的信息量。
[0003]专利文献2公开了一种向能够进行超高分辨率(Ultra High Density：UHD)显示的显示器装置等终端分发超高分辨率影像内容的数据的影像处理装置。影像处理装置根据网络的传送速度，使原来的超高分辨率影像内容的分辨率降低，发送给终端。与此同时，影像处理装置根据特征(例：亮度)的分布的类似度，将原来的超高分辨率影像内容分割成多个区域。然后，影像处理装置将表示每个区域的特征的重构用信息发送给终端。终端连同低分辨率的影像数据一起接收重构用信息。然后，终端通过利用重构用信息，根据低分辨率的影像数据重构高分辨率的影像数据。
[0004]专利文献3公开了一种传送分辨率比HDTV图像高的超高精细图像的图像传送系统。图像传送系统将超高精细图像分割为多个HDTV图像。然后，图像传送系统使用多个既存的HDTV传送装置并行传送多个HDTV图像。
[0005]专利文献4公开了一种远程操作无人潜水机等移动体的技术。移动体具备摄影单元，将由摄影单元摄影的摄影数据发送给远程操作装置。在移动体的移动速度变高的情况下，移动体使摄影数据的帧频增加，并且使摄影数据的分辨率降低。
[0006]非专利文献1公开了一种将输入的低分辨率图像变换为高分辨率图像的“超分辨技术(super resolution)”。特别是，非专利文献1公开了一种将基于卷积神经网络(CNN：Convolutional Neural Network)的深度学习应用于超分辨(SR)的SRCNN。将输入的低分辨率图像变换(映射)为高分辨率图像的模型通过机械学习得到。
[0007]非专利文献2公开了一种使用ResNet(Deep Residual Net，深度残差网络)的图像辨识技术。
[0008]非专利文献3公开了一种利用深度学习校正图像的技术。特别是，非专利文献3公开了一种将低照度图像变换为通常光图像的技术(Enlighten GAN)。由此，例如，能够对在诸如夜间、逆光这样的场景中拍摄的图像进行明亮校正，提高视觉辨认性。
[0009]现有技术文献
[0010]专利文献
[0011]专利文献1：日本特开2014
‑
071778号公报
[0012]专利文献2：日本特开2019
‑
121836号公报
[0013]专利文献3：日本特开2007
‑
172318号公报
[0014]专利文献4：日本特开2019
‑
134383号公报
[0015]非专利文献
[0016]非专利文献1：Chao Dong，Chen Change Loy，Kaiming He，and Xiaoou Tang，"Image Super
‑
Resolution Using Deep Convolutional Networks"，arXiv：1501.00092v3[cs.CV]，July 31，2015(https：//arxiv.org/pdf/1501.00092.pdf)
[0017]非专利文献2：Kaiming He，Xiangyu Zhang，Shaoqing Ren，and Jian Sun，"Deep Residual Learning for Image Recognition"，arXiv：1512.03385v1[cs.CV]，December 10，2015(https：//arxiv.org/pdf/1512.03385.pdf)
[0018]非专利文献3：Yifan Jiang，Xinyu Gong，Ding Liu，Yu Cheng，Chen Fang，Xiaohui Shen，Jianchao Yang，Pan Zhou，and Zhangyang Wang，"EnlightenGAN：Deep Light Enhancement without Paired Supervision"，arXiv：1906.06972v1[cs.CV]，June 17，2019(https：//arxiv.org/pdf/1906.06972.pdf)

技术实现思路

[0019]为了远程支援车辆、机器人等移动体的动作，由搭载于移动体的摄像机拍摄的图像(视频、静止图像)是有用的。通过通信将由摄像机拍摄的图像从移动体送到远程支援系统。操作人员观察显示于远程支援系统的显示装置的图像，掌握移动体的周围的状况，远程支援移动体的动作。在此，在显示于显示装置的图像的画质降低时，存在远程支援的精度降低的可能性。
[0020]根据上述专利文献1公开的技术，在通信速度降低的情况下，减少构成视频的每1帧的信息量。其结果，对操作人员提示的视频的画质降低。其导致远程支援的精度降低。
[0021]本专利技术的1个目的在于提供一种能够抑制基于由搭载于移动体的摄像机拍摄的图像的远程支援的精度降低的技术。
[0022]第1观点涉及根据由搭载于移动体的摄像机拍摄的图像来远程支援移动体的动作的远程支援系统。
[0023]远程支援系统具备：1个或者多个处理器；以及显示装置。
[0024]1个或者多个处理器与移动体进行通信，接收由摄像机拍摄的图像。
[0025]1个或者多个处理器根据输入图像，判定在移动体中是否进行了使图像的画质降低的拥塞控制，上述输入图像是接收到的图像或者校正接收到的图像而得到的校正图像。
[0026]当在移动体中进行了拥塞控制的情况下，1个或者多个处理器通过对输入图像应用超分辨技术改善输入图像的画质而生成改善图像，将改善图像显示于显示装置。
[0027]第2观点除了第1观点以外，还具有以下特征。
[0028]1个或者多个处理器还根据接收到的图像判别拍摄图像的场景。
[0029]1个或者多个处理器通过根据场景以改善视觉辨认性的方式校正接收到的图像，从而生成校正图像。
[0030]而且，1个或者多个处理器将校正图像设定为上述输入图像。
[0031]第3观点除了第1观点以外，还具有以下特征。
[0032]1个或者多个处理器还受理拍摄图像的的场景的信息，该场景是由操作人员指定
的场景。
[0033]1个或者多个处理器通过根据场景以改善视觉辨认性的方式校正接收到的图像，从而生成校正图像。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程支援系统，根据由搭载于移动体的摄像机拍摄的图像，远程支援所述移动体的动作，其中，所述远程支援系统具备：1个或者多个处理器；以及显示装置，所述1个或者多个处理器与所述移动体进行通信，接收由所述摄像机拍摄到的所述图像，根据输入图像，判定在所述移动体中是否进行了使所述图像的画质降低的拥塞控制，所述输入图像是接收到的所述图像或者校正接收到的所述图像而得到的校正图像，当在所述移动体中进行了所述拥塞控制的情况下，通过对所述输入图像应用超分辨技术改善所述输入图像的画质而生成改善图像，将所述改善图像显示于所述显示装置。2.根据权利要求1所述的远程支援系统，其中，所述1个或者多个处理器还根据接收到的所述图像判别拍摄所述图像的场景，通过根据所述场景以改善视觉辨认性的方式校正接收到的所述图像，从而生成所述校正图像，将所述校正图像设定为所述输入图像。3.根据权利要求1所述的远程支援系统，其...

【专利技术属性】
技术研发人员：渡边敏畅，
申请(专利权)人：欧温星球控股股份有限公司，
类型：发明
国别省市：