视频处理装置、视频处理方法、程序和远程通信系统制造方法及图纸

本公开内容涉及使得可以提供更好的用户体验的视频处理装置、视频处理方法、程序和远程通信系统。区域划分单元将其他站点的视频划分成多个区域。估计单元对其他站点的整体视频以及对其他站点的视频的每个区域执行视频分析，并且估计在其他站点的视频被捕获时的照明环境。颜色校正单元根据主站点的光源颜色对具有与照明环境对应的光源颜色的其他站点的视频的颜色进行校正。本技术可以应用于例如使用在其他站点与主站点之间接收和发送的视频的远程通信系统中。

Video processing device, video processing method, program and telecommunication system

【技术实现步骤摘要】
【国外来华专利技术】视频处理装置、视频处理方法、程序和远程通信系统
本公开内容涉及影像处理装置、影像处理方法、程序和远程通信系统，并且具体地涉及使得可以提供更令人满意的用户体验的影像处理装置、影像处理方法、程序和远程通信系统。
技术介绍
开发了一种远程通信系统，该远程通信系统使得各自存在于远程位置处的用户能够仿佛用户彼此面对一样地彼此通信。这样的远程通信系统通过使用使每个用户感觉像是处在同一空间中的影像(例如，通过使用看起来仿佛一个用户一侧的光也照射对方一侧的影像)，使得可以提供产生更高的临场感的令人满意的用户体验。这使得可以提供产生更高的临场感的令人满意的用户体验。例如，专利文献1公开了一种色调调节设备，该色调调节设备基于使用校准板对光源颜色进行的预先估计的结果来执行颜色校正，并且基于使用由用户指定的帧(一个或更多个帧)中的影像对光源颜色的估计的结果来执行颜色校正。引用列表专利文献专利文献1：日本未审查专利申请公布第2011-165091号
技术实现思路
本专利技术要解决的问题然而，在前述专利文献1中公开的颜色校正中，影像的色调可能取决于预先估计的结果、用户指定等而变得不自然，这可能导致临场感的劣化。存在使用这种影像的远程通信系统无法提供令人满意的用户体验的可能性。鉴于这种情况而构思的本公开内容使得可以提供更令人满意的用户体验。解决问题的手段根据本公开内容的实施方式的影像处理装置包括：区域分割部，其在使用在自身基站与其他基站之间接收和发送的影像的远程通信中，将其他基站处的影像分割成多个区域；估计部，其通过对其他基站处的整体影像以及对其他基站处的多个区域中的每一个执行影像分析来估计其中捕获了其他基站处的影像的照明环境；以及颜色校正部，其根据自身基站处的光源颜色对具有与照明环境对应的光源颜色的其他基站处的影像执行颜色校正。本公开内容的实施方式中的影像处理方法用于影像处理装置中，该影像处理装置在使用在自身基站与其他基站之间接收和发送的影像的远程通信中处理其他基站处的影像。该影像处理方法包括：将其他基站处的影像分割成多个区域；通过对其他基站处的整体影像以及对其他基站处的影像中的多个区域中的每一个执行影像分析来估计其中捕获了其他基站处的影像的照明环境；以及根据自身基站处的光源颜色对具有与照明环境对应的光源颜色的其他基站处的影像执行颜色校正。本公开内容的实施方式中的程序使影像处理装置中的计算机执行影像处理。影像处理装置在使用在自身基站与其他基站之间接收和发送的影像的远程通信中处理其他基站处的影像。影像处理包括：将其他基站处的影像分割成多个区域；通过对其他基站处的整体影像以及对其他基站处的影像中的多个区域中的每一个执行影像分析来估计其中捕获了其他基站处的影像的照明环境；以及根据自身基站处的光源颜色对具有与照明环境对应的光源颜色的其他基站处的影像执行颜色校正。本公开内容的实施方式中的远程通信系统通过经由网络耦接至包括接收-发送部和颜色校正部的影像处理装置来配置。接收-发送部在自身基站与另一基站之间接收和发送影像。颜色校正部对具有与捕获了其他基站处的影像的照明环境对应的光源颜色的其他基站处的影像执行颜色校正。通过下述方法来估计照明环境：将在使用接收和发送的影像的远程通信中的其他基站处的影像分割成多个区域，然后对其他基站处的影像整体以及对其他基站处的影像中的多个区域中的每一个执行影像分析。在本公开内容的实施方式中，将其他基站处的影像分割成多个区域，并且通过对其他基站处的整体影像以及其他基站处的影像中的多个区域中的每一个执行影像分析来估计捕获了其他基站处的影像的照明环境，并且根据自身基站处的光源颜色对具有与照明环境对应的光源颜色的其他基站处的影像执行颜色校正。本专利技术的效果根据本公开内容的实施方式，可以提供更令人满意的用户体验。应当要注意的是，这里描述的效果不一定是限制性的，而可以是在本公开内容中描述的任何效果。附图说明图1是示出应用本技术的远程通信系统的实施方式的配置示例的框图。图2是描述响应于光源颜色的变化的颜色校正的图。图3是示出通信处理部的第一配置示例的框图。图4是描述通信处理部中的处理的概况的图。图5是描述使用深度信息的颜色校正的图。图6是示出深度信息和人物遮挡信息的示例的图。图7是示出使用色调来确定光源颜色的差异的算法的示例的图。图8是描述在估计白色点中使用的权重值的大小的图。图9是描述当在另一基站处设置各自具有不同的光源颜色的两个光源时的颜色校正的示例的图。图10是描述当在自身基站处设置各自具有不同的光源颜色的两个光源时的颜色校正的示例的图。图11是描述当在自身基站和另一基站中的每一个处设置各自具有不同的光源颜色的两个光源时的颜色校正的示例的图。图12是描述当在自身基站处左右布置各自具有不同光源颜色的两个光源时的颜色校正的示例的图。图13是描述当在自身基站和另一基站中的每一个处左右布置各自具有不同光源颜色的两个光源时的颜色校正的示例的图。图14是描述使用深度信息对每一层执行的颜色校正的示例的图。图15是描述使用α混合来控制颜色校正量的方法的图。图16是描述远程通信处理的流程图。图17是描述光源估计处理的流程图。图18是描述权重计算处理的流程图。图19是示出与色度相关的标准值的图。图20是描述颜色校正处理的流程图。图21是示出通信处理部的第二配置示例的框图。图22是示出通信处理部的第三配置示例的框图。图23是示出应用本技术的计算机的实施方式的配置示例的框图。具体实施方式在下文中，参照附图描述应用本技术的特定实施方式。<远程通信系统的配置示例>图1是示出应用本技术的远程通信系统的实施方式的配置示例的框图。如图1所示，远程通信系统11是通过经由诸如因特网的网络12将各自位于远程位置的通信终端13A和13B耦接至该远程通信系统11来配置的。例如，在远程通信系统11中，通信终端13A和13B经由网络12彼此耦接，从而使得能够实时地相互接收和发送影像和声音。这使得通信终端13A侧的用户A和通信终端13B侧的用户B能够像用户彼此面对那样彼此进行交谈，从而使得能够进行更真实的通信。要注意的是，通信终端13A和13B均具有类似的配置，并且在不必将通信终端13A和13B彼此区分的情况下，将通信终端13A和13B简称为通信终端13，并且同样地称呼通信终端13A和13B中所包括的每个部分。另外，在下文中，在通信终端13中执行的通信处理中，仅描述影像相关处理，而省略声音相关处理的描述。另外，通信终端13侧的用户(例如，相对于通信终端13A的用户A或者相对于通信终端13B的用户B)被称为自身基站处的用户。然后，作为用户的通信对方的用户(例如，相对于通信终端13A的用户B，或者相对于通信终端1本文档来自技高网...

【技术保护点】
1.一种影像处理装置，包括：/n区域分割部，其将使用在自身基站与其他基站之间接收和发送的影像的远程通信中的所述其他基站处的影像分割成多个区域；/n估计部，其通过执行影像分析来估计其中捕获了所述其他基站处的影像的照明环境，所述影像分析是对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行的；以及/n颜色校正部，其根据所述自身基站处的光源颜色对所述其他基站处的影像执行颜色校正，所述其他基站处的影像具有与所述照明环境对应的光源颜色。/n

【技术特征摘要】
【国外来华专利技术】20170823 JP 2017-1601671.一种影像处理装置，包括：
区域分割部，其将使用在自身基站与其他基站之间接收和发送的影像的远程通信中的所述其他基站处的影像分割成多个区域；
估计部，其通过执行影像分析来估计其中捕获了所述其他基站处的影像的照明环境，所述影像分析是对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行的；以及
颜色校正部，其根据所述自身基站处的光源颜色对所述其他基站处的影像执行颜色校正，所述其他基站处的影像具有与所述照明环境对应的光源颜色。


2.根据权利要求1所述的影像处理装置，其中，
所述区域分割部将所述自身基站处的影像分割成多个区域，
所述估计部通过对所述自身基站的整体以及对所述自身基站处的影像中的多个区域中的每一个执行影像分析来估计其中捕获了所述自身基站处的影像的照明环境；并且
所述颜色校正部根据所述自身基站处的照明环境中的光源颜色对所述其他基站处的影像执行颜色校正，所述照明环境由所述估计部估计。


3.根据权利要求1所述的影像处理装置，其中，
所述颜色校正部以帧为单位对所述其他基站处的影像执行颜色校正，并且在由所述估计部估计的照明环境变化的情况下，根据所述变化来改变对所述其他基站处的影像执行的颜色校正。


4.根据权利要求1所述的影像处理装置，还包括：
累积部，其累积校正量作为颜色校正信息，所述校正量由所述颜色校正部在对所述其他基站处的影像执行颜色校正时使用；以及
颜色校正控制部，其参照在所述累积部中累积的颜色校正信息来执行对所述校正量的控制，所述校正量由所述颜色校正部在对所述其他基站处的影像执行颜色校正时使用。


5.根据权利要求1所述的影像处理装置，其中，
所述颜色校正部使用捕获所述其他基站处的影像的成像范围中的深度信息来执行调节，所述调节被执行以增大根据所述自身基站处的光源颜色对所述其他基站处的影像的前侧执行颜色校正时的颜色校正量，同时减小针对所述其他基站处的影像的后侧的颜色校正量。


6.根据权利要求2所述的影像处理装置，其中，
所述区域分割部使用捕获所述自身基站或所述其他基站处的影像的成像范围中的深度信息，将所述自身基站或所述其他基站处的影像分离成多个层。


7.根据权利要求2所述的影像处理装置，其中，
所述区域分割部使用对所述自身基站或所述其他基站处的影像中包括的对象进行遮挡的遮挡信息，将所述自身基站或所述其他基站处的影像分割成多个区域。


8.根据权利要求2所述的影像处理装置，其中，
所述估计部使用针对所述自身基站或所述其他基站处的多个区域中的每一个计算的权重值，估计所述自身基站或所述其他基站处的整体影像中的白色点，并且还估计所述自身基站或所述其他基站处的多个层中的每一个层的白色点，从而估计所述自身基站或所述其他基站处的照明环境。


9.根据权利要求2所述的影像处理装置，其中，
所述估计部估计所述自身基站或所述其他基站处的整体影像中的白色点，并且还将所述自身基站或所述其他基站处的影像分离成多个层并且估计所述多个层中的每一个层的白色点，以基于在所述自身基站或所述其他基站处的整体影像中的白色点的估计结果以及在所述自身基站或所述其他基站处的多个层中的每一个层的白色点的估计结果来估计所述自身基站或所述其他基站处的光源的数目，并且
所述颜色校正部根据所述自身基站或所述其他基站处的光源的数目对所述其他基站处的影像执行颜色校正，所述数目由所述估计部估计。


10.根据权利要求9所述的影像处理装置，其中，
在所述估...

【专利技术属性】
技术研发人员：宫本浩平，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP