交流支持系统以及交流支持程序技术方案

一个实施方式的交流支持系统是支持用户使用终端来进行的交流的交流支持系统，该交流支持系统具备控制数据生成部，该控制数据生成部基于包括用户的语音数据和用户的图像数据的影像数据来生成控制数据，该控制数据用于对显示于终端并参加交流的用户的化身的动作进行控制，控制数据生成部在用户的图像数据发生了图像信息的缺失的情况下，使用用户的语音数据和已学习模型来补充缺失部分的图像信息，已学习模型是以当被输入用户的语音数据时输出化身的控制数据的方式使用训练数据来生成的已学习模型。已学习模型。已学习模型。

【技术实现步骤摘要】
【国外来华专利技术】交流支持系统以及交流支持程序


[0001]本公开的一个方面涉及交流支持系统以及交流支持程序。
[0002]本申请主张基于2020年1月10日提出申请的日本申请2020－003108号的优先权，并援引记载于所述日本申请的全部记载内容。

技术介绍

[0003]关于使用计算机的交流，例如日本特开2009－077380号公报(专利文献1)公开一种从文化的适当度的观点考虑将与用户动作对应的化身动作中的注视和示意动作这样的非语言行为动作修正为其他动作的会议系统。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：日本特开2009－077380号公报

技术实现思路

[0007]本公开的一个方面的交流支持系统是支持用户使用终端来进行的交流的交流支持系统，该交流支持系统具备控制数据生成部，该控制数据生成部基于包括上述用户的语音数据和上述用户的图像数据的影像数据来生成控制数据，该控制数据用于对显示于上述终端并参加上述交流的上述用户的化身的动作进行控制，上述控制数据生成部在上述用户的图像数据发生了图像信息的缺失的情况下，使用上述用户的语音数据和已学习模型来补充缺失部分的图像信息，上述已学习模型是以当被输入上述用户的语音数据时输出上述化身的上述控制数据的方式使用训练数据来生成的已学习模型。
附图说明
[0008]图1是表示实施方式的交流支持系统的概略构成的例子的图。
[0009]图2是表示由实施方式的交流支持系统提供的交流的例子的图。
[0010]图3是表示终端和服务器的功能块的例子的图。
[0011]图4A是表示与规定的帧对应的用户的图像全部缺失的状态的图。
[0012]图4B是表示在与规定的帧对应的用户的图像中用户的脸部的一部分的图像数据缺失的状态的图。
[0013]图4C是表示基于图4A或图4B的图像数据的化身的动作的例子的图。
[0014]图5是表示在交流支持系统中执行的处理的例子的时序图。
具体实施方式
[0015][本公开所要解决的问题][0016]化身动作基于用户的影像数据即用户的语音数据和图像数据被控制为反映用户动作。在该情况下，存在在图像数据发生了掉帧等缺失时化身动作停止这样的问题。在专利
文献1中对于这样的问题没有进行任何研究。
[0017][本公开的效果][0018]根据本公开的一个方面，即使在用户的图像数据发生了缺失的情况下也能使化身的动作继续进行。
[0019][本公开的实施方式的说明][0020]首先，列举本公开的实施方案来进行说明。也可以将以下记载的实施方式的一部分任意地组合。
[0021]本公开的一个方面的交流支持系统是支持用户使用终端来进行的交流的交流支持系统，该交流支持系统具备控制数据生成部，该控制数据生成部基于包括上述用户的语音数据和上述用户的图像数据的影像数据来生成控制数据，该控制数据用于对显示于上述终端并参加上述交流的上述用户的化身的动作进行控制，上述控制数据生成部在上述用户的图像数据发生了图像信息的缺失的情况下，使用上述用户的语音数据和已学习模型来补充缺失部分的图像信息，上述已学习模型是以当被输入上述用户的语音数据时输出上述化身的上述控制数据的方式使用训练数据来生成的已学习模型。
[0022]本公开的一个方面的交流支持程序使计算机作为上述交流支持系统进行动作。
[0023]在这样的方面中，即使在用户的图像数据发生了图像信息的缺失的情况下化身也被控制，因此能使化身的动作继续进行。
[0024]也可以是，上述已学习模型是以输出与上述缺失对应的上述图像信息已被补充的上述用户的图像数据的方式使用上述用户的图像数据的至少一部分、上述用户的语音数据以及训练数据来生成的已学习模型。也可以是，上述控制数据生成部在上述用户的图像数据发生了图像信息的缺失的情况下，使用上述用户的图像数据的至少一部分、上述用户的语音数据以及上述已学习模型来生成对上述化身进行控制的上述控制数据。例如，通过这样做，即使在用户的图像数据发生了图像信息的缺失的情况下也能对化身进行控制。
[0025]也可以是，上述图像信息的缺失是指至少一个单位帧中不包含图像信息的状态。由此，即使在单位帧中不包含图像信息的情况下，也能对化身进行控制。
[0026]也可以是，上述图像信息的缺失是上述用户的脸部的一部分的图像信息的缺失。也可以是，上述控制数据包括用于对上述化身的表情进行控制的控制数据。由此，即使在没有用户的脸部的一部分的图像信息的情况下，也能对化身的表情进行控制。
[0027]也可以是，上述控制数据生成部在上述用户的语音数据发生了缺失的情况下，补充缺失的语音数据。由此，即使在语音数据缺失的情况下，也能使化身的动作继续进行。
[0028]以下，参照附图对本公开中的实施方式详细地进行说明。在附图的说明中对相同或等同的要素标注相同的附图标记，不反复进行重复的说明。
[0029]图1是表示实施方式的交流支持系统(以下，有时也仅称为“系统”。)的概略构成的例子的图。系统100是支持交流的计算机系统。交流的例子是视频会议、聊天、诊察、咨询(counselling)、面试(人物评价)、远程办公等。
[0030]系统100包括终端10、终端20以及终端30。在图1所示的例子中，终端10是用户U1所使用的膝上型的个人计算机(PC：Personal Computer)。终端20是用户U2所使用的便携式电话机(智能手机等)。终端30是用户U3所使用的台式的PC。终端10、终端20以及终端30能连接于网络N。在该例子中，终端10经由接入点AP连接于网络N，终端20经由基站BS连接于网络N，
终端30通过有线(未图示)连接于网络N。除了上述的PC、便携式电话机以外，平板终端、可穿戴终端、头戴式显示器(HMD：Head Mounted Display)终端、其他各种各样的终端也可以用作终端10、终端20以及终端30。系统100中所包括的终端的数量不限定于图1的例子。
[0031]系统100包括服务器40。服务器40连接于网络N。因此，终端10、终端20、终端30以及服务器40能经由网络N相互通信。系统100中所包括的服务器的数量不限定于图1的例子。
[0032]网络N的构成不被限定。例如，网络N可以被构成为包括因特网(公用网)、通信载波网络、运营商网络等。
[0033]图2是表示由系统100提供的交流的例子的图。交流在通过计算机表现的虚拟空间50进行。虚拟空间50显示于终端10、终端20以及终端30，由此被呈现给用户U1、用户U2以及用户U3。
[0034]在本实施方式中，用户U1的化身V1、用户U2的化身V2以及用户U3的化身V3作为交流的参加者出现在虚拟空间50。
[0035]化身V1是在虚拟空间50内表现的用户U1的分身，通过独立于用户U1的实际的像(拍摄数据等)的图像素材来生成。化身V1也可以是网络N上的虚本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种交流支持系统，支持用户使用终端来进行的交流，该交流支持系统具备控制数据生成部，该控制数据生成部基于包括所述用户的语音数据和所述用户的图像数据的影像数据来生成控制数据，该控制数据用于对显示于所述终端并参加所述交流的所述用户的化身的动作进行控制，所述控制数据生成部在所述用户的图像数据发生了图像信息的缺失的情况下，使用所述用户的语音数据和已学习模型来补充缺失部分的图像信息，所述已学习模型是以当被输入所述用户的语音数据时输出所述化身的所述控制数据的方式使用训练数据来生成的已学习模型。2.根据权利要求1所述的交流支持系统，其中，所述已学习模型是以输出与所述缺失对应的所述图像信息已被补充的所述用户的图像数据的方式使用所述用户的图像数据的至少一部分、所述用户的语音数据以及训练数据来生...

【专利技术属性】
技术研发人员：翁由奈，戴桂明，柿井俊昭，细谷俊史，
申请(专利权)人：住友电气工业株式会社，
类型：发明
国别省市：