允许减小使用者视线方向关联的视差效应的视频会议系统技术方案

本发明专利技术涉及一种视频会议系统1，其包括：显示屏幕10，其用于显示包含N幅图像的图像I

【技术实现步骤摘要】
允许减小使用者视线方向关联的视差效应的视频会议系统


[0001]本专利技术的领域是允许远距离的个人进行相互通讯的视频会议系统的领域。这样的视频会议系统适于在相互之间实时地传输/接收(由视频和音频信号形成的)多媒体流。

技术介绍

[0002]视频会议系统越来越用于允许远距离的个人进行实时地相互通讯。这些系统传输和接收对应于通讯中的个人的图像和声音的多媒体流(音频和视频信号)。常规地，这样的视频会议系统包括用于显示对话者的显示屏幕、用于摄影使用者的摄像机、和处理单元。
[0003]然而，已知眼神接触在人际通讯的质量中起到重要的作用。当两个通讯中的个人相互看着对方眼睛(直接视觉接触)时，视为进行眼神接触。然而，在常规视频会议系统中，摄像机常规地相对于显示屏幕偏移，因此使用者看起来没有看着对话者的眼睛。
[0004]如在Bohannon等人的名为Eye contact and video
‑
mediated communication:A review Displays Vol.34,Issue 2,177
‑
185(2012)文献中所指出的，提及了视差，由在使用者当其看着对话者的眼睛时的视线的方向轴线与摄像机的穿过使用者的眼睛的光轴之间的例如大于5
°
的非零角度(称作视差角度或视差误差)导致该视差效应。为了避免该视差效应，使用者会需要直接看着摄像机，而不是看着对话者，但这在人类通讯中是不可设想的。
[0005]存在尝试减小或甚至消除通讯中的个人之间的视差效应的各种视频会议系统。由此，文献US7126627B1描述了一种视频会议系统，其包括定位在使用者与显示屏幕之间的可动摄像机，由此减小视差角度。然而，在显示屏幕前方存在摄像机可能会分散使用者注意力。在文献WO2019/165124A1中描述了另一解决方案，其视频会议系统的显示屏幕还并入由矩阵阵列成像仪的矩阵形成的矩阵阵列成像仪。由此，显示屏幕的每个像素包括发光二极管和矩阵阵列图像传感器，这导致特别复杂的电子配置。

技术实现思路

[0006]本专利技术的目的在于至少部分地弥补现有技术的缺陷，更具体地，在于提供一种允许有效地减小与和在其屏幕上显示的对话者进行通讯的看着其眼睛的使用者的视线方向相关联的视差效应，而没有不合理地增大显示屏幕的电子配置的复杂度的视频会议系统。
[0007]为了该目的，本专利技术的一个主题在于一种视频会议系统，其适于将多媒体信号传输到N个远程视频会议系统并且从N个远程视频会议系统接收多媒体信号，其中N≥1，该视频会议系统允许使用者与使用这些远程系统的N个对话者进行实时地通讯，并包括：
[0008]‑
显示屏幕，其包括发射像素矩阵，所述发射像素矩阵适于在多个相继显示时间t
i
，显示包含由远程系统传输的描绘对话者的面部的N幅图像的图像I
e
(t
i
)；
[0009]‑
摄像机，其适于在多个相继获取时间t
j
，获取使用者的面部的图像I
c
(t
j
)。
[0010]根据本专利技术，该视频会议系统包括：
[0011]‑
光学设备，其包括单像素成像仪，该单像素成像仪适于在多个获取时间t
j
，基于
至少一个单像素成像仪的子矩阵来确定N幅修正图像该光学设备包括：
[0012]o至少一个光源，其适于发射波长位于可见光谱以外的并照射覆盖使用者的面部的包含其眼睛的眼部P
o
(t
j
)的预定角度区域Z
a
的光束；
[0013]o单像素成像仪矩阵，每个单像素成像仪适于采集照射光束的被眼部P
o
(t
j
)反射的部分并适于基于所采集的光束来重构修正图像并且每个单像素成像仪包括单个感光区，感光区集成到显示屏幕中并位于显示屏幕的主要区域，对话者的N幅图像位于该主要区域中；
[0014]‑
处理单元，其适于：
[0015]o在图像I
e
(t
i
)的每个图像中，确定位于对话者的眼睛处(即所述眼睛的区域中)的目标点然后选择每个都以目标点为中心的N个子矩阵
[0016]o通过用N幅修正图像替换描绘眼部P
o
(t
j
)的图像I
c
(t
j
)的区域，来修正图像I
c
(t
j
)，由此获得均要被传输到对应对话者的远程系统的N幅经修正的图像I
cc
(t
j
)。
[0017]以下是该视频会议系统的一些优选但非限制性的方面。
[0018]单像素成像仪的矩阵阵列可以具有等于发射像素的矩阵阵列的分辨率的分辨率。
[0019]代表眼部P
o
(t
j
)并被修正图像替换的图像I
c
(t
j
)的区域I
c_po
(t
j
)可以具有比图像I
c
(t
j
)的围绕区域I
c_po
(t
j
)的区域I
c_br
(t
j
)的分辨率更高的分辨率。
[0020]图像I
c
(t
j
)的区域I
c_br
(t
j
)可以具有比图像I
c
(t
j
)在其被摄像机获取期间的原始分辨率更低的分辨率。
[0021]光源可以适于发射在扫描时间T中空间地扫描角度区域Z
a
的光束，N个子矩阵的一个或更多个单像素成像仪适于在扫描时间T期间实施n
i
×
p
i
次获取。
[0022]作为变型，光源可包括矩阵阵列光调制器，并适于同时照射整个角度区域Z
a
。
[0023]本专利技术还涉及一种用于借助于根据上述特征中的任一项的视频会议系统与使用者进行视频会议的方法，其包括以下步骤：
[0024]‑
接收由对话者的远程系统传输的N幅图像
[0025]‑
在多个显示时间t
i
，用显示屏幕显示包含图像的图像I
e
(t
i
)；
[0026]‑
确定N个目标点每个目标点位于一个对话者的眼睛处(在眼睛的区域中)；
[0027]‑
确定至少一个单像素成像仪的N个子矩阵所述子矩阵中的每个以一个所确定的目标点为中心；
[0028]‑
在多个获取时间t
j
，用摄像机获取使用者的面部的图像I
c
(t
j
)；...

【技术保护点】

【技术特征摘要】
1.一种视频会议系统(1)，其适于将多媒体信号传输到N个远程视频会议系统(2)并且从N个远程视频会议系统接收多媒体信号，其中N≥1，所述视频会议系统允许使用者与使用这些远程系统(2)的N个对话者进行实时地通讯，并包括：ο显示屏幕(10)，其包括发射像素矩阵，所述发射像素矩阵适于在多个相继显示时间t
i
，显示包含由所述远程系统(2)传输的描绘所述对话者的面部的N幅图像的图像I
e
(t
i
)；ο摄像机(20)，其适于在多个相继获取时间t
j
，获取所述使用者的面部的图像I
c
(t
j
)；ο其特征在于，所述视频会议系统包括：ο光学设备，其包括单像素成像仪，所述单像素成像仪适于在多个获取时间t
j
，基于至少一个单像素成像仪的子矩阵来确定N幅修正图像所述光学设备包括：
·
至少一个光源(31)，其适于发射波长位于可见光谱以外的并且照射覆盖所述使用者的面部的包含其眼睛的眼部P
o
(t
j
)的预定角度区域Z
a
的光束；
·
单像素成像仪矩阵，每个单像素成像仪适于采集照射光束的被所述眼部P
o
(t
j
)反射的部分，并适于基于所采集的光束来重构修正图像并且每个单像素成像仪包括单个感光区(34)，所述感光区(34)集成到显示屏幕(10)中并位于所述显示屏幕(10)的主要区域(Z
p
)，所述对话者的N幅图像位于该主要区域中；ο处理单元(40)，其适于：
·
在所述图像I
e
(t
i
)的每个图像中，确定位于对话者的眼睛处的目标点然后选择每个都以目标点为中心的N个子矩阵
·
通过用所述N幅修正图像替换描绘所述眼部P
o
(t
j
)的图像I
c
(t
j
)的区域，来修正所述图像I
c
(t
j
)，由此获得均要被传输到对应对话者的远程系统的N幅经修正的图像I
cc
(t
j
)。2.根据权利要求1所述的视频会议系统(1)，其中，所述单像素成像仪矩阵具有等于所述发射像素矩阵的分辨率的分辨率。3.根据权利要求1所述的视频会议系统(1)，其中，描绘所述眼部P
o
(t
j
)并被修正图像替换的所述图像I
c
(t
j
)的区域I
c_po
(t
j
)具有比所述图像I
c
(t
j
)的围绕所述区域I
c_po
(t
j
)的区域I
c_br
(t
j
)的分辨率更高的分辨率。4.根据权利要...

【专利技术属性】
技术研发人员：克里斯多夫，
申请(专利权)人：原子能和替代能源委员会，
类型：发明
国别省市：