在远程会议中的眼睛凝视角反馈制造技术

技术编号:22174478 阅读:87 留言:0更新日期:2019-09-21 15:08
一种在远程会议中向展示者提供反馈的方法包括通过使用与显示展示者所展示的内容的计算设备相关联的相机来捕获远程会议中的远程参与者的图像。基于所捕获的图像来确定针对至少一个远程参与者的眼睛凝视角信息。基于眼睛凝视角信息来标识所显示的内容中的至少一个感兴趣的区。向展示者提供反馈,其包括所标识的至少一个感兴趣的区的指示。

Eye-gaze Perspective Feedback in Teleconferencing

【技术实现步骤摘要】
【国外来华专利技术】在远程会议中的眼睛凝视角反馈
技术介绍
个性化的虚拟交互、比如视频会议正越来越多地被用于完成各种任务、诸如进行远程会议。视频会议使得位于不同地点处的参与者能够经由双向视频和音频传输而同时交互。视频会议可以如在位于不同地点处的两个参与者之间的会话那样简单,或涉及位于不同地点处的许多参与者之间的讨论,并且可以包括共享的展示内容、诸如视频展示或幻灯片。随着高速网络连接性正变得以较低成本而更广泛可用,并且视频捕获和显示技术的成本继续降低,通过网络在处于遥远地方的参与者之间进行的视频会议正变得越来越流行。附图说明图1是图示了根据一个示例的远程会议系统的图解。图2是图示了用于图1中所示的远程会议系统的远程计算设备的一个示例的框图。图3是图示了用于图1中所示的远程会议系统的展示者计算设备的一个示例的框图。图4是图示了根据一个示例的在远程会议中执行眼睛凝视角估计的方法的流程图。图5是图示了根据一个示例的在远程会议中向展示者提供反馈的图解。图6是图示了根据一个示例的具有热图类型指示的展示内容的显示的图解。图7是图示了根据一个示例的针对远程会议的两个参与者的随时间的眼睛移动强度的图表的图解。图8是图示了在远程会议中向展示者提供反馈的方法的流程图。具体实施方式在以下具体实施方式中,参考了附图,所述附图形成本文的一部分,并且其中作为图示而示出了其中可以实践本公开内容的特定示例。要理解的是,可以利用其它示例,并且可以做出结构性或逻辑改变而不偏离本公开内容的范围。因此,以下具体实施方式不要以限制性意义被理解,并且本公开内容的范围由所附权利要求来限定。要理解的是,本文中所述的各种示例的特征可以部分地或整个地与彼此组合,除非另行特别指出。一些示例涉及通过网络被连接在一起以用于虚拟交互(诸如远程会议)的多个参与者。如本文中所使用的远程会议意图是指在至少两个参与者之间的交互,其中不是全部参与者都位于相同的物理位置处(即至少一个参与者位于远程处)。远程会议的参与者可以使用便携式或非便携式计算设备,诸如但不限于个人计算机、台式计算机、膝上型计算机、笔记本计算机、网络计算机、个人数字助理(PDA)、移动设备、手持式设备、或任何其它合适的计算设备。一些示例涉及通过网络(诸如因特网)被连接在一起的至少一个展示者以及多个参与者。可以指出的是,展示者是在该性质的远程会议的上下文中的“参与者”,其中他或她正与其他“参与者”交互。一些示例针对应用凝视检测以确定远程会议中的参与者注意力信息,并且向远程会议的展示者提供反馈。通过使用与每个参与者的计算设备相关联的凝视敏感的接口(例如网络相机(webcam))来确定会议参与者的凝视角信息。一些示例依赖于从消费者级的网络相机所获得的图像,并且应付不受约束的环境,其可以包括不同的头部姿势、可变照明以及其它因素。一些示例从这些图像中提取信息,诸如检测面部界标、头部旋转、眼睛位置和头部角度。眼睛信息被确定并且被输入到卷积神经网络(CNN)以提取特征,所述特征被用作用于机器学习预测模块的输入以确定眼睛凝视角。基于眼睛凝视角信息,被展示的内容中的感兴趣的区被标识并且作为反馈被提供给展示者。图1是图示了根据一个示例的远程会议系统100的图解。系统100涉及分别具有相关联的远程计算设备104(1)-104(3)的多个远程参与者102(1)-102(3)(共同被称为远程参与者102),以及具有相关联的展示者计算设备108的展示者参与者106。计算设备104和108经由网络105被通信地耦合到彼此。计算设备104/108中的每一个包括远程会议应用(例如Lync、Skype、Webex、GoogleHangouts),并且在远程会议期间生成视频和音频流,其被发送到网络105,然后被提供给其它计算设备104和108中的每一个。计算设备104和108可以包括个人计算机、台式计算机、个人数字助理(PDA)、移动设备、手持式设备、或其它类型的计算设备。网络105可以是有线网络、无线网络、或者有线和无线网络的组合。在一些示例中,网络105是计算机网络,其可以包括私有网络(诸如内联网)或公共网络(诸如因特网)。还可以通过使用云计算架构来实现系统100。展示者参与者106通过网络105与远程参与者102通信以用于虚拟交互(例如远程会议)。展示者参与者106使用展示者计算设备108来向网络105传输展示内容110(例如幻灯片、文本、图像、视频等等)。远程参与者102(1)-102(3)分别使用远程计算设备104(1)-104(3)来从网络105接收所传输的展示内容110,并且显示接收到的展示内容110。在一些示例中,远程计算设备104(1)-104(3)分别为其相关联的远程参与者102(1)-102(3)确定基于眼睛凝视角的反馈信息112,并且在远程会议期间经由网络105将该信息112传输到展示者计算设备108。图2是图示了用于图1中所示的远程会议系统100的远程计算设备104的一个示例的框图。远程计算设备104包括至少一个处理器202、存储器204、输入设备220、输出设备222、显示器224以及相机226。处理器202、存储器204、输入设备220、输出设备222、显示器224以及相机226通过通信链路218而通信地耦合到彼此。相机226可以被嵌入在显示器224的框架内,沿着显示器224的至少一个边被装配,或被装配在显示器224位于其中的房间中的合适位置中。输入设备220包括键盘、鼠标、数据端口和/或用于将信息输入到设备104中的其它合适的设备。输出设备222包括扬声器、数据端口和/或用于从设备104输出信息的其它合适的设备。处理器202包括中央处理单元(CPU)或另一个合适的处理器。在一个示例中,存储器204存储由处理器202执行以用于操作设备104的机器可读指令。存储器204包括易失性和/或非易失性存储器的任何合适的组合,诸如随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器和/或其它合适的存储器的组合。这些是非暂时性计算机可读存储介质的示例。存储器204在如下意义上是非暂时性的:它不包括暂时性信号,而是代替地,由至少一个存储器组件构成,以存储用于执行本文中所述的技术的机器可执行指令。存储器204存储远程会议应用206、眼睛凝视角估计模块208以及眼睛凝视角处理和反馈生成模块210。处理器202执行远程会议应用206、眼睛凝视角估计模块208、以及眼睛凝视角处理和反馈生成模块210的指令以执行本文中所述的技术。注意到,远程会议应用206、眼睛凝视角估计模块208、以及眼睛凝视角处理和反馈生成模块210的功能性中的一些或全部可以通过使用云计算资源来实现。远程会议模块206允许远程计算设备104的用户参与远程会议,并且在显示器224上查看用于远程会议的展示内容110(图1)。在远程会议期间,相机226捕获计算设备104的用户的图像,其被提供到眼睛凝视角估计模块208。基于用户的被捕获的图像,眼睛凝视角估计模块208持续地在远程会议期间估计用户的当前眼睛凝视角。眼睛凝视角处理和反馈生成模块210接收并且处理由模块208生成的所估计的眼睛凝视角数据,并且生成反馈信息(例如基于眼睛凝视角的反馈信息112,其在图1中被示出),所述反本文档来自技高网...

【技术保护点】
1.一种用于在远程会议中向展示者提供反馈的方法,包括:通过使用与显示展示者所展示的内容的计算设备相关联的相机来捕获远程会议中的远程参与者的图像;基于所捕获的图像来确定针对至少一个远程参与者的眼睛凝视角信息;基于眼睛凝视角信息来在所显示的内容中标识至少一个感兴趣的区;向展示者提供反馈,其包括所标识的至少一个感兴趣的区的指示;以及其中所述确定、标识和提供由至少一个处理器执行。

【技术特征摘要】
【国外来华专利技术】1.一种用于在远程会议中向展示者提供反馈的方法,包括:通过使用与显示展示者所展示的内容的计算设备相关联的相机来捕获远程会议中的远程参与者的图像;基于所捕获的图像来确定针对至少一个远程参与者的眼睛凝视角信息;基于眼睛凝视角信息来在所显示的内容中标识至少一个感兴趣的区;向展示者提供反馈,其包括所标识的至少一个感兴趣的区的指示;以及其中所述确定、标识和提供由至少一个处理器执行。2.根据权利要求1所述的方法,其中确定眼睛凝视角信息包括:在所捕获的图像中检测所述至少一个远程参与者的左眼和右眼;以及通过使用至少一个卷积神经网络来从检测到的左眼和检测到的右眼提取特征。3.根据权利要求2所述的方法,其中所述至少一个卷积神经网络包括多个卷积神经网络。4.根据权利要求2所述的方法,并且进一步包括:利用机器学习预测模块、基于所提取的特征来估计至少一个眼睛凝视角值。5.根据权利要求2所述的方法,其中提取特征进一步包括:通过使用利用左眼信息所训练的第一卷积网络来从检测到的左眼提取第一特征集;以及通过使用利用右眼信息所训练的第二卷积网络来从检测到的右眼提取第二特征集。6.根据权利要求5所述的方法,并且进一步包括:利用第一机器学习预测模块、基于所提取的第一特征集来估计第一眼睛凝视角值;以及利用第二机器学习预测模块、基于所提取的第二特征集来估计第二眼睛凝视角值。7.根据权利要求6所述的方法,并且进一步包括:计算第一眼睛凝视角值和第二眼睛凝视角值的均值以确定最终估计的眼睛凝视角值。8.根据权利要求1所述的方法,并且进一步包括:向展示者提供每一个远程参与者的当前注意力聚焦的指示。9.根据权利要求1所述的方法,并且进一步包括:在远程会议期间生成热图类型指示,其向展示者标识对于远程参与者...

【专利技术属性】
技术研发人员:R·P·西尔贝拉T·宝拉W·拉姆蓬
申请(专利权)人:惠普发展公司有限责任合伙企业
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1