个人装置辅助的TV流媒体和渲染内容的注视点优化制造方法及图纸

诸如移动电话的移动装置(210)用于对附近用户进行成像(406)，以在比将由诸如TV的显示装置(12)上的相机提供的更近范围内进行眼睛跟踪，并将眼睛跟踪数据发送(412)到对显示器上呈现的视频进行流式传输的服务器(52)。服务器使用(502)眼睛跟踪数据来识别视频中的感兴趣区域(ROI)，该感兴趣区域的压缩程度比ROI之外的区域更高(504)以促进视频游戏图像的高效压缩，同时保持用户正在观看的图像中的ROI的质量。质量。质量。

【技术实现步骤摘要】
【国外来华专利技术】个人装置辅助的TV流媒体和渲染内容的注视点优化


[0001]本申请涉及必须植根于计算机技术并且产生具体技术改进的技术上创新的非常规解决方案。

技术介绍

[0002]如本文所认识的，需要用于流媒体计算机模拟(诸如计算机游戏)的服务来压缩、传输和解压缩来自视频游戏的高分辨率图像(1080p、4k、8K等)，在用户的互联网服务提供商(ISP)和本地网络(诸如Wi
‑
Fi)通常施加的严格带宽限制内，所述视频游戏源自远程服务器到达家用控制台装置。尽管正在开发新的视频压缩编解码器以降低甚至对高分辨率视频的带宽要求，但是它们的效率是有限的。
[0003]当前对于前述计算机相关技术问题没有妥善的解决方案。

技术实现思路

[0004]如本文所理解的，当在TV上玩流媒体游戏时准确地知道用户正在看哪里将有助于通过将感兴趣区域(ROI)之内的压缩调整为相对较低(或未压缩)并将ROI之外的区域的压缩调整为相对较高来改进视频压缩编解码器的效率，从而高度压缩图像以减小其数据大小。为了实现这一点，需要跟踪用户的注视。然而，也如本文所理解的，基于或靠近TV的相机系统距用户太远而无法准确地跟踪用户的注视。此外，TV与用户的距离存在很大可变性，使得从这种距离进行注视跟踪更加困难。
[0005]以下解决方案为在诸如TV的显示器上玩流媒体游戏或其他视频内容的用户解决了这个问题。
[0006]因此，一种系统包括诸如但不限于TV显示器的至少一个显示器、具有第一相机和第二相机并且可定位在显示器与观看显示器的用户之间的至少一个装置，以及被配置为发送压缩视频以在显示器上呈现的至少一个服务器。所述装置用指令编程，所述指令可执行以使用第一相机生成包括TV显示器的图像的第一图像。所述指令还可执行以使用第二相机生成包括用户的图像的第二图像。所述服务器和/或所述装置用指令编程，所述指令可执行以使用来自相机的图像来识别用户在TV显示器上的注视点(POG)，并且至少部分地基于POG来识别视频中的感兴趣区域(ROI)。所述服务器用指令编程以压缩视频并发送视频以在TV显示器上呈现，使得ROI以比ROI之外的视频区域更高的分辨率和/或更高的质量呈现在显示器上。
[0007]在示例中，所述装置包括移动通信装置、或平板计算机、或视频游戏控制器、或常规处方眼镜。
[0008]如果需要，服务器可以用指令编程以在“N”个视频帧中至少部分地使用用POG识别的ROI来识别相应推测性ROI，其中“N”是大于零的整数，并且至少部分地基于相应推测性ROI来压缩“N”个视频帧。
[0009]在另一方面，一种系统包括至少一个处理器和至少一个计算机存储器，所述计算
机存储器不是瞬态信号并且继而包括可由处理器执行的指令以使用装置上的第一相机对用户进行成像。所述装置不在诸如但不限于TV显示器的显示器上。所述指令可执行以使用装置上的第二相机对TV显示器进行成像，并且至少部分地基于图像确定TV显示器上的注视点(POG)。所述指令还可执行以将POG发送到至少一个远程服务器以促进服务器使用与至少一个视频帧中的POG相关的感兴趣区域(ROI)。视频帧还包括ROI之外的至少一个区域，使得服务器可以使用第一压缩来压缩ROI并且使用第二压缩来压缩ROI之外的区域。
[0010]POG在某个游戏屏幕上存在的位置的历史记录可以存储在数据库中。可以将数据库中的信息输入到机器学习算法中，以学习与预测的ROI的相关性。
[0011]在另一方面，一种方法包括使用移动装置生成用户观看诸如但不限于TV显示器的显示器的图像。所述方法还包括使用移动装置生成TV显示器的图像，以及使用图像来识别TV显示器上用户正在观看的位置。所述方法包括通过广域网将位置发送到至少一个服务器。
[0012]参考附图可最好地理解本申请的关于其结构和操作两者的细节，在附图中，相同的附图标记指代相同的部分，并且在附图中：
附图说明
[0013]图1是符合本专利技术原理的示例系统的框图；
[0014]图2是示出符合本专利技术原理的示例系统的示意图；
[0015]图3是符合本专利技术原理的示例总体逻辑的流程图；
[0016]图4是符合本专利技术原理的示例移动装置逻辑的流程图；
[0017]图5是符合本专利技术原理的示例服务器逻辑的流程图；
[0018]图6是符合本专利技术原理的替代的基于控制器的系统的示意图；
[0019]图7是符合本专利技术原理的替代的基于眼镜的系统的示意图；
[0020]图8是示出本专利技术原理的示意图；
[0021]图9是示出进一步原理的示例逻辑的流程图；以及
[0022]图10是替代的单相机实施方案的示意图。
具体实施方式
[0023]本公开总体上涉及计算机生态系统，所述计算机生态系统包括可包括消费型电子(CE)装置的计算机网络的各个方面。本文的系统可包括通过网络连接的服务器和客户端部件，使得可在客户端与服务器部件之间交换数据。客户端部件可包括一个或多个计算装置，所述一个或多个计算装置包括便携式电视(例如，智能TV、具有互联网功能的TV)、诸如膝上型计算机和平板计算机的便携式计算机，以及包括智能电话和下文论述的额外示例的其他移动装置。这些客户端装置可在多种操作环境下操作。例如，客户端计算机中的一些可以采用例如微软的操作系统，或Unix操作系统，或苹果计算机(Apple Computer)或谷歌(Google)生产的操作系统。可使用这些操作环境来执行一个或多个浏览程序，诸如由微软或谷歌或摩斯拉(Mozilla)制作的浏览器，或可访问由下文论述的互联网服务器托管的网站的其他浏览器程序。
[0024]服务器和/或网关可包括执行指令的一个或多个处理器，所述指令将服务器配置
为通过诸如互联网的网络来接收和传输数据。或者，客户端和服务器可通过本地内联网或虚拟专用网络连接。服务器或控制器可由游戏控制台(诸如Sony)、个人计算机等实例化。
[0025]可通过网络在客户端与服务器之间交换信息。为此并且为了安全起见，服务器和/或客户端可包括防火墙、负载平衡器、临时存储装置和代理，以及用于可靠性和安全性的其他网络基础设施。
[0026]如本文使用，指令是指用于处理系统中的信息的计算机实现的步骤。指令可以在软件、固件或硬件中实现，并且包括由系统部件执行的任何类型的编程步骤。
[0027]处理器可以是任何常规通用单芯片或多芯片处理器，其可借助于各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑。
[0028]通过本文的流程图和用户界面描述的软件模块可包括各种子例程、程序等。在不限制本公开的情况下，被陈述为由特定模块执行的逻辑可被再分配到其他软件模块和/或一起组合在单个模块中和/或使得在可共享库中可用。虽然可以使用流程图格式，但是应理解，软件可以实现为状态机或其他逻辑方法。
[0029]本文描述的本专利技术原理可以实现为硬件、软件、固件或它们的组合；因此，说明性部件本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，所述系统包括：至少一个显示器；至少一个装置，其包括第一相机和第二相机并且可定位在所述显示器与观看所述显示器的用户之间；至少一个服务器，其被配置为发送压缩视频以在所述显示器上呈现；用指令对所述装置进行编程，所述指令可执行以：使用所述第一相机生成第一图像，所述第一图像包括所述显示器的图像；使用所述第二相机生成第二图像，所述第二图像包括所述用户的图像；用指令对所述服务器和/或所述装置进行编程，所述指令可执行以：至少部分地基于来自所述第一相机和所述第二相机的所述图像来识别所述用户在所述显示器处的注视点(POG)；至少部分地基于所述POG识别所述视频中的感兴趣区域(ROI)；用指令对所述服务器进行编程，所述指令可执行以：压缩所述视频并发送所述视频以在所述显示器上呈现，所述压缩使得所述ROI以比所述视频的所述ROI之外的区域更高的分辨率和/或图像质量呈现在所述显示器上。2.根据权利要求1所述的系统，其中所述装置包括移动通信装置。3.根据权利要求1所述的系统，其中所述装置包括平板计算机。4.根据权利要求1所述的系统，其中所述装置包括计算机模拟控制器。5.根据权利要求1所述的系统，其中所述装置包括眼镜。6.根据权利要求1所述的系统，其中所述服务器用指令编程以：以低于所述ROI之外的视频帧的区域的程度压缩所述ROI中的所述视频帧。7.根据权利要求1所述的系统，其中所述服务器用指令编程以：在“N”个视频帧中，至少部分地使用用所述POG识别的所述ROI识别相应推测性ROI，其中“N”是大于零的整数；至少部分地基于所述相应推测性ROI来压缩所述“N”个视频帧。8.一种系统，所述系统包括：至少一个处理器；至少一个计算机存储器，其不是瞬态信号并且包括指令，所述指令可由所述至少一个处理器执行以：使用装置上的第一相机对用户进行成像，所述装置不在显示器上；使用所述装置上的第二相机对所述显示器进行成像；至少部分地基于所述图像，确定所述显示器上的注视点(POG)；以及将所述POG发送到至少一个远程服务器以促进所述服务器在至少一个视频帧中使用与所述POG相关的感兴趣区域(ROI)，所述至少一个视频帧还包括所述ROI之外的至少一个区域，使得所述服务器可以使用第一压缩...

【专利技术属性】
技术研发人员：JR斯塔福德，Y尤科卡瓦，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：