A display system divides the screen into multiple areas and applies a different set of rendering/coding parameters to each area. The system applies the first set of parameters to the first area seen by the central fovea of the user's eyes. The system can also apply the second set of parameters to the second area seen by the paracentral fovea of the eye, and the third set of parameters to the third area seen by the area outside the paracentral fovea of the eye. Selecting the first set of parameters produces relatively high image quality, while the second set produces intermediate quality, and the third set produces relatively low quality. As a result, the second and third regions can be rendered, coded and transmitted with less computing power and bandwidth.
【技术实现步骤摘要】
【国外来华专利技术】基于眼睛跟踪信息的图像区域中的自适应参数
本专利技术总体上涉及眼睛跟踪，并且更具体地，涉及基于眼睛跟踪信息的图像区域中的自适应参数的使用。
技术介绍
在各种不同背景下，图像被渲染、编码和显示给用户。在许多情形下，用于渲染、编码和传输用于显示给用户的图像的过程可以消耗大量计算资源，尤其当图像具有相对高的分辨率，诸如1080p或4K时或者当图像是组成视频的帧序列的一部分，诸如通过游戏应用程序生成的视频文件或场景时。这可以导致不期望的副作用，诸如，较高的功率消耗和较长的处理时间。
技术实现思路
显示系统将不同的多组参数应用于不同的图像区域。该系统接收观看显示屏的屏幕的用户的一只或两只眼睛的眼睛跟踪信息。该系统基于眼睛跟踪信息确定第一屏幕区域和第二屏幕区域。在一个实施方式中，第一屏幕区域是屏幕的由用户的眼睛的中央凹看到的部分，并且第二屏幕区域是屏幕的由视网膜的在中央凹外部的部分看到的部分。该系统通过将第一组参数应用于第一图像区域并且将第二组参数应用于屏幕的第二图像区域来处理用于显示在屏幕上的图像。第一图像区域是要显示在第一屏幕区域中的图像的部分，并且第二图像区域是要显示在第二...
【技术保护点】
1.一种方法，包括：接收包括观看显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息；基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的第一屏幕区域，所述第一屏幕区域包含所述用户的注视点，所述注视点表示在所述眼睛跟踪信息被捕获时所述用户看向的所述屏幕上的点；基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域分离的第二屏幕区域；编码用于显示在所述屏幕上的图像，编码包括：基于第一组编码参数编码所述图像的第一图像区域，所述第一图像区域要显示在所述第一屏幕区域中，并且基于第二组编码参数编码所述图像的第二图像区域，所述第二图像区域要显示在所述第二屏幕区域中，所述第...
【技术特征摘要】
【国外来华专利技术】2016.08.01 US 62/369,336;2017.07.28 US 15/662,5821.一种方法，包括：接收包括观看显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息；基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的第一屏幕区域，所述第一屏幕区域包含所述用户的注视点，所述注视点表示在所述眼睛跟踪信息被捕获时所述用户看向的所述屏幕上的点；基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域分离的第二屏幕区域；编码用于显示在所述屏幕上的图像，编码包括：基于第一组编码参数编码所述图像的第一图像区域，所述第一图像区域要显示在所述第一屏幕区域中，并且基于第二组编码参数编码所述图像的第二图像区域，所述第二图像区域要显示在所述第二屏幕区域中，所述第二组编码参数比所述第一组编码参数导致更低的质量；并且将编码的图像传输至所述显示装置以显示在所述屏幕上。2.根据权利要求1所述的方法，其中，所述第一屏幕区域与所述屏幕的由所述眼睛的中央凹看到的区域对应。3.根据权利要求1所述的方法，其中，所述第二屏幕区域与所述屏幕的由所述眼睛的视网膜的在中央凹外部的部分看到的区域对应。4.根据权利要求1所述的方法，其中，所述第一组编码参数包括第一图像分辨率，所述第二组编码参数包括第二图像分辨率，并且所述第二图像分辨率低于所述第一图像分辨率。5.根据权利要求4所述的方法，其中，编码所述第一图像区域包括生成第一编码的图像区域，其中，编码所述第二图像区域包括生成第二编码的图像区域，并且进一步包括：生成包括所述第一编码的图像区域和所述第二编码的图像区域的打包图像。6.根据权利要求1所述的方法，其中，所述第一组编码参数包括第一帧速率，所述第二组编码参数包括第二帧速率，并且所述第二帧速率低于所述第一帧速率。7.根据权利要求1所述的方法，进一步包括：基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域和所述第二屏幕区域分离的第三屏幕区域，其中，编码用于显示在所述屏幕上的所述图像进一步包括：基于第二组编码参数编码所述图像的第三图像区域，所述第三图像区域要显示在所述第三屏幕区域中，所述第三组编码参数比所述第一组编码参数导致更低的质量并且比所述第二组编码参数导致更高的质量。8.根据权利要求8所述的方法，其中，所述第三屏幕区域与所述屏幕的由所述眼睛的旁中央凹看到的区域对应。9.根据权利要求1所述的方法，其中，所述显示装置是虚拟现实头戴设备。10.一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行包括以下项的操作：接收包括观看显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息；基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的第一屏幕区域，所述第一屏幕区域包含所述用户的注视点，所述注视点表示在所述眼睛跟踪信息被捕获时所述用户看向的所述屏幕上的点；基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域分离的第二屏幕区域；编码用于显示在所述屏幕上的图像，编码包括：基于第一组编码参数编码所述图像的第一图像区域，所述第一图像区域要显示在所述第一屏幕区域中，并且基于第二组编码参数编码所述图像的第二图像区域，所述第二图像区域要显示在所述第二屏幕区域中，所述第二组编码参数比所述第一组编码参数导致更低的质量；并且将编码的图像传输至所述显示装置以显示在所述屏幕上。11.根据权利要求10所述的计算机可读存储介质，其中，所述第一屏幕区域与所述屏幕的由所述眼睛的中央凹看到的区域对应。12.根据权利要求10所述的计算机可读存储介质，其中，所述第二屏幕区域与所述屏幕的由所述眼睛的视网膜的在中央凹外部的部分看到的区域对应。13.根据权利要求10所述的计算机可读存储介质，其中，所述第一组编码参数包括第一图像分辨率，所述第二组编码参数包括第二图像分辨率，并且所述第二图像分辨率低于所述第一图像分辨率。14.根据权利要求10所述的计算机可读存储介质，其中，编码所述第一图像区域包括生成第一编码的图像区域，其中，编码所述第二图像区域包括生成第二编码的图像区域，并且进一步包括：生成包括所述第一编码的图像区域和所述第二编码的图像区域的打包图像。15.根据权利要求10所述的计算机可读存储介质，其中，所述第一组编码参数包括第一帧速率，所述第二组编码参数包括第二帧速率，并且所述第二帧速率低于所述第一帧速率。16.根据权利要求10所述的计算机可读存储介质，所述操作进一步包括：基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域和所述第二屏幕区域分离的第三屏幕区域，其中，编码用于显示在所述屏幕上的所述图像进一步包括：基于第二组编...
【专利技术属性】
技术研发人员：马丁·亨里克·塔尔，哈维尔·桑·阿古斯丁·洛佩斯，拉斯穆斯·达尔，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。