【技术实现步骤摘要】
本专利技术涉及扩展现实显示技术，尤其涉及一种图像处理器、一种图像处理方法、一种计算机可读存储介质，以及一种扩展现实显示装置。
技术介绍
1、扩展现实(extended reality，xr)显示技术，是指通过计算机将真实与虚拟相结合，以打造一个可人机交互的虚拟环境的技术，包括但不限于增强现实(augmentedreality，ar)显示技术、虚拟现实(virtual reality，vr)显示技术、混合现实(mixedreality，mr)显示技术。通过将这三种视觉交互技术相融合，扩展现实显示技术能够为体验者带来虚拟世界与现实世界之间无缝转换的沉浸感。
2、针对xr领域的高分辨率显示需求，现有xr设备的超分辨率技术无法针对用户的凝视区域提供准确、高效的超分辨处理。为了克服现有技术存在的上述缺陷，本领域亟需一种扩展现实显示技术，用于满足用户针对凝视区域的高分辨率显示需求，并降低高分辨率显示的延时及硬件需求。
技术实现思路
1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。
2、为了克服现有技术存在的上述缺陷，本专利技术提供了一种图像处理器、一种图像处理方法、一种计算机可读存储介质，以及一种扩展现实显示装置，能够根据用户的眼动信号来确定凝视区域
3、具体来说，根据本专利技术的第一方面提供的上述图像处理器被配置为：获取用户的眼动信号及待处理的第一图像；根据所述眼动信号，在所述第一图像中确定凝视区域；以及对所述凝视区域进行超分辨处理，以获得凝视区域的局部分辨率达到目标分辨率的第二图像。
4、进一步地，在本专利技术的一些实施例中，所述图像处理器连接眼动仪。所述根据所述眼动信号。在所述第一图像中确定凝视区域的步骤包括：根据从所述眼动仪获取的眼动信号进行眼动追踪计算，以确定所述用户在所述第一图像中的凝视点位置；根据所述凝视点位置更新凝视点信息，以构建更新的压缩模型；以及根据所述更新的压缩模型的压缩参数，确定关于所述凝视点位置的多个分区的坐标，其中，所述多个分区中包括至少一个所述凝视区域。
5、进一步地，在本专利技术的一些实施例中，所述对所述凝视区域进行超分辨处理，以获得凝视区域的局部分辨率达到目标分辨率的第二图像的步骤包括：根据所述更新的压缩模型的压缩参数，确定包含和/或临近所述凝视点位置的至少一个凝视区域的上采样倍率；以及根据各所述凝视区域的坐标及上采样倍率，对所述第一图像的各所述凝视区域进行对应的超分辨处理，以获得所述第二图像。
6、进一步地，在本专利技术的一些实施例中，所述图像处理器还被配置为：根据所述眼动信号，在所述第一图像中确定非凝视区域；以及对所述非凝视区域进行压缩处理，以获得凝视区域的局部分辨率达到所述目标分辨率，且非凝视区域的局部分辨率小于所述目标分辨率的第二图像。
7、进一步地，在本专利技术的一些实施例中，所述对所述非凝视区域进行压缩处理，以获得凝视区域的局部分辨率达到目标分辨率，且非凝视区域的局部分辨率小于所述目标分辨率的第二图像的步骤包括：根据所述更新的压缩模型的压缩参数，确定远离所述凝视点位置的至少一个非凝视区域的下采样倍率；以及根据各所述非凝视区域的坐标及下采样倍率，对所述第一图像的各所述非凝视区域进行对应的压缩处理，以获得所述第二图像。
8、进一步地，在本专利技术的一些实施例中，多个所述分区具有相同和/或不同的上采样倍率，和/或多个所述分区具有相同和/或不同的下采样倍率。
9、进一步地，在本专利技术的一些实施例中，所述图像处理器被进一步配置为：经由预先训练的特征提取模型，从所述第一图像提取图像特征；根据提取的所述图像特征，确定对应上采样卷积核或下采样卷积核；以及根据各所述凝视区域的坐标、上采样倍率及上采样卷积核，对所述第一图像的各所述凝视区域进行对应的超分辨处理，或者根据各所述非凝视区域的坐标、下采样倍率及下采样卷积核，对所述第一图像的各所述非凝视区域进行对应的压缩处理，以获得所述第二图像。
10、进一步地，在本专利技术的一些实施例中，所述图像处理器还被配置为：识别所述第一图像的第一分辨率；响应于所述第一分辨率低于所述目标分辨率的识别结果，对所述凝视区域进行所述超分辨处理，以获得凝视区域的局部分辨率达到所述目标分辨率的第二图像；以及响应于所述第一分辨率高于所述目标分辨率的识别结果，对所述非凝视区域进行所述压缩处理，以获得凝视区域的局部分辨率达到所述目标分辨率，且非凝视区域的局部分辨率小于所述目标分辨率的第二图像。
11、进一步地，在本专利技术的一些实施例中，所述图像处理器包括显示管线。所述显示管线中集成有软件处理单元及至少一个图像处理硬化单元，并被配置为：根据所述眼动信号，采用所述软件处理单元中配置的第一软件，以及所述至少一个图像处理硬化单元，对所述第一图像进行所述超分辨处理，并采用所述软件处理单元中配置的第二软件，以及所述至少一个图像处理硬化单元，对所述第一图像进行所述压缩处理，以获得所述第二图像。
12、进一步地，在本专利技术的一些实施例中，所述软件处理单元中还配置有第三软件。所述显示管线还被配置为：采用所述软件处理单元中配置的所述第三软件，以及所述至少一个图像处理硬化单元，对所述第一图像进行扭曲纠正处理。
13、进一步地，在本专利技术的一些实施例中，所述至少一个图像处理硬化单元选自缓存存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路中的至少一者。
14、进一步地，在本专利技术的一些实施例中，所述缓存存储器中存储的缓存数据包括当前帧的第一图像和/或第二图像中的至少一个像素点的实时图像数据，和/或之前帧的第一图像和/或第二图像中的至少一个像素点的历史图像数据。
15、进一步地，在本专利技术的一些实施例中，所述显示管线连接扩展现实显示装置的主处理器。所述获取用户的眼动信号及待处理的第一图像的步骤包括：经由所述主处理器获取经过凝视点渲染压缩的实景图像和/或虚拟图像，其中，所述凝视点渲染压缩是基于所述眼动信号来实现。
16、此外，根据本专利技术的第二方面提供的上述图像处理方法包括以下步骤：获取用户的眼动信号及待处理的第一图像；根据所述眼动信号，在所述第一图像中确定凝视区域；以及对所述凝视区域进行超分辨处理，以获得凝视区域的局部分辨率达到目标分辨率的第二图像。
17、此外，根据本专利技术的第三方面提供的上述计算机可读存储介质，其上存储有计算机指令。所述计算机指令被处理器执行时，实施本专利技术的第二方面提供的上述图像处理方法。
18、此外，根据本专利技术的第四方面提供的上述扩展现实显示装置包括眼动仪、主处理器、本文档来自技高网...
【技术保护点】
1.一种图像处理器，其特征在于，所述图像处理器被配置为：
2.如权利要求1所述的图像处理器，其特征在于，所述图像处理器连接眼动仪，所述根据所述眼动信号，在所述第一图像中确定凝视区域的步骤包括：
3.如权利要求2所述的图像处理器，其特征在于，所述对所述凝视区域进行超分辨处理，以获得凝视区域的局部分辨率达到目标分辨率的第二图像的步骤包括：
4.如权利要求1或2所述的图像处理器，其特征在于，所述图像处理器还被配置为：
5.如权利要求4所述的图像处理器，其特征在于，所述对所述非凝视区域进行压缩处理，以获得凝视区域的局部分辨率达到目标分辨率，且非凝视区域的局部分辨率小于所述目标分辨率的第二图像的步骤包括：
6.如权利要求3或5所述的图像处理器，其特征在于，多个所述分区具有相同和/或不同的上采样倍率，和/或多个所述分区具有相同和/或不同的下采样倍率。
7.如权利要求3或5所述的图像处理器，其特征在于，所述图像处理器被进一步配置为：
8.如权利要求4所述的图像处理器，其特征在于，所述图像处理器还被配置为：>
9.如权利要求4所述的图像处理器，其特征在于，包括显示管线，其中，所述显示管线中集成有软件处理单元及至少一个图像处理硬化单元，并被配置为：
10.如权利要求9所述的图像处理器，其特征在于，所述软件处理单元中还配置有第三软件，所述显示管线还被配置为：
11.如权利要求9或10所述的图像处理器，其特征在于，所述至少一个图像处理硬化单元选自缓存存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路中的至少一者。
12.如权利要求11所述的图像处理器，其特征在于，所述缓存存储器中存储的缓存数据包括当前帧的第一图像和/或第二图像中的至少一个像素点的实时图像数据，和/或之前帧的第一图像和/或第二图像中的至少一个像素点的历史图像数据。
13.如权利要求9所述的图像处理器，其特征在于，所述显示管线连接扩展现实显示装置的主处理器，所述获取用户的眼动信号及待处理的第一图像的步骤包括：
14.一种图像处理方法，其特征在于，包括以下步骤：
15.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实施如权利要求14所述的图像处理方法。
16.一种扩展现实显示装置，其特征在于，包括：
...【技术特征摘要】
1.一种图像处理器，其特征在于，所述图像处理器被配置为：
2.如权利要求1所述的图像处理器，其特征在于，所述图像处理器连接眼动仪，所述根据所述眼动信号，在所述第一图像中确定凝视区域的步骤包括：
3.如权利要求2所述的图像处理器，其特征在于，所述对所述凝视区域进行超分辨处理，以获得凝视区域的局部分辨率达到目标分辨率的第二图像的步骤包括：
4.如权利要求1或2所述的图像处理器，其特征在于，所述图像处理器还被配置为：
5.如权利要求4所述的图像处理器，其特征在于，所述对所述非凝视区域进行压缩处理，以获得凝视区域的局部分辨率达到目标分辨率，且非凝视区域的局部分辨率小于所述目标分辨率的第二图像的步骤包括：
6.如权利要求3或5所述的图像处理器，其特征在于，多个所述分区具有相同和/或不同的上采样倍率，和/或多个所述分区具有相同和/或不同的下采样倍率。
7.如权利要求3或5所述的图像处理器，其特征在于，所述图像处理器被进一步配置为：
8.如权利要求4所述的图像处理器，其特征在于，所述图像处理器还被配置为：
9.如权利要求4所述的图像处理器，其特征在于，包括显...
【专利技术属性】
技术研发人员：贾韬，王超昊，乐诚瑞，
申请(专利权)人：万有引力宁波电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。