【技术实现步骤摘要】
【国外来华专利技术】
概括地说，本公开内容涉及图像处理。例如，本公开内容的各方面包括用于处理图像数据以基于显著性生成超分辨率图像的系统和技术。
技术介绍
1、超分辨率成像是指增加图像分辨率的技术。在一些示例中，超分辨率成像技术可以包括基于内插的放大技术，例如最近邻内插或双线性内插。然而，基于内插的传统超分辨率成像技术通常产生模糊和/或块状的图像，因此不能准确地再现精细细节。
2、在成像中，图像中像素的显著性是指该像素与图像的其他像素相比的独特程度。在一些情况下，图像的重要视觉元素(例如人或动物的描绘)可以比图像的背景元素具有更高的显著性值。
技术实现思路
1、在一些示例中，描述了用于处理图像数据以基于显著性生成超分辨率图像的系统和技术。成像系统例如从成像系统的图像传感器或从外部发送器设备获得输入图像。输入图像具有第一分辨率，其可以是低分辨率。输入图像至少包括第一区域和第二区域，二者都具有第一分辨率。成像系统可以确定输入图像的第一区域比输入图像的第二区域更显著。例如，成像系统可以生成显著性图，该显著性图将相应的显著性值映射到输入图像的每个像素，并且将第一区域识别为比第二区域更显著。在一些示例中，成像系统可以通过将机器学习(ml)显著性映射系统应用于输入图像来生成输入图像的每个像素的每个显著性值。在一些示例中，成像系统可以将输入图像分割成多个块，例如分割成块的网格或格子。成像系统使用ml超分辨率系统来修改输入图像的第一区域，以将第一区域的第一分辨率增加至第二分辨率。第二分辨率大于第一分辨率。在成
2、在另一示例中，提供了一种用于对图像数据进行处理的装置。该装置包括至少一个存储器以及耦合至所述存储器的一个或多个处理器(例如，在电路中实现)。所述一个或多个处理器被配置为并且可以：获得包括第一区域和第二区域的输入图像，所述第一区域和所述第二区域具有第一分辨率；确定所述输入图像的所述第一区域比所述输入图像的所述第二区域更显著；使用第一过程修改所述输入图像的所述第一区域以将所述第一区域的所述第一分辨率增加至第二分辨率；使用第二过程修改所述输入图像的所述第二区域，以将所述第二区域的所述第一分辨率增加至所述第二分辨率，其中，所述第二过程不同于所述第一过程；以及输出包括经修改的第一区域和经修改的第二区域的输出图像。
3、在另一示例中，提供了一种处理图像数据的方法。所述方法包括：获得包括第一区域和第二区域的输入图像，所述第一区域和所述第二区域具有第一分辨率；确定所述输入图像的所述第一区域比所述输入图像的所述第二区域更显著；使用第一过程修改所述输入图像的所述第一区域以将所述第一区域的所述第一分辨率增加至第二分辨率；使用第二过程修改所述输入图像的所述第二区域，以将所述第二区域的所述第一分辨率增加至所述第二分辨率，其中，所述第二过程不同于所述第一过程；以及输出包括经修改的第一区域和经修改的第二区域的输出图像。
4、在另一示例中，提供了一种非暂时性计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，所述指令使所述一个或多个处理器：获得包括第一区域和第二区域的输入图像，所述第一区域和所述第二区域具有第一分辨率；确定所述输入图像的所述第一区域比所述输入图像的所述第二区域更显著；使用第一过程修改所述输入图像的所述第一区域以将所述第一区域的所述第一分辨率增加至第二分辨率；使用第二过程修改所述输入图像的所述第二区域，以将所述第二区域的所述第一分辨率增加至所述第二分辨率，其中，所述第二过程不同于所述第一过程；以及输出包括经修改的第一区域和经修改的第二区域的输出图像。
5、在另一示例中，提供了一种用于对图像数据进行处理的装置。所述装置包括：用于获得包括第一区域和第二区域的输入图像的单元，所述第一区域和所述第二区域具有第一分辨率；用于确定所述输入图像的所述第一区域比所述输入图像的所述第二区域更显著的单元；用于使用第一过程修改所述输入图像的所述第一区域以将所述第一区域的所述第一分辨率增加至第二分辨率的单元；用于使用第二过程修改所述输入图像的所述第二区域，以将所述第二区域的所述第一分辨率增加至所述第二分辨率的单元，其中，所述第二过程不同于所述第一过程；以及用于输出包括经修改的第一区域和经修改的第二区域的输出图像的单元。
6、在一些方面，基于确定第一区域比第二区域更显著，使用第一过程来修改输入图像的第一区域。
7、在一些方面，其中第一过程是基于经训练网络的超分辨率过程。例如，为了使用第一过程修改输入图像的第一区域，上述方法、装置和计算机可读介质可以包括使用经训练网络执行超分辨率过程。在一些情况下，经训练网络包括一个或多个经训练卷积神经网络。
8、在一些方面，第二过程是内插过程。例如，为了使用第二过程修改输入图像的第二区域，上述方法、装置和计算机可读介质可以包括执行内插过程。在一些情况下，内插过程包括下列至少一项：最近邻内插、线性内插、双线性内插、三线性内插、三次内插、双三次内插、三三次内插、样条内插、lanczos内插、sinc内插、基于傅立叶的内插以及边缘定向内插。
9、在一些方面，上述方法、装置和计算机可读介质可以包括：基于显著性图确定输入图像的第一区域比输入图像的第二区域更显著。例如，显著性图可以包括将第一区域识别为比第二区域更显著的一个或多个显著性值。
10、在一些方面，上述方法、装置和计算机可读介质可以包括：至少部分地通过针对输入图像的每个像素生成一个或多个显著性值中的相应显著性值来基于输入图像生成显著性图。
11、在一些方面，多个像素中的一个像素的显著性图的显著性值基于像素与多个像素中的其他像素之间的距离。
12、在一些方面，为了生成显著性图，上述方法、装置和计算机可读介质可以包括：将额外经训练网络应用于输入图像。在一些情况下，额外经训练网络包括一个或多个经训练卷积神经网络。
13、在一些方面，上述方法、装置和计算机可读介质可以包括：将输入图像分割成多个块。在一些情况下，多个块中的每个块具有与多个块中的其他块相同的形状和相同数量的像素。在一些情况下，多个块包括第一多个块和本文档来自技高网...
【技术保护点】
1.一种用于对图像数据进行处理的装置，所述装置包括：
2.根据权利要求1所述的装置，其中，为了使用所述第一过程来修改所述输入图像的所述第一区域，所述一个或多个处理器被配置为使用经训练网络来执行超分辨率过程。
3.根据权利要求2所述的装置，其中，所述经训练网络包括一个或多个经训练卷积神经网络。
4.根据权利要求1至3中任一项所述的装置，其中，所述第二过程是内插过程。
5.根据权利要求4所述的装置，其中，所述内插过程包括下列至少一项：最近邻内插、线性内插、双线性内插、三线性内插、三次内插、双三次内插、三三次内插、样条内插、lanczos内插、sinc内插、基于傅立叶的内插以及边缘定向内插。
6.根据权利要求1至5中任一项所述的装置，其中，所述一个或多个处理器被配置为：基于显著性图确定所述输入图像的所述第一区域比所述输入图像的所述第二区域更显著，所述显著性图包括将所述第一区域标识为比所述第二区域更显著的一个或多个显著性值。
7.根据权利要求6所述的装置，其中，所述一个或多个处理器被配置为：
8.根据权利
9.根据权利要求6至8中任一项所述的装置，其中，为了生成所述显著性图，所述一个或多个处理器被配置为：
10.根据权利要求9所述的装置，其中，所述额外经训练网络包括一个或多个经训练卷积神经网络。
11.根据权利要求1至10中任一项所述的装置，其中，所述一个或多个处理器被配置为：
12.根据权利要求11所述的装置，其中，所述多个块中的每个块具有与所述多个块中的其他块相同的形状和相同数量的像素。
13.根据权利要求11所述的装置，其中，所述多个块包括第一多个块和第二多个块，所述第一多个块中的每个块具有第一形状和第一数量的像素，所述第二多个块中的每个块具有第二形状和第二数量的像素，其中，所述第一多个块基于像素数量和形状中的至少一项而不同于所述第二多个块。
14.根据权利要求11至13中任一项所述的装置，其中，为了修改所述输入图像的所述第一区域，所述一个或多个处理器被配置为：使用所述第一过程将与所述输入图像的所述第一区域相对应的所述多个块的第一子集从所述第一分辨率修改为所述第二分辨率。
15.根据权利要求11至14中任一项所述的装置，其中，为了修改所述输入图像的所述第二区域，所述一个或多个处理器被配置为：使用所述第二过程来修改与所述输入图像的所述第二区域相对应的所述多个块的第二子集。
16.根据权利要求11至15中任一项所述的装置，其中，为了修改所述输入图像的所述第一区域并修改所述输入图像的所述第二区域，所述一个或多个处理器被配置为：
17.根据权利要求1至16中任一项所述的装置，其中，所述第二分辨率基于显示器的分辨率，并且其中，所述一个或多个处理器被配置为在所述显示器上显示所述输出图像。
18.根据权利要求1至17中任一项所述的装置，还包括：
19.根据权利要求1至18中任一项所述的装置，还包括：
20.根据权利要求1至19中任一项所述的装置，其中，所述一个或多个处理器被配置为：
21.根据权利要求1至20中任一项所述的装置，其中，所述输出图像被输出作为视频帧序列的一部分。
22.根据权利要求21所述的装置，其中，所述输出图像显示在预览流中。
23.一种对图像数据进行处理的方法，包括：
24.根据权利要求23所述的方法，其中，使用所述第一过程来修改所述输入图像的所述第一区域包括：使用经训练网络来执行超分辨率过程。
25.根据权利要求23或24中任一项所述的方法，其中，使用所述第二过程来修改所述输入图像的所述第二区域包括：执行内插过程。
26.根据权利要求23至25中任一项所述的方法，其中，基于显著性图确定所述输入图像的所述第一区域比所述输入图像的所述第二区域更显著，所述显著性图包括将所述第一区域标识为比所述第二区域更显著的一个或多个显著性值。
27.根据权利要求26所述的方法，还包括：
28.根据权利要求23至27中任意一项所述的方法，还包括：
29.根据权利要求23至27中任意一项所述的方法，还包括：
30.根据权利要求23至27中任意一项所述的方法，还包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种用于对图像数据进行处理的装置，所述装置包括：
2.根据权利要求1所述的装置，其中，为了使用所述第一过程来修改所述输入图像的所述第一区域，所述一个或多个处理器被配置为使用经训练网络来执行超分辨率过程。
3.根据权利要求2所述的装置，其中，所述经训练网络包括一个或多个经训练卷积神经网络。
4.根据权利要求1至3中任一项所述的装置，其中，所述第二过程是内插过程。
5.根据权利要求4所述的装置，其中，所述内插过程包括下列至少一项：最近邻内插、线性内插、双线性内插、三线性内插、三次内插、双三次内插、三三次内插、样条内插、lanczos内插、sinc内插、基于傅立叶的内插以及边缘定向内插。
6.根据权利要求1至5中任一项所述的装置，其中，所述一个或多个处理器被配置为：基于显著性图确定所述输入图像的所述第一区域比所述输入图像的所述第二区域更显著，所述显著性图包括将所述第一区域标识为比所述第二区域更显著的一个或多个显著性值。
7.根据权利要求6所述的装置，其中，所述一个或多个处理器被配置为：
8.根据权利要求6或7中任一项所述的装置，其中，所述显著性图的针对多个像素中的像素的显著性值是基于所述像素与所述多个像素中的其他像素之间的距离的。
9.根据权利要求6至8中任一项所述的装置，其中，为了生成所述显著性图，所述一个或多个处理器被配置为：
10.根据权利要求9所述的装置，其中，所述额外经训练网络包括一个或多个经训练卷积神经网络。
11.根据权利要求1至10中任一项所述的装置，其中，所述一个或多个处理器被配置为：
12.根据权利要求11所述的装置，其中，所述多个块中的每个块具有与所述多个块中的其他块相同的形状和相同数量的像素。
13.根据权利要求11所述的装置，其中，所述多个块包括第一多个块和第二多个块，所述第一多个块中的每个块具有第一形状和第一数量的像素，所述第二多个块中的每个块具有第二形状和第二数量的像素，其中，所述第一多个块基于像素数量和形状中的至少一项而不同于所述第二多个块。
14.根据权利要求11至13中任一项所述的装置，其中，为了修改所述输入图像的所述第一区域...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。