一种帧处理设备、方法及帧处理器技术

本发明专利技术公开了帧处理设备、方法及帧处理器，可有助于消除帧的混叠伪像。本发明专利技术提供的一种帧处理设备，包括：运动估计电路，被配置为估计当前帧和先前帧之间的运动数据；变形电路，耦接至所述运动估计电路，被配置基于所述运动数据对所述先前帧进行变形，使得变形后的所述先前帧与所述当前帧对齐，并确定所述当前帧与所述变形后的先前帧是否一致；和临时决定电路，与所述变形电路耦接，被配置为生成输出帧，当所述当前帧和所述变形后的先前帧一致时，所述输出帧包括所述当前帧和所述变形后的先前帧。先前帧。先前帧。

【技术实现步骤摘要】
一种帧处理设备、方法及帧处理器


[0001]本专利技术涉及图像处理技术，并且更具体地，涉及用于处理具有混叠伪像(aliasing artifact)的图像的人工智能(Artificial Intelligence，AI)引擎。

技术介绍

[0002]本文提供的
技术介绍
的描述是为了从总体上呈现本专利技术的内容。本专利技术的专利技术人的工作，包括本
技术介绍
部分描述的内容以及说明书中在申请日时不符合现有技术的那些方面，它们都不应当被明确地或暗含地认为是本专利技术的现有技术。
[0003]图像(image)或帧(frame)可以显示在移动电话上。所述帧可以包括通过互联网(Internet)且来自云源端的视频帧和由移动电话的处理器(例如，图形处理单元(Graphics Processing Unit，GPU))产生的游戏视频。受Internet带宽以及移动电话尺寸和分辨率的限制，视频帧和游戏帧可能具有较低的分辨率和具有混叠特性。

技术实现思路

[0004]本专利技术提供帧处理设备、方法及帧处理器，可有助于消除帧的混叠伪像。
[0005]本专利技术提供的一种帧处理设备，包括：运动估计电路，被配置为估计当前帧和先前帧之间的运动数据；变形电路，耦接至所述运动估计电路，被配置基于所述运动数据对所述先前帧进行变形，使得所述变形的所述先前帧与所述当前帧对齐，并确定所述当前帧与所述变形的先前帧是否一致；和临时决定电路，与所述变形电路耦接，被配置为生成输出帧，当所述当前帧和所述变形后的先前帧一致时，所述输出帧包括所述当前帧和所述变形后的先前帧。
[0006]本专利技术提供的帧处理器器，包括：超分辨率(SR)和抗混叠(AA)引擎，用于接收训练帧并增强所述训练帧的分辨率并消除所述训练帧的混叠伪像，以生成具有混叠伪像的第一高分辨率帧和消除了混叠伪像的第二高分辨率帧；和连接到所述SR和AA引擎的关注参考帧生成器，其被配置为基于所述第一高分辨率帧和所述第二高分辨率帧生成关注参考帧。
[0007]本专利技术提供的帧的处理方法，包括：估计当前帧和先前帧之间的运动数据；基于所述运动数据使所述先前帧变形，使得所述变形后的先前帧与所述当前帧对齐；和生成输出帧，当所述当前帧和所述变形后的先前帧一致时，所述输出帧包括所述当前帧和所述变形后的先前帧。
附图说明
[0008]图1根据本专利技术的一些实施例示出了示例性的虚拟高分辨率图像110如何被显示在低分辨率的光栅显示器100上。
[0009]图2根据本专利技术的一些实施例示出了示例性的三角形110如何能够在应用了MSAA的情况下显示在低分辨率光栅显示器100上。
[0010]图3根据本专利技术的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性
设备300的功能框图。
[0011]图4根据本专利技术的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性帧处理器400的功能框图。
[0012]图5根据本专利技术的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性帧处理器500的功能框图。
[0013]图6根据本专利技术的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性方法600的流程图。
[0014]图7根据本专利技术的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性方法700的流程图。
具体实施方式
[0015]在说明书及权利要求书当中使用了某些词汇来指称特定的组件。本领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”及“包括”为一开放式的用语，故应解释成“包含但不限定于”。“大体上”或“大约”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”或“耦合”一词在此包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或通过其它装置或连接手段间接地电性连接至该第二装置。以下所述为实施本专利技术的较佳方式，目的在于说明本专利技术的精神而非用以限定本专利技术的保护范围，本专利技术的保护范围当视权利要求书所界定者为准。
[0016]接下面的描述为本专利技术预期的最优实施例。这些描述用于阐述本专利技术的大致原则而不应用于限制本专利技术。本专利技术的保护范围应在参考本专利技术的权利要求书的基础上进行认定。
[0017]超分辨率(Super
‑
Resolution，SR)技术可以从低分辨率图像重建高分辨率图像，所述低分辨率图像可由包括的传感器数量不足的图像捕获设备捕获。抗混叠(Anti
‑
Aliasing，AA)技术可以提高具有混叠伪像的低分辨率图像的质量。但是，在SR和AA操作之后，图像的某些信息可能会丢失。例如，当原始图像(例如，连续帧流中的当前帧)中的对象(例如登机梯)水平移动时，在移除了混叠伪像后，登机梯的某些垂直部分(例如栏杆)可能会消失而不显示在已处理的图像中。代替在SR和AA操作期间仅处理原始图像，当附加图像和原始图像满足某些要求时，本专利技术还可进一步考虑至少一个附加图像(例如，连续帧流中的先前帧)。在一个实施例中，可以首先确定附加图像和原始图像之间的运动数据(motion data)，然后可以基于该运动数据使附加图像变形(warp)，使得变形后的附加图像可以与原始图像对齐(aligned)，并且当变形后的附加图像和原始图像一致时，变形后的附加图像可以在对原始图像执行SR和AA的操作中进一步被使用。根据本专利技术的一些其他实施例，可以将分辨率被增强后的帧与消除了混叠伪像的帧进行比较，以生成关注参考帧(attention reference frame)，该关注参考帧包括这两个帧之间的关键差异信息。在一个实施例中，可以使用关注参考帧训练神经网络(NeuralNetwork，NN)，然后，训练后的NN可以增强另一帧的分辨率，并使用所述另一帧增强后的分辨率移除所述另一帧的混叠伪像，其中，仅关注所
述关注参考帧中包含的关键信息(也即，所述关键差异信息)来增强所述另一帧的分辨率。
[0018]在大多数数字成像应用中，始终期望具有更高分辨率的数字图像用于后续图像处理和分析。数字图像的分辨率越高，数字图像的细节越多。数字图像的分辨率可以分类为例如像素分辨率(pixel resolution)，空间分辨率(spatial resolution)，时间分辨率(temporalresolution)和光谱分辨率(spectral resolution)。空间分辨率可能会受到图像捕获设备和图像显示设备的限制。例如，电荷耦接设备(Charge
‑
Coupled Device，CCD)和互补金属氧化物半导体(ComplementaryMetal
‑
Oxide
‑
Semiconductor，CMOS)是图像捕获设备中使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种帧处理设备，其特征在于，包括：运动估计电路，被配置为估计当前帧和先前帧之间的运动数据；变形电路，耦接至所述运动估计电路，被配置基于所述运动数据对所述先前帧进行变形，使得变形后的所述先前帧与所述当前帧对齐，并确定所述当前帧与所述变形后的先前帧是否一致；和临时决定电路，与所述变形电路耦接，被配置为生成输出帧，当所述当前帧和所述变形后的先前帧一致时，所述输出帧包括所述当前帧和所述变形后的先前帧。2.如权利要求1所述的设备，其特征在于，当所述当前帧与所述变形后的先前帧不一致时，所述输出帧包括所述当前帧。3.如权利要求1或2所述的设备，其特征在于，还包括：耦接到所述临时决定电路的帧处理器，被配置为处理所述输出帧，以消除所述输出帧的混叠伪像。4.如权利要求3所述的设备，其特征在于，所述帧处理器包括：超分辨率和抗混叠引擎，被配置为增强训练帧的分辨率并消除所述训练帧的混叠伪像，以生成具有混叠伪像的第一高分辨率帧和消除了混叠伪像的第二高分辨率帧。5.如权利要求4所述的设备，其特征在于，所述帧处理器还包括：关注参考帧生成器，耦接到所述超分辨率和抗混叠引擎，被配置为基于所述第一高分辨率帧和所述第二高分辨率帧来生成关注参考帧。6.如权利要求5所述的设备，其特征在于，所述帧处理器还包括：人工智能神经网络，耦接到所述关注参考帧生成器，被配置为基于所述关注参考帧执行训练获得训练后的人工智能神经网络，并基于训练后的人工智能神经网络来消除所述输出帧的混叠伪像。7.如权利要求1所述的设备，其特征在于，还包括：帧融合引擎，耦接到所述临时决定电路，被配置为融合所述当前帧和所述变形后的所述先前帧。8.如权利要求7所述的设备，其特征在于，所述帧融合引擎通过以逐信道方式将所述变形后的所述先前帧连接到所述当前帧来融合所述当前帧和所述变形后的所述先前帧。9.如权利要求1所述的设备，其特征在于，所述运动估计电路使用绝对差之和方法来估计所述当前帧与所述先前帧之间的所述运动数据。10.如权利要求9所述的设备，其特征在于，所述变形电路基于所述运动资料变形所述先前帧，且当被基于所述运动数据变形后所述先前帧与所述当前帧匹配。11.如权利要求1所述的设备，其特征在于，当所述运动资料小于运动阈值时，所述变形电路基于所述运动数据来变形所述先前帧。12.如权利要求11所述的设备，其...

【专利技术属性】
技术研发人员：任正隆，丛培贵，陈志伟，王耀笙，陈释澈，林钰盛，古志文，林世钦，黄聪贤，陈英杰，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：