一种图像处理方法、芯片、电子设备及存储介质技术

本申请实施例公开了一种图像处理方法、芯片、电子设备及存储介质，该方法包括：从存储单元阵列中加载搜索窗口数据，并将搜索窗口数据缓存到寄存器阵列；根据当前帧多个像素点的运动轨迹，对寄存器阵列进行分组搜索，并行输出多个像素点对应的参考点的像素数据；根据参考点的像素数据确定多个像素点的像素数据。如此，从存储单元阵列中加载搜索窗口数据到寄存器阵列中，可以在几个时钟周期甚至一个时钟周期，从寄存器阵列中并行读取多个像素点的参考点，解决了直接读取存储单元存在的访问冲突问题，提高参考点的读取效率。通过不同类型的多路选择器实现对寄存器阵列的分组搜索，能够简化多路选择器的布局布线。化多路选择器的布局布线。化多路选择器的布局布线。

【技术实现步骤摘要】
一种图像处理方法、芯片、电子设备及存储介质


[0001]本申请涉及图像处理技术，尤其涉及一种图像处理方法、芯片、电子设备及存储介质。

技术介绍

[0002]运动补偿技术是根据帧与帧之间的关系对像素的运动轨迹进行预测，根据预测的运动轨迹(包括X与Y方向上的偏移量)从上一帧图像中读取参考点的像素数据，得到当前帧的像素点的像素数据。
[0003]运动补偿技术硬件设计的难点在于，在一个时钟周期内同时获取上一帧图像中多个参考点的像素数据。然而，由于运动轨迹的随机性和实时性，参考点的运动轨迹无规律可循，在读取参考点的像素数据时，存在多个参考点的像素数据可能存储在同一个存储单元中，从而导致存储单元访问冲突的问题。

技术实现思路

[0004]为解决上述技术问题，本申请实施例期望提供一种图像处理方法、芯片、电子设备及存储介质。
[0005]本申请的技术方案是这样实现的：
[0006]第一方面，提供了一种图像处理方法，所述方法包括：
[0007]从存储单元阵列中加载搜索窗口数据；其中，所述存储单元阵列中存储参考帧的像素数据；
[0008]将所述搜索窗口数据缓存到寄存器阵列；
[0009]根据当前帧多个像素点的运动轨迹，对所述寄存器阵列进行分组搜索，并行输出所述多个像素点对应的参考点的像素数据；
[0010]根据所述参考点的像素数据确定所述多个像素点的像素数据。
[0011]第二方面，提供了一种图像处理芯片，包括：存储单元阵列、寄存器阵列以及处理器，
[0012]所述存储单元阵列用于存储参考帧的像素数据；
[0013]所述寄存器阵列用于缓存搜索窗口数据；
[0014]所述处理器，用于从所述存储单元阵列中加载搜索窗口数据，将所述搜索窗口数据缓存到寄存器阵列；根据当前帧多个像素点的运动轨迹，从所述寄存器阵列中并行读取所述多个像素点对应的参考点的像素数据；根据所述参考点的像素数据确定所述像素点的像素数据。
[0015]第三方面，提供了一种电子设备，包括：图像获取装置和前述第二方面任意一项图像处理芯片。
[0016]第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
[0017]本申请实施例中提供了一种图像处理方法、芯片、电子设备及存储介质，该方法包括：从存储单元阵列中加载搜索窗口数据；其中，存储单元阵列中存储参考帧的像素数据；将搜索窗口数据缓存到寄存器阵列；根据当前帧多个像素点的运动轨迹，对寄存器阵列进行分组搜索，并行输出多个像素点对应的参考点的像素数据；根据参考点的像素数据确定多个像素点的像素数据。如此，从存储单元阵列中加载搜索窗口数据到寄存器阵列中，可以在几个时钟周期甚至一个时钟周期，从寄存器阵列中并行读取多个像素点的参考点，解决了直接读取存储单元存在的访问冲突问题，提高参考点的读取效率。通过不同类型的多路选择器实现对寄存器阵列的分组搜索，能够简化多路选择器的布局布线。
附图说明
[0018]图1为一种图像处理网络的基本构架；
[0019]图2为本申请实施例图像处理方法的第一流程示意图；
[0020]图3为本申请实施例中参考帧的像素数据的存储结构；
[0021]图4为本申请实施例中存储单元阵列的组成结构示意图；
[0022]图5为本申请实施例中搜索窗口移动轨迹的第一示意图；
[0023]图6为本申请实施例中数据加载模式的第一流程示意图；
[0024]图7为本申请实施例中数据加载模式的第二流程示意图；
[0025]图8为本申请实施例中搜索窗口的参考点分布示意图；
[0026]图9为本申请实施例中寄存器分组搜索的第1组选择模块示意图；
[0027]图10为本申请实施例中寄存器分组搜索的第2组选择模块示意图；
[0028]图11为本申请实施例中寄存器分组搜索的第3组和第4组选择模块示意图；
[0029]图12为本申请实施例中搜索窗口的移动轨迹的第二示意图；
[0030]图13为本申请实施例中运动轨迹的存储格式示意图；
[0031]图14为本申请实施例中当前帧的16个像素点的位置示意图；
[0032]图15为本申请实施例中图像处理芯片的组成结构示意图；
[0033]图16为本申请实施例中电子设备的组成结构示意图。
具体实施方式
[0034]为了能够更加详尽地了解本申请实施例的特点与
技术实现思路
，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
[0035]移动端实时视频应用目前存在的一个问题，由于受到传输带宽的限制和实时性的要求，传输低分辨率的视频数据，而为了给用户带来更好的视觉体验，终端显示屏的分辨率普遍较高，存在传输视频数据与终端显示屏分辨率不匹配的问题。为了解决分辨率不匹配的问题，需要提高视频数据的分辨率进行显示。
[0036]视频超分辨率技术与单帧的超分任务不同在于，不仅需要在空间上生成细节丰富的图像，还要保持图像之间的连贯性。
[0037]目前视频超分辨率技术，是将视频超分问题看作是多个单帧的超分任务。每个超分任务负责根据输入的低分辨率图像生成一个高分辨率图像，这样产生的各个高分辨率图像之间由于缺乏联系，在时间连续性上比较差，出现伪影。同时这样做的计算复杂度比较
高。
[0038]为了解决时间连续性问题，目前最新的算法研究成果是生成下一帧图像时，考虑前一帧的图像，将其输入图像处理网络，来改进时间连续性，这样能产生时间连续的结果，使得生成的高分辨率图像更加流畅自然。
[0039]图1为一种图像处理网络的基本构架，包含三个组件：循环生成器11、光流估计网络12和插值模块13。图像生成网络实现公式如下，
[0040]Vt＝BicubicResize(F(X(t
‑
1),X(t)))
[0041]G(t)＝G(X(t),W(G(t
‑
1),V(t)))+BicubicResize(X(t))
[0042]其中，光流估计网络12包括：FNET、BiCubicResize、Warp和Concatenate四部分，光流估计网络12的输入为G(t
‑
1)、X(t
‑
1)和X(t)，G(t
‑
1)为图像生成网络生成的上一帧图像，作为当前帧的参考帧，X(t)与X(t
‑
1)分别为输入的低分辨率图像，两帧图像输入到光流估计网络12的FNET中，输出F(X(t
‑
1),X(t))，再通过BicubicResize算子得到当前帧的坐标偏移量Vt＝BicubicResize(F(X(t
‑
1),X(t)))；Warp算子对于每一个需要生成的像素点，需要在G(t
‑
1)帧中根据所预测出来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：从存储单元阵列中加载搜索窗口数据，并将所述搜索窗口数据缓存到寄存器阵列；其中，所述存储单元阵列中存储参考帧的像素数据；根据当前帧多个像素点的运动轨迹，对所述寄存器阵列进行分组搜索，并行输出所述多个像素点对应的参考点的像素数据；根据所述参考点的像素数据确定所述多个像素点的像素数据。2.根据权利要求1所述的方法，其特征在于，所述存储单元阵列包括：M个横向分布的存储单元，每个存储单元包括N个纵向分布的存储空间；M和N均为大于1的整数；所述从存储单元阵列中加载搜索窗口数据，并将所述搜索窗口数据缓存到寄存器阵列，包括：获取所述搜索窗口的加载信息；其中，所述加载信息包括所述存储单元的片选信号和地址信息；基于所述片选信号从所述M个存储单元中选中相邻的至少两个存储单元；基于所述地址信息，从所述至少两个存储单元的存储空间中加载所述搜索窗口的一行有效数据，并缓存到所述寄存器阵列，直到所述搜索窗口的全部有效数据加载完成。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：以所述参考帧的左上角为所述搜索窗口的起始位置，从上到下从左到右的移动顺序控制所述搜索窗口移动，并更新所述搜索窗口的加载信息。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：所述搜索窗口从上到下移动到第一边界位置之后，每个时钟周期加载下一列所述搜索窗口在顶端起始位置的一行有效数据，并缓存到所述寄存器阵列，直到所述搜索窗口移动到第二边界位置；其中，所述参考帧包括有效数据和边界填充数据，在所述第一边界位置为所述有效数据的下边界，所述第二边界位置为所述边界填充数据的下边界。5.根据权利要求1所述的方法，其特征在于，所述根据当前帧多个像素点的运动轨迹，对所述寄存器阵列进行分组搜索，并行输出所述多个像素点对应的参考点的像素数据，包括：根据所述当前帧多个像素点的运动轨迹，控制至少两组选择模块对所述寄存器阵列进行分组选择，并行输出多个参考点的像素数据；其中，不同组选择模块设置不同类型的多路选择器；第i组选择模块包括多个第i类多路选择器，所述第i类多路选择器用于从多个输入选择一个输出，i取大于1的整数；所述寄存器阵列划分成多个寄存器子阵列，i取1时，所述第i类多路选择器的多个输入为所述寄存器子阵列中多个寄存器的参考点的像素数据；i大于1时，所述第i类多路选择器的多个输入为多个...

【专利技术属性】
技术研发人员：孙炜，祝叶华，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：