本发明专利技术提供一种基于ISP流水线的粗粒度可重构处理器。所述处理器包括包括：ISP交互接口单元、执行控制单元CU、配置管理单元MU、直接访存单元DMA、执行单元阵列、阵列访存单元和分块存储器。本发明专利技术在典型的ISP流水线中增加在线的输入输出接口，通过输出接口将图像数据传入CGRA处理器内部，CGRA执行ISP软件算法，将计算结果通过ISP输入接口在线反馈到ISP内部，提高了图像数据处理速度，实现了ISP流水线的实时图像处理。图像处理。图像处理。
【技术实现步骤摘要】
一种基于ISP流水线的粗粒度可重构处理器
[0001]本专利技术属于技术处理器领域，具体涉及一种基于ISP(Image Signal Processing，图像信号处理)流水线的粗粒度可重构处理器及电子设备。
技术介绍
[0002]图像传感器(Image Sensor)广泛应用于终端成像设备，如摄像机、移动电话、监控摄像头、汽车的视觉传感器等。图像传感器用于获取光强度的空间变化，然后使用图像处理算法根据图像传感器提供的数据重建彩色图片。一个典型的ISP算法流水线包括坏点校正(Deadpixel correction)、黑电平校正(black level compensation)、镜头阴影校正(Lens shading correction)、CFA插值(CFA interpolation)、色彩校正(Color Correction Matrix)、白平衡增益(AWB Gain Control)等。在早期的终端设备中，ISP算法流水线可以通过数字信号处理器(Digital Signal Processor，DSP)或者专用集成电路(Application Specific Integrated Circuit，ASIC)实现。但是随着手机、监控等设备对成像质量的要求越来越高，DSP无法提供ISP实时处理所要求的算力，现代的终端设备均采用ASIC的方案实现，DSP用来辅助实现一些ISP的前处理与后处理操作。但是DSP执行的前处理操作与后处理操作通常都是离线计算，因为DSP不是实时性设备，无法与ISP进行在线实时交互。
技术实现思路
[0003]为了解决现有技术中存在的上述问题，本专利技术提供一种基于ISP流水线的粗粒度可重构处理器及电子设备。
[0004]为了实现上述目的，本专利技术采用以下技术方案。
[0005]本专利技术提供了一种基于ISP流水线的粗粒度可重构处理器，包括：ISP交互接口单元、执行控制单元CU(CU，ControllerUnit)、配置管理单元MU(MU，ManagementUnit)、直接访存单元DMA(DMA，DirectMemoryAccess)、执行单元阵列(PEA，Processing ElementArray)、阵列访存单元(LSU，Load/Store Unit)和分块存储器；
[0006]执行控制单元CU连接且能够控制配置管理单元MU和ISP交互接口单元；在ISP交互接口单元中有多个存储器组成的行缓存阵列；ISP交互接口单元能够对接ISP算法模。
[0007]配置管理单元MU连接执行单元阵列；配置管理单元MU能够调用直接访存单元DMA；配置管理单元MU能够将ISP交互接口单元中存储的数据，通过DMA搬运到执行单元阵列的存储器中。
[0008]执行单元阵列向执行单元阵列访存单元读取或存入处理数据；执行单元阵列访存单元连接分块存储器且能够从分块存储器读取或存入处理数据；
[0009]直接访存单元DMA和分块存储器连接且能够从分块存储器读取待处理数据；直接访存单元DMA能够将数据存入分块存储器。
[0010]在本专利技术基于ISP流水线的粗粒度可重构处理器的一种实施方式中，执行控制单元CU配置为能够调用和读取ISP交互接口单元，关闭ISP的部分算法模块功能关闭，并且将
对应的模块的数据输出接口打开；
[0011]执行控制单元CU轮询ISP交互接口单元，若有数据准备就绪；则配置管理单元MU启动直接访存单元DMA将ISP交互接口单元中存储的isp的图像数据从行存储DVP_OUT linebuffer中搬到分块存储器中；
[0012]执行控制单元CU通知配置管理单元MU配置执行单元阵列和阵列访存单元，以使执行单元阵列通过执行单元阵列访存单元读取分块存储器中的数据，经过阵列的计算，将计算结果通过执行单元阵列访存单元写回到分块存储器中；
[0013]若执行单元阵列计算完成，则执行控制单元CU通知直接访存单元DMA将数据从分块存储器中搬到ISP交互接口单元中，以使图像数据回到ISP流水线中继续计算。
[0014]在本专利技术基于ISP流水线的粗粒度可重构处理器的一种实施方式中，ISP交互接口单元中包括数字图像接口的图像行缓存DVP_OUT line Buffer；执行控制单元CU轮询数字图像接口的图像行缓存DVP_OUT line Buffer，查看是否有一行的数据准备就绪。
[0015]在本专利技术基于ISP流水线的粗粒度可重构处理器的一种实施方式中，ISP交互接口单元中包括状态寄存器；状态寄存器能够反馈行缓存图像行的数量；通过行缓存图像行的数量判断是否有数据准备就绪。
[0016]在本专利技术基于ISP流水线的粗粒度可重构处理器的一种实施方式中，若执行单元阵列计算完成，则执行单元阵列向配置管理单元MU上报计算完成信息；配置管理单元MU通知控制单元CU，执行控制单元CU通知直接访存单元DMA将数据从分块存储器中搬到ISP交互接口单元中。
[0017]在本专利技术基于ISP流水线的粗粒度可重构处理器的一种实施方式中，其特征在于：执行单元阵列包括由全互连网络连接的多种类型的异构算子；多种类型的异构算子包括，分支算子SEL、数值运算算子ALU、增强数值运算算子EALU、乘加算子MAC、特殊算子SPU、缓存算子BUFFER和循环控制算子LOOP；全互连网络包括Benes网络、Clos网络或Crossbar网络。
[0018]在本专利技术基于ISP流水线的粗粒度可重构处理器的一种实施方式中，全互连网络为增强型Benes网络，包括输入输出端数均为N/2的第一子Benes网络和第二子Benes网络以及N个交换单元；交换单元设有第一输入端和第二输入端以及第一输出端和第二输出端，具有直通、交换、上广播和下广播4种工作方式；其中，
[0019]N/2个交换单元连接在增强型Benes网络的输入端In0～In(N
‑
1)与第一子Benes网络、第二子Benes网络的输入端之间，N/2个交换单元的第一输出端口与第一子Benes网络的输入端口相连，N/2个交换单元的第二个输出端口与第二子Benes网络的输入端口相连；
[0020]另外N/2个交换单元连接在第一子Benes网络、第二子Benes网络的输出端与增强型Benes网络的输出端Out0～Out(N
‑
1)之间，N/2个交换单元的第一输出端口与第一子Benes网络的输入端口相连，N/2个交换单元的第二个输出端口与第二子Benes网络的输入端口相连。
[0021]在本专利技术基于ISP流水线的粗粒度可重构处理器的一种实施方式中，执行单元阵列还包括计算单元集合Cluster，计算单元集合Cluster包括由增强型Benes网络连接的一种或多种类型的异构算子。
[0022]在本专利技术基于ISP流水线的粗粒度可重构处理器的一种实施方式中，计算单元集合Cluster包括由增强型Benes网络连接的24个增强数值运算算子EALU、48个数值运算算子<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于ISP流水线的粗粒度可重构处理器，其特征在于，包括：ISP交互接口单元、执行控制单元CU、配置管理单元MU、直接访存单元DMA、执行单元阵列、阵列访存单元和分块存储器；所述执行控制单元CU连接且能够控制所述配置管理单元MU和所述ISP交互接口单元；在所述ISP交互接口单元中有多个存储器组成的行缓存阵列；所述ISP交互接口单元能够对接外部ISP算法模块；所述配置管理单元MU连接所述执行单元阵列；所述配置管理单元MU能够调用所述直接访存单元DMA；配置管理单元MU能够将ISP交互接口单元中存储的数据，通过DMA搬运到执行单元阵列的存储器中；所述执行单元阵列向所述执行单元阵列访存单元读取或存入处理数据；所述执行单元阵列访存单元连接所述分块存储器且能够从所述分块存储器读取或存入处理数据；所述直接访存单元DMA和所述分块存储器连接且能够从所述分块存储器读取待处理数据；所述直接访存单元DMA能够将数据存入所述分块存储器。2.根据权利要求1所述的基于ISP流水线的粗粒度可重构处理器，其特征在于：所述执行控制单元CU配置为能够调用和读取ISP交互接口单元，关闭ISP的部分算法模块功能关闭，并且将对应的模块的数据输出接口打开；所述执行控制单元CU轮询所述ISP交互接口单元，若有数据准备就绪；则配置管理单元MU启动所述直接访存单元DMA将所述ISP交互接口单元中存储的isp的图像数据从行存储DVP_OUT line buffer中搬到所述分块存储器中；所述执行控制单元CU通知所述配置管理单元MU配置所述执行单元阵列和阵列访存单元，以使所述执行单元阵列通过所述执行单元阵列访存单元读取所述分块存储器中的数据，经过阵列的计算，将计算结果通过所述执行单元阵列访存单元写回到所述分块存储器中；若所述执行单元阵列计算完成，则执行控制单元CU通知所述直接访存单元DMA将数据从所述分块存储器中搬到所述ISP交互接口单元中，以使图像数据回到ISP流水线中继续计算。3.根据权利要求2所述的基于ISP流水线的粗粒度可重构处理器，其特征在于，所述ISP交互接口单元中包括数字图像接口的图像行缓存DVP_OUT line Buffer；所述执行控制单元CU轮询所述数字图像接口的图像行缓存DVP_OUT line Buffer，查看是否有一行的数据准备就绪。4.根据权利要求2所述的基于ISP流水线的粗粒度可重构处理器，其特征在于，所述ISP交互接口单元中包括状态寄存器；所述状态寄存器能够反馈行缓存图像行的数量；通过所述行缓存图像行的数量判断是否有数据准备就绪。5.根据权利要求2所述的基于ISP流水线的粗粒度可重构处理器，其特征在于，若所述执行单元阵列计...
【专利技术属性】
技术研发人员：唐士斌，欧阳鹏，王博，
申请(专利权)人：北京清微智能信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。