【技术实现步骤摘要】
本专利技术属于图像处理，特别涉及一种实现图像处理模块与图像编码模块数据直通的方法。
技术介绍
1、目前主流的视频soc芯片都是通过直接访问ddr空间实现图像处理模块isp与图像编码模块vpu的数据互通，即isp写入数据到ddr空间，vpu从ddr空间读取数据，vpu只有在isp写入一帧完整的数据后才可以对该帧数据进行读取。
2、而现有技术中的缺陷在于：
3、当前的实现方法存在两个问题，第一，直接访问ddr会消耗大量的数据带宽，目前，随着人工智能物联网aiot的发展，soc芯片的高速算法、ai算力对ddr带宽要求很高，减少其他ip对ddr带宽的占用至关重要；第二，图像数据传输实时性差，isp和vpu无法同时对一帧图像数据进行读写操作，目前自动驾驶、无人机航拍直播等对图像数据传输的实时性提出了更高的要求。
4、目前随着soc芯片与人工智能算法的发展，芯片内部对ddr带宽需求越来越大，亟需通过合理的硬件设计方法实现模块间的像素直通，减小对ddr带宽的占用；同时自动驾驶、实时监控等应用需求，对视频图像的传输实时性提出了更高的要求。
5、此外，现有技术中的常用术语如下：
6、soc:system on chip，片上系统，将微处理器、模拟ip核、数字ip核、和存储器(或片外存储控制接口)集成在单一芯片上。
7、isp:image signal processor，即图像成像处理器，是一种对前端图像传感器输出的图像信号进行处理的单元，并输出符合人眼视觉特点的高质量图像。
8、vpu:video processing unit，即视频处理单元，用以完成视频图像的编解码。
9、ivdc:isp vpu directly connect，直通模块硬件ip核，实现isp与vpu的像素直通。
10、ram:random access memory，随机存取存储器，可以随时读写，速度很快。可以作为高速缓存。
11、ddr:double data rate，双倍数据速率，ddr空间基于axi协议完成数据的读写操作。
12、fifo:first in first out，先进先出，也是一块数据缓存内存空间。
13、raster_scan:光栅扫描，一种图像数据的扫描方式，扫描从左至右，从上到下，一行扫描结束，跳转至下一行的开始位置。
14、group_level:图像数据组级，由于vpu是按照宏块操作，所以将一帧数据划分为若干组，一组数据包含16或者32行图像信息。
15、block_level:图像数据块级，由于axi协议是基于burst传输，所以将一行数据划分成若干块，一块数据包含8-256byte数据。
16、ip核则是一段具有特定电路功能的硬件描述语言程序，该程序与集成电路工艺无关，可以移植到不同的半导体工艺中去生产集成电路芯片。利用ip核设计电子系统，引用方便，修改基本元件的功能容易。美国著名的dataquest咨询公司将半导体产业的ip定义为“用于asic或fpga中的预先设计好的电路功能模块”。
技术实现思路
1、为了解决上述问题，本申请的目的在于：本专利技术通过设计一个硬件ip核ivdc，并在芯片内部增加一块ram存储空间的方式，实现isp与vpu的数据直通，即isp优先写入ram空间，ram无可写空间时，将数据写入ddr；vpu只读取ram空间的数据。这样就可以实现isp和vpu同时操作同一帧数据，甚至可以实现同时对同一group的数据进行读写访问，图像传输的实时性得到很大提高。另外ram存储的引入，并且优先写入ram，这样会大大减少对ddr带宽的占用。
2、具体地，本专利技术提供一种实现图像处理模块与图像编码模块数据直通的方法，所述方法包括以下步骤：
3、s1，在图像成像处理器isp和视频处理单元vpu之间设置直通模块ivdc，通过ivdc模块内置一块高性能的ram，完成isp的数据写入和vpu的数据读取；所述ram为片上存储，ddr为片外存储，所述高性能指的是存取速度相对于片外存储ddr足够高即数据写到片上存储空间时读写数据速度不会受影响；
4、s2，直通模式下，isp发送写请求到ivdc，ivdc判断当前ram是否存在可写空间？直通模式下数据一般不需要写到片外存储，在片上直接传输；
5、s3，如果当前ram存在可写空间，则ivdc决定新一行的数据写入ram空间以及写入ram空间的block个数；
6、如果当前ram不存在可写空间，则数据写到片外存储空间ddr；
7、isp输出数据的速度被认为是基本固定的，vpu读取数据的速度会出现波动，当vpu读取数据速度慢时，ram空间会存在被写满的情况；
8、数据存到ram还是ddr由ivdc确定，并且ivdc将记录是否写到ram空间和写入ram的block个数信息写入控制fifo；
9、s4，当ram空间累计的行数达到1个group时，该组数据对于vpu处于可读状态，vpu能够读取该组存于ram空间的图像数据，直通模式下，vpu只访问ram空间；vpu只访问ram空间是：如果有部分数据写到的ddr，这部分数据在ram空间有一部分被释放后，会被ivdc从ddr读到ram中；
10、s5，返回步骤s2继续操作。
11、所述步骤s3进一步包括：
12、当ram存在可写空间时，ivdc读取控制fifo的信息，若fifo的信息显示非全部数据写入ram，则将写入ddr的数据读取并写入相应的ram空间，控制fifo被读取并完成相应的操作后，相应的ram空间对于ivdc外部处于可读状态。
13、所述步骤s4进一步包括：
14、isp完成一行的写操作后，控制fifo的数据能够被ivdc读取和开展相应的操作，当ivdc操作完成行数累计达到一个group后，vpu能够立即对该group数据进行读取操作处理，vpu读取完成的ram空间立即释放，如果控制fifo非空，ivdc能够继续读取控制fifo信息并完成相应的操作。
15、所述方法中，当vpu操作完一个group中某一行的一个block后，相应的ram空间得到释放，此时如果isp发出写请求，则能够立即实现对ram中已经释放的空间进行写操作，isp和vpu能够实现同时对一个group的数据进行读写操作。
16、所述方法中，如果vpu的读取速度和isp的写入速度相似那么只需将少部分数据存入ddr，即这种设计基于一个假定：vpu读取数据的平均速度要大于isp写出数据的速度；将ram理解为一个缓存，isp写出的数据是缓存的输入，vpu读取的数据是缓存的输出，那么如果缓存的输入速度小于输出速度，缓存是不会溢出的，不会溢出就是数据不会被写到ddr；如果某个时间段的时间isp速度快，vpu速度慢，假设：时间长度t，i本文档来自技高网...
【技术保护点】
1.一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述步骤S3进一步包括：
3.根据权利要求2所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述步骤S4进一步包括：
4.根据权利要求3所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述方法中，
5.根据权利要求4所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述方法中，如果VPU的读取速度和ISP的写入速度相似那么只需将少部分数据存入ddr，即这种设计基于一个假定：VPU读取数据的平均速度要大于ISP写出数据的速度；将ram理解为一个缓存，ISP写出的数据是缓存的输入，VPU读取的数据是缓存的输出，那么如果缓存的输入速度小于输出速度，缓存是不会溢出的，不会溢出就是数据不会被写到ddr；如果某个时间段的时间ISP速度快，VPU速度慢，假设：时间长度T，ISP速度speed_isp，VPU速度spe
6.根据权利要求1所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述方法中，
7.根据权利要求1所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述方法中，
8.根据权利要求1所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述方法中的一次图像数据传输中，一group数据中有对应IP已经完成相应的数据读写操作以及相应IP目前正在处理的数据：假设，一group的一行包括6个block；进一步包括：
...【技术特征摘要】
1.一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述步骤s3进一步包括：
3.根据权利要求2所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述步骤s4进一步包括：
4.根据权利要求3所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述方法中，
5.根据权利要求4所述的一种实现图像处理模块与图像编码模块数据直通的方法，其特征在于，所述方法中，如果vpu的读取速度和isp的写入速度相似那么只需将少部分数据存入ddr，即这种设计基于一个假定：vpu读取数据的平均速度要大于isp写出数据的速度；将ram理解为一个缓存，isp写出的数据是缓存的输入，vpu读取的数据是缓存的输出，那么如果缓存的输入速度小于输出速度，缓存是不会溢出的，不会溢出就是数据不会被写到ddr；如果某个时间段的时间isp速度快，vpu速度慢，假设：时...
【专利技术属性】
技术研发人员：王鹏，
申请(专利权)人：北京君正集成电路股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。