一种基于FPGA的近眼显示图像预畸变系统技术方案

本发明专利技术涉及一种基于FPGA的近眼显示图像预畸变系统。该系统包括HDMI视频接收器用于接收PC端发送的视频图像数据；SD卡存储器用于存储预畸变系数映射表数据；DDR3存储器用于将所述SD卡存储器中的所述预畸变系数映射表数据进行写入和读取；近眼显示图像预畸变系统用于将所述视频图像数据缓存到Block RAM中，并根据预畸变系数映射表数据中的坐标位置信息从Block RAM的相应位置读取图像灰度值，并根据坐标位置信息得到插值系数数据，以及根据所述插值系数数据和所述图像灰度值重建灰度后得到预畸变后的图像灰度信息，进而得到预畸变后的视频图像数据；HDMI视频发送器用于将预畸变后的视频图像数据发送到近眼显示器。本发明专利技术满足近眼显示领域对微显示器显示效果的要求。足近眼显示领域对微显示器显示效果的要求。足近眼显示领域对微显示器显示效果的要求。

【技术实现步骤摘要】
一种基于FPGA的近眼显示图像预畸变系统


[0001]本专利技术涉及图像畸变校正系统领域，特别是涉及一种基于FPGA的近眼显示图像预畸变系统。

技术介绍

[0002]近眼显示(Near-to-eye Display)也称为头戴式显示或头盔显示，它的工作原理是利用微显示器作为图像源，通过光学系统的光学放大后投射到人眼，使人产生沉浸或虚拟现实的感觉。其中微显示器和近眼光学系统组成显示模组，再与软硬件驱动电路、机械构架等组成近眼显示器。由于近眼显示技术和传统的显示技术(CRT、液晶显示、LED显示等)相比具有体积小、功耗低、画质清晰并且携带方便、解放双手等一系列优点，其应用领域愈加广泛。
[0003]近眼显示器最初应用于军用飞机，目前涉及的应用范围广泛，具备智能操作系统的头盔显示器((HelmetMountedDisplay，HMD)开始商业化，比如谷歌眼镜；许多民用航空飞机上已经配备了平视显示器(Head-up display，HUD)，同时，装配在汽车、火车或者地铁列车上可以更加方便地给驾驶员供路况、导航等信息，避免注意力中断以及丧失对状态意识的掌握，提高驾驶的安全性。
[0004]但是，近眼显示器的光学系统一般采用离轴设计，离轴光学系统存在复杂的畸变问题，除了传统径向畸变以外，还有共轴光学系统不存在的弓形畸变和梯形畸变。投影图像的畸变不仅会影响观察的舒适感，甚至会造成观察者对重要信息的误判，导致不必要的损失。因此，如何消除近眼显示器投影图像的畸变是函待解决的问题。
[0005]FPGA器件有强大的并行处理能力，可以实现视频图像的实时预畸变过程。但是求取图像预畸变映射坐标涉及繁琐的坐标变换和浮点数的多阶矩阵乘法，因此有研究团队采用CPU软核+DSP计算的方式实现预畸变，但是这种方式处理速度低，很难实现高分辨率、高帧率视频图像实时预畸变过程。后来，有研究人员提出将需要计算的坐标值事先储存在查找表(Look-Up-Table，LUT)内，借助坐标LUT的方法可省去复杂的运算，因而不仅显著提高处理速度而且节省大量FPGA中的DSP资源，此外在FPGA系统内也易于控制和实现。
[0006]但是通常在FPGA的硬件平台上内存资源较为紧缺，只能缓存较少的图像数据，所以基于FPGA的视频图像实时预畸变系统只能处理较低分辨率的视频图像。同时，现有的预畸变系统图像灰度校正模块为了保证系统实时性要求通常采用低阶插值算法，导致输出图像边缘锯齿感严重，影响视觉感受。
[0007]因此，现有的图像预畸变系统目前仍存在图像处理分辨率较低、校正图像锯齿感严重、FPGA存储资源利用率较低、系统输出延时较大等问题。

技术实现思路

[0008]本专利技术的目的是提供一种基于FPGA的近眼显示图像预畸变系统，对近眼微显示器光学系统投影图像具有良好的校正效果，减少FPGA资源消耗，提高处理的实时性，进而满足
近眼显示领域对微显示器显示效果的要求。
[0009]为实现上述目的，本专利技术提供了如下方案：
[0010]一种基于FPGA的近眼显示图像预畸变系统，包括：
[0011]HDMI视频接收器，用于接收PC端发送的视频图像数据；
[0012]SD卡存储器，用于存储预畸变系数映射表数据；
[0013]DDR3存储器，用于将所述SD卡存储器中的所述预畸变系数映射表数据进行写入和读取；
[0014]近眼显示图像预畸变系统，用于将所述视频图像数据缓存到Block RAM中，并根据所述预畸变系数映射表数据中的坐标位置信息从所述Block RAM的相应位置读取图像灰度值，并根据所述坐标位置信息得到插值系数数据，以及根据所述插值系数数据和所述图像灰度值重建灰度后得到预畸变后的图像灰度信息，进而得到预畸变后的视频图像数据；
[0015]HDMI视频发送器，用于将所述预畸变后的视频图像数据发送到近眼显示器。
[0016]可选的，所述近眼显示图像预畸变系统包括：
[0017]HDMI数据收发模块，用于接收PC端的视频图像数据以及发送所述预畸变后的视频图像数据；
[0018]预畸变系数存取模块，用于接收所述SD卡存储器中的预畸变系数映射表数据；还用于将所述预畸变系数映射表数据写入所述DDR3存储器，根据坐标预畸变模块发出的读请求信号从所述DDR3存储器读取所述预畸变系数映射表数据；
[0019]图像数据缓存模块，用于将所述视频图像数据缓存到所述Block RAM中，然后根据所述预畸变系数映射表数据中的坐标位置信息从所述Block RAM的相应位置取出图像灰度值；
[0020]坐标预畸变模块，用于将所述DDR3存储器中的所述预畸变系数映射表数据中的坐标位置信息适配为64bit索引格式的行列坐标数据和插值系数数据，并将所述坐标位置信息中的行列坐标数据作为Block RAM的读写地址；
[0021]灰度预畸变模块，用于将所述插值系数数据以及所述图像灰度值进行双线性插值运算，得到预畸变后的图像灰度信息，进而得到所述预畸变后的视频图像数据。
[0022]可选的，所述HDMI数据收发模块包括：
[0023]HDMI视频接收器接口，用于接收所述PC端的视频图像数据；
[0024]HDMI视频发送器接口，用于将所述预畸变后的视频图像数据输出到所述近眼显示器；
[0025]HDMI寄存器配置单元，用于通过IIC总线与FPGA的IO接口相连，并通过所述FPGA对所述HDMI视频接收器和所述HDMI视频发送器进行初始化和控制操作。
[0026]可选的，所述预畸变系数存取模块包括：
[0027]SD卡存储器接口，用于通过SPI总线通信接口进行所述FPGA与所述SD卡存储器的通信；
[0028]SD卡存储器读取单元，用于通过SPI总线配置SD卡初始化和命令；还用于读取所述SD卡存储器中的所述预畸变系数映射表数据；
[0029]DDR3存储器接口，用于通过AXI总线通信接口进行所述FPGA与所述DDR3存储器的通信；
[0030]DDR3存储器存取单元，用于接收所述SD卡存储器读取单元发送的写请求信号并应答，并通过AXI总线将所述SD卡存储器读取单元中的写数据写入所述DDR3存储器中进行缓存；还用于接收所述坐标预畸变模块发送的读请求信号并应答，并通过AXI总线读取所述DDR3存储器中缓存的预畸变系数映射表数据。
[0031]可选的，所述图像数据缓存模块包括：
[0032]BRAM写地址控制单元，用于生成BRAM的写地址；
[0033]BRAM存储单元，用于将接收的所述HDMI视频接收器接口的视频图像数据进行缓存。
[0034]可选的，所述坐标预畸变模块包括：
[0035]BRAM读地址控制单元，用于接收所述DDR3存储器存取单元中的所述行列坐标数据，并将所述行列坐标数据作为BRAM的读地址；
[0036]插值系数缓冲单元，用于接收所述DDR3存储器存取单元中的所述插值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的近眼显示图像预畸变系统，其特征在于，包括：HDMI视频接收器，用于接收PC端发送的视频图像数据；SD卡存储器，用于存储预畸变系数映射表数据；DDR3存储器，用于将所述SD卡存储器中的所述预畸变系数映射表数据进行写入和读取；近眼显示图像预畸变系统，用于将所述视频图像数据缓存到Block RAM中，并根据所述预畸变系数映射表数据中的坐标位置信息从所述Block RAM的相应位置读取图像灰度值，并根据所述坐标位置信息得到插值系数数据，以及根据所述插值系数数据和所述图像灰度值重建灰度后得到预畸变后的图像灰度信息，进而得到预畸变后的视频图像数据；HDMI视频发送器，用于将所述预畸变后的视频图像数据发送到近眼显示器。2.根据权利要求1所述的一种基于FPGA的近眼显示图像预畸变系统，其特征在于，所述近眼显示图像预畸变系统包括：HDMI数据收发模块，用于接收PC端的视频图像数据以及发送所述预畸变后的视频图像数据；预畸变系数存取模块，用于接收所述SD卡存储器中的预畸变系数映射表数据；还用于将所述预畸变系数映射表数据写入所述DDR3存储器，根据坐标预畸变模块发出的读请求信号从所述DDR3存储器读取所述预畸变系数映射表数据；图像数据缓存模块，用于将所述视频图像数据缓存到所述Block RAM中，然后根据所述预畸变系数映射表数据中的坐标位置信息从所述Block RAM的相应位置取出图像灰度值；坐标预畸变模块，用于将所述DDR3存储器中的所述预畸变系数映射表数据中的坐标位置信息适配为64bit索引格式的行列坐标数据和插值系数数据，并将所述坐标位置信息中的行列坐标数据作为Block RAM的读写地址；灰度预畸变模块，用于将所述插值系数数据以及所述图像灰度值进行双线性插值运算，得到预畸变后的图像灰度信息，进而得到所述预畸变后的视频图像数据。3.根据权利要求2所述的一种基于FPGA的近眼显示图像预畸变系统，其特征在于，所述HDMI数据收发模块包括：HDMI视频接收器接口，用于接收所述PC端的视频图像数据；HDMI视频发送器接口，用于将所述预...

【专利技术属性】
技术研发人员：冉峰，史华康，罗杰，沈华明，黄舒平，郭爱英，吴玉江，田楠，
申请(专利权)人：上海灿瑞科技股份有限公司上海蓬瀛电子科技有限公司，
类型：发明
国别省市：