一种双目视觉自由立体显示系统技术方案

本发明专利技术公开了一种双目视觉自由立体显示系统，包括双目相机、接口转换电路、FPGA加速电路、自由立体显示器，其中双目相机对现实场景进行采集，将采集到的视频通过HDMI接口传输到接口转换电路，接口转换电路将接收到的视频通过LVDS接口传输到FPGA加速电路，FPGA加速电路接收视频，逐帧进行处理，依次进行立体匹配、多视点生成、立体图像合成，将最终合成的立体图像输出到自由立体显示器，观看者站在立体显示器前相应位置观看，就能感知到立体感。该自由立体显示系统利用FPGA支持并行和流水处理的特性实现实时的自由立体显示。实验结果表明，本发明专利技术显示1920×1080分辨率的立体视频的帧速约为每秒30帧。

【技术实现步骤摘要】

本专利技术属于图像处理
，更具体地，涉及一种双目视觉自由立体显示系统。
技术介绍
随着科技的进步，数字多媒体技术也不断发展，如今3D视频应用已出现在人们的生活中，例如在娱乐领域、军事领域及医疗领域等都能见其身影。观看一般立体视频时，人们需要佩戴红蓝眼镜或偏振光眼镜等辅助设备，当观看者观看久了会产生疲劳感，限制了立体视频显示技术的推广应用。所谓自由立体显示技术，是指观看者在不需要任何辅助设备的条件下，直接观察显示器屏幕就能感知立体感的一种技术，即裸眼3D技术。自由立体显示系统主要包括视频信息的采集、编码、传输和显示这几个步骤。现有的自由立体显示系统在显示端需要多个视点的信息，这样在观看范围内，观看者左右眼能接收到两幅具有视差的图像，经过大脑的融合处理从而感知到立体感。自由立体显示系统对实时性要求高，如何做到实时的显示是一难点。现有的自由立体显示系统不能完全做到真正的实时显示，都是先将采集好的视频利用PC软件的处理方式提取场景的深度信息，接着由深度信息生成立体视频并保存，最后对生成的立体视频进行播放。这种方式不能很好实现对场景信息的实时采集。而且常用的提取场景深度信息的方法以及由深度信息生成立体视频的方法都是比较耗时的，采用通用PC软件处理方式很难保证立体视频的实时性。
技术实现思路
针对现有技术的缺陷，并从成本和实用性方面考虑，本专利技术提供一种双目视觉自由立体显示系统，利用双目相机对现实场景进行采集，将采集得到的视频经由接口转换电路输出给FPGA加速电路，利用FPGA加速电路对采集到的视频数据逐帧地进行立体匹配、多视点生成及立体图像合成，并将合成的立体图像输出到自由立体显示器进行显示。本专利技术利用FPGA支持并行和流水处理的特性，对立体匹配、多视点生成、立体图像合成这些耗时的操作进行加速处理，以达到实时的自由立体显示，使观看者在不需要任何辅助设备的条件下，可以在自由立体显示器前方的较大范围内观看到连续、流畅的立体视频。实验验证本专利技术显示1920×1080分辨率的立体视频的帧速约为每秒30帧。本专利技术提供一种双目视觉自由立体显示系统，包括：(权1)。与现有技术相比，本专利技术具有以下优点：(1)利用双目相机对自然场景进行采集，接着将采集到的视频数据进行立体匹配处理得出视差信息，最后由基于深度图像的绘制(Depth-Image-BasedRendering，DIBR)技术实现多视点的绘制，为自由立体显示提供多视点信息，采用这样的处理方法降低了系统的传输带宽、存储空间以及成本；(2)充分利用FPGA支持并行和流水处理的特性，将一些处理比较耗时的操作(例如立体匹配、多视点绘制及立体视频的合成)采用硬件来进行加速处理，大大提高系统处理速度，实现立体视频的实时显示；(3)系统的集成性高，利用FPGA实现整个与自由立体显示相关的处理，通过提供相应的视频数据，就能得到用于显示的立体视频；(4)系统的实用性好，相比其他加速方法(例如采用GPU)，FPGA不仅能实现并行处理，同时也降低系统的功耗，利用本专利技术进行自由立体显示比较方便。附图说明图1是本专利技术一种双目视觉自由立体显示系统结构示意图；图2是本专利技术FPGA加速电路的硬件结构框图；图3是本专利技术FPGA逻辑处理流程图；图4是本专利技术FPGA解析LVDS差分信号的硬件实现图；图5是本专利技术立体匹配处理流程图；图6是本专利技术生成一幅虚视图的处理流程图；图7是本专利技术合成立体图的处理流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。图1所示为本专利技术实施例的双目视觉自由立体显示系统的结构示意图，包括双目相机1、接口转换电路2、FPGA加速电路3及自由立体显示器4。双目相机1对现实场景进行采集，并将左右相机采集到的视频通过HDMI接口传输到接口转换电路2。接口转换电路2包括HDMI接口、微控制器及LVDS接口。接口转换电路2的微控制器从HDMI接口接收视频，依据HDMI传输协议格式解析出其中所包含的视频数据，并按照LVDS传输协议格式将视频数据通过LVDS接口输出到FPGA加速电路3。FPGA加速电路3接收视频数据并逐帧进行处理，将合成的立体视频输出到自由立体显示器4进行显示。图2所示为本专利技术实施例的FPGA加速电路3的结构框图。FPGA加速电路3包括信号输入接口、信号输出接口、处理器模块、存储模块及电源模块。信号输入接口接收的信号包括LVDS差分信号组及12V电源信号，其中LVDS差分信号组用于传输视频数据，12电源输入信号用于给FPGA加速电路3提供外部输入电源。信号输出接口输出的信号与信号输入接口类似，将LVDS差分信号组及12V电源信号传输给自由立体显示器4。处理器模块包括FPGA处理器、时钟电路及JTAG接口电路，其中，FPGA处理器用于一系列计算并生成立体视频，具体包括：双目视频数据解析、左右图像校正、立体匹配、多视点生成、立体图像合成和立体视频数据包装；时钟电路用于给FPGA处理器提供50M的外部时钟信号输入；JTAG接口电路用于FPAG处理器逻辑功能的调试和升级。在本专利技术实施例中，FPGA处理器选用Xilinx公司XC6SLX150或者类似的芯片，采用有源晶振SG8002CE芯片为FPGA处理器提供50M时钟信号，也可以采用其他类似的有源晶振实现。存储模块包括DDR2存储器及配置FLASH，其中DDR2存储器用于缓存视频数据以方便处理；配置FLASH用于存储FPGA处理器的配置数据，在系统上电时，FPGA处理器能自动从配置FLASH中读取配置数据从而进行处理。在本专利技术实施例中，设计配置电路时采用主模式中的SPI配置模式，采用M25P128这款SPIFLASH芯片，其容量为128M，也可以采用其他类似的FLASH芯片实现；DDR2存储器选用MT47H64M16HR-25E这款DDR2芯片，其容量为1Gb，也可以采用其他类似的DDR2芯片实现。电源模块包括12V转5V电路、5V转1.2V和2.5V电路、5V转3.3V和1.8V电路、1.8V转0.9V电路，通过这些转换电路得到FPGA加速电路3各个模块工作所本文档来自技高网...

【技术保护点】
一种双目视觉自由立体显示系统，包括：双目相机、接口转换电路、FPGA加速电路以及自由立体显示器，其中：所述双目相机用于对自然场景进行拍摄，将得到的视频数据通过其内置的HDMI接口传输到所述接口转换电路，每帧数据由双目相机内部两摄相机拍摄得到的数据组成，即拍摄得到的左右两幅图像数据；所述接口转换电路通过其内置的HDMI接口接收所述双目相机传输过来的信号，解析得到其中的视频数据，接着按照LVDS传输协议格式将视频数据通过LVDS接口输出到所述FPGA加速电路；所述FPGA加速电路用于接收所述接口转换电路传输过来的视频，逐帧进行处理，所述FPGA处理器依次进行立体匹配、多视点生成及立体图像合成，将最终合成的立体图像输出到所述自由立体显示器进行显示；所述自由立体显示器用于采用基于柱镜光栅的自由立体显示技术进行自由立体显示。

【技术特征摘要】
1.一种双目视觉自由立体显示系统，包括：双目相机、接口转换电路、
FPGA加速电路以及自由立体显示器，其中：
所述双目相机用于对自然场景进行拍摄，将得到的视频数据通过其内
置的HDMI接口传输到所述接口转换电路，每帧数据由双目相机内部两摄相
机拍摄得到的数据组成，即拍摄得到的左右两幅图像数据；
所述接口转换电路通过其内置的HDMI接口接收所述双目相机传输过来
的信号，解析得到其中的视频数据，接着按照LVDS传输协议格式将视频数
据通过LVDS接口输出到所述FPGA加速电路；
所述FPGA加速电路用于接收所述接口转换电路传输过来的视频，逐帧
进行处理，所述FPGA处理器依次进行立体匹配、多视点生成及立体图像合
成，将最终合成的立体图像输出到所述自由立体显示器进行显示；
所述自由立体显示器用于采用基于柱镜光栅的自由立体显示技术进行
自由立体显示。
2.如权利要求1所述的双目视觉自由立体显示系统，其特征在于，所
述接口转换电路其内置HDMI信号输入接口、MCU(微控制器)、LVDS信号输
出接口，MCU从HDMI接口接收信号，依据HDMI传输协议格式解析出其中所
包含的视频数据，接着按照LVDS传输协议格式将视频数据通过LVDS接口
输出。
3.如权利要求1或2所述的双目视觉自由立体显示系统，其特征在于，
所述FPGA加速电路其包括信号输入接口、信号输出接口、处理器模块、存
储模块、电源模块等，其中信号输入接口包括LVDS差分信号组、12V电源

【专利技术属性】
技术研发人员：李开，曹计昌，陈奕鸿，纪坤，李展，杨江，王照清，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42