本专利公开了一种基于Zynq软硬件协同处理的增强现实系统，包括Zynq主处理器、USB摄像头、USB控制芯片、DDR3SDRAM、SD卡、SDRAM和VGA显示器，主要用于实现增强现实系统的处理与显示。技术方案如下：Zynq主处理器包括处理器系统和FPGA，处理器系统导入标识图像和计算USB摄像头内参数；FPGA对USB摄像头采集的图像进行预处理；然后把预处理结果通过AXI总线传输回处理器系统，计算摄像头的外参数，并把虚拟图像与真实图像进行实时融合，在VGA显示器上进行显示。本专利具有以下有益效果：处理速度较快、实时性较好、处理能力较强、增强用户体验、能降低系统功耗、具有通用性。
【技术实现步骤摘要】
本专利涉及计算机增强现实领域，特别涉及一种基于Zynq软硬件协同处理的增强现实系统。
技术介绍
增强现实(augmented reality，AR)技术是一种真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的视觉信息和声音等，通过将计算机产生的图形、文字和注释等虚拟三维信息无缝自然地叠加融合到用户所看到的真实世界场景中，从而扩展人类认知和感知世界的能力。传统的嵌入式增强现实处理系统的架构如下：摄像头采集真实世界图像，ARM处理器对真实世界图像进行预处理，然后进行标识识别、三维注册和虚实融合，最后将渲染后的图像传送到显示器进行实时显示。由于ARM处理器是串行执行处理程序的，对灰度化和边缘检测等步骤处理速度较慢，不容易做到实时处理图像，其实时性不好，处理能力较差，影响用户体验，且程序过大，系统功耗较大，只能适用于一定场合，不具有通用性。
技术实现思路
本专利要解决的技术问题在于，针对现有技术的上述处理速度较慢、实时性不好、处理能力较差、影响用户体验、系统功耗较大、不具有通用性的缺陷，提供一种处理速度较快、实时性较好、处理能力较强、增强用户体验、能降低系统功耗、具有通用性的基于Zynq软硬件协同处理的增强现实系统。本专利解决其技术问题所采用的技术方案是：构造一种基于Zynq软硬件协同处理的增强现实系统，所述Zynq主处理器包括处理器系统和FPGA，所述处理器系统和FPGA通过高速AXI总线连接，所述处理器系统包括ARM处理器和DDR3控制器，还包括四个AXI_HP接口、四个AXI_GP接口和一个AXI_ACP接口，所述FPGA包括SDRAM控制器IP内核模块、VGA控制器IP内核模块和图像预处理IP内核模块，所述USB控制芯片与所述USB摄像头连接，所述USB控制芯片还与所述ARM处理器连接，所述DDR3 SDRAM通过所述DDR3控制器与所述ARM处理器连接，所述DDR3控制器还通过DMA传输通道连接所述高速AXI总线，所述SD卡与所述ARM处理器连接，所述SDRAM控制器IP内核模块与所述SDRAM连接，所述SDRAM控制器IP内核模块还通过视频直接存储器传输通道连接所述高速AXI总线，所述图像预处理IP内核模块的输入端和输出端均通过视频直接存储器传输通道连接所述高速AXI总线，所述VGA控制器IP内核模块与所述VGA显示器连接，所述VGA控制器IP内核模块还通过视频直接存储器传输通道连接所述高速AXI总线。本专利还涉及一种利用上述基于Zynq软硬件协同处理的增强现实系统进行增强现实的方法，包括如下步骤：步骤1：在SD卡中存储Linux系统启动所需的文件，将所述Zynq主处理器的启动方式设置为SD卡启动，上电自启动Linux系统，编写并运行图像预处理IP内核模块的驱动、VGA控制器IP内核模块的驱动和SDRAM控制器IP内核模块的驱动程序，根据Vivado软件给定的对应IP内核模块的物理地址，编写用于对物理地址进行操作的内核驱动程序，运行基于OpenCV的用于交互和显示的Qt显控程序；步骤2：使用所述USB摄像头采集给定的棋盘格图像，使用OpenCV的摄像头标定程序对所述USB摄像头进行标定，计算得到所述USB摄像头的内参数，在Qt显控程序中选择标识图像并导入所述DDR3 SDRAM中，计算所述标识图像的海明码信息，并通过视频直接存储器传输通道存储在所述SDRAM中。步骤3：利用OpenCV集成的OpenGL生成与所述标识图像对应的三维虚拟信息，并将其通过视频直接存储器传输通道传送到所述SDRAM进行存储；步骤4：所述ARM处理器实时采集所述USB摄像头中的原始图像，并通过视频直接存储器传输通道将其传输到所述FPGA进行缓存；步骤5：使用Vivado HLS软件编写图像预处理IP内核模块，并对所述原始图像进行图像预处理得到二次处理图像；所述图像预处理包括对图像进行灰度变换、利用阈值分割进行二值化处理、轮廓检测、对检测出的轮廓进行多边形逼近，找到与所述标识图像相近的四边形作为候选标识区域，记录所述候选标识区域的角点位置；步骤6：将所述二次处理图像经视频直接存储器传输通道传回所述ARM处理器，在Linux系统下编写基于集成OpenGL的OpenCV的增强现实处理程序，并恢复所述原始图像中标识的正视图，识别步骤5所述候选标识区域中的特殊标识，并对识别出特殊标识的步骤5所述候选标识区域进行位姿估计，得到USB摄像头的外参数；所述USB摄像头的外参数包括旋转矩阵和平移向量；步骤7：针对识别出特殊标识的步骤5所述候选标识区域，利用视频直接存储器传输通道从所述SDRAM中导入对应的三维虚拟信息，并根据步骤2所述USB摄像头的内参数和步骤6所述的外参数，将对应的虚拟三维信息与所述原始图像进行融合，得到虚实融合的图像；步骤8：将步骤7所述虚实融合的图像通过视频直接存储器传输通道传输到VGA控制器IP内核模块，所述VGA控制器IP内核模块控制VGA显示器进行显示。在本专利所述的利用上述基于Zynq软硬件协同处理的增强现实系统进行增强现实的方法中，所述步骤5的具体步骤包括：5-1)在Vivado HLS软件中编写图像预处理IP内核模块程序，把所述FPGA中缓存的图像转换成Mat类型的图像；5-2)把Mat类型的图像由三通道的彩色图像转换成单通道的灰度图像；5-3)利用阈值分割法对所述单通道的灰度图像进行二值化处理，得到二值化图像；5-4)对所述二值化图像进行轮廓检测，得到包含多边形轮廓的图像；5-5)利用多边形近似法对多边形轮廓进行多边形逼近，排除不是四边形的多边形轮廓区域；5-6)计算候选标识区域的角点位置，并把角点位置保存在所述原始图像的数据结尾，作为候选标识位置数据；5-7)利用Vivado HLS软件对程序图像预处理IP内核模块程序进行流水线优化，对处理速度和占用的资源进行优化，产生RTL级代码，并封装成IP内核模块。在本专利所述的利用上述基于Zynq软硬件协同处理的增强现实系统进行增强现实的方法中，所述步骤6的具体步骤包括：6-1)将所述二次处理图像通过视频直接存储器传输通道传送回ARM处理器，对每一个候选标识区域进行透视变换，得到候选标识区域的正方形视图；6-2)使用Otsu算法对所述候选标识区域进行二值化处理，去掉灰度像素，只留下黑白像素；6-3)计算所述候选标识区域的正方形视图内部区域的海明码信息，并计算其与SDRAM中存储的标识图像的海明码信息的海明距离，把所述候选标识区域依次顺时针或逆时针旋转90度，重复计算海明距离，若当前最小的海明距离为0，则当前候选标识区域是一个正确的标识区域；6-4)找到所述正确的标识区域后，调用OpenCV函数按亚像素精度查找角点位置；6-5)根据所述USB摄像头的内参数和候选标识区域的角点位置，调用OpenCV的函数计算所述USB摄像头的外参数。实施本专利的基于Zynq软硬件协同处理的增强现实系统及方法，具有以下有益效果:由于使用Zynq主处理器、USB摄像头、USB控制芯片、DDR3 SDRAM、SD卡、SDRAM和VGA显示器，Zynq主处理器包括处理器系统和FPGA，处理器系统和FPGA通过高速AXI总线连接，处本文档来自技高网...
【技术保护点】
一种基于Zynq的软硬件协同处理的增强现实系统，包括Zynq主处理器、USB摄像头、USB控制芯片、DDR3SDRAM、SD卡、SDRAM和VGA显示器，其特征在于：所述Zynq主处理器包括处理器系统和FPGA，处理器系统和FPGA通过高速AXI总线连接，所述处理器系统包括ARM处理器和DDR3控制器，四个AXI_HP接口、四个AXI_GP接口和一个AXI_ACP接口，所述FPGA包括SDRAM控制器IP内核模块、VGA控制器IP内核模块和图像预处理IP内核模块；所述USB摄像头与所述USB控制芯片连接，所述USB控制芯片与所述ARM处理器连接，所述DDR3SDRAM通过所述的DDR3控制器与所述ARM处理器连接，所述DDR3控制器还通过DMA传输通道连接所述高速AXI总线，所述SD卡与所述ARM处理器连接，所述SDRAM控制器IP内核模块与所述SDRAM连接，所述SDRAM控制器IP内核模块还通过视频直接存储器传输通道连接所述高速AXI总线，所述图像预处理IP内核模块的输入端和输出端均通过视频直接存储器传输通道连接所述高速AXI总线，所述VGA控制器IP内核模块与所述VGA显示器连接，所述VGA控制器IP内核模块还通过视频直接存储器传输通道连接所述高速AXI总线。...
【技术特征摘要】
1.一种基于Zynq的软硬件协同处理的增强现实系统，包括Zynq主处理器、USB摄像头、USB控制芯片、DDR3SDRAM、SD卡、SDRAM和VGA显示器，其特征在于：所述Zynq主处理器包括处理器系统和FPGA，处理器系统和FPGA通过高速AXI总线连接，所述处理器系统包括ARM处理器和DDR3控制器，四个AXI_HP接口、四个AXI_GP接口和一个AXI_ACP接口，所述FPGA包括SDRAM控制器IP内核模块、VGA控制器IP内核模块和图像预处理IP内核模块；所述USB摄像头与所述USB控制芯片连接，所述USB控制芯片与所述AR...
【专利技术属性】
技术研发人员：祝清瑞，汤心溢，李争，刘源，王晨，代具亭，张昊，
申请(专利权)人：中国科学院上海技术物理研究所，
类型：新型
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。