基于增强现实的针灸穴位可视化平台及其图像处理方法技术

本发明专利技术提供一种基于增强现实的针灸穴位可视化平台，该平台包括有互相连接的FPGA开发板和上位机。图像采集控制模块与预处理模块采用Verilog HDL语言编写，并下载到FPGA开发板的FPGA芯片中，上位机负责穴位信息在图像上的准确注册并与FPGA开发板进行通讯。同时提供一种针灸穴位可视化平台的图像处理方法。有益效果是该平台为弥补原有针灸教学手法的缺点有着重大的现实意义与使用价值，也为用户提供了一种交互的、动态的、直观的模型，是中医的临床、教学的一种直观的、利于全面观察和综合分析的有力工具。

【技术实现步骤摘要】
基于增强现实的针灸穴位可视化平台及其图像处理方法
本专利技术涉及图像处理领域，具体指一种基于增强现实的针灸穴位可视化平台及其图像处理方法。技术背景中医针灸是中华民族医学的瑰宝，其独有的疏通经络、调和阴阳的疗效近年来受到越来越多的国内外一些医学工作者的关注与青睐。随着中医的国际化发展进程，以古典经络学为核心的针灸技术在世界各国掀起热潮，学习针灸手法的需求也日益增大。现有的针灸教学方法通常采用图示、临床、人体经络腧穴模型或学生在自己身体上操作、训练相结合的方式，因此存在针灸手法不直观、教学效果不明显，学生学习危险性大等缺点。因此，建立一个针灸穴位可视化研究平台迫在眉睫。经过调研和分析，利用增强现实技术可以很好地将针灸手法与人体穴位信息进行可视化。增强现实(AugmentedReality，AR)是在虚拟现实(VirtualReality，VR)的基础上发展起来的新技术，又叫做混合现实。20世纪80年代初，美国VPL公司提出了在计算机上创建完整的、身临其境的可交互3D环境，来为用户提供沉浸感，这种技术就是虚拟现实技术。但是虚拟现实只是将用户沉浸在计算机创造的虚拟环境(VirtualEnvironment，VE)中，与真实的世界相隔离，从而使用户失去了与真实世界的交互的机会。因此，为了克服这种问题，便在虚拟现实的基础上发展了增强现实技术。增强现实是利用虚拟化技术观察世界的一种方式，是利用计算机视觉等技术，通过实时媒体向真实环境中尽可能无缝的添加由计算机生成的并不存在的虚拟物体，从而达到增强或补充用户所看到的真实的世界的目的。通过与虚拟影像进行互动，用户可以完成更复杂的工作。增强现实在医学领域的应用前景非常广泛，可应用于辅助诊断，医疗教育及训练等诸多方向。但尚未见到在中医针灸可视化方面的应用。近年来，现场可编程门阵列(FieldProgrammableGateArray,FPGA)技术逐渐在生物医学领域得到广泛的应用。在硬件的实现方法中，相较于大规模模拟集成电路灵活性差等缺点，FPGA具有计算速度快，体积小，并行运算的特点，因此广泛应用于仿生学、智能平台、图像处理等方面。现有的技术还处于初级阶段，因此仍存在以下缺点：尚无基于增强现实的功能完善的针灸穴位可视化平台；运用摄像机标定，坐标系变换的传统虚实注册方法兼有精度不高，鲁棒性低的缺点，且人机界面尚未完善。摄像机标定的工作也复杂烦琐，其内部参数与镜头焦距一旦变化，就需要重新对摄像机进行标定。从目前的技术水平出发，由于平台本身所具有的不精确性和延迟特性，基于摄像机标定和世界坐标系、摄像机坐标系、图像坐标系变换的方法并不能很好地解决AR应用的虚实注册问题。
技术实现思路
针对上述技术中存在的不足，本专利技术的目的是提供一种基于增强现实的针灸穴位可视化平台及其图像处理方法，利用FPGA图像预处理能力和上位机特征提取与仿射变换算法，实现虚拟穴位信息在双目摄像机获取的图像上的准确注册；有力解决了针灸穴位定位与针灸手法不直观、教学效果不明显的问题，提高了平台与用户的交互性、动态性与直观性，使得虚实注册问题的解决不再依赖于相机内外部参数的定标，简化了虚拟穴位信息的注册。为实现上述目的，本专利技术采用的技术方案是提供一种基于增强现实的针灸穴位可视化平台，其中：针灸穴位可视化平台，其特征是：该平台包括有双目摄像头、FPGA开发板和上位机；双目摄像机通过GPIO接口与FPGA开发板相连接，FPGA开发板通过USB接口与上位机相连接；FPGA开发板包括有图像采集控制模块和图像预处理模块，图像采集控制模块和图像预处理模块皆采用VerilogHDL语言进行编写，并编译下载到FPGA开发板的FPGA芯片中；针灸穴位信息根据性别存储于上位机中，用于穴位可视化平台开发的数据库。所述图像采集控制模块由VerilogHDL语言编程实现，经USB接口与FPGA开发板上的FPGA芯片建立数据通信，并编译下载到FPGA开发板中；图像采集控制模块通过I2C总线对功能寄存器进行设置，以实现双目摄像头的图像分辨率、帧频和像质参数的设置。所述双目摄像机中的色彩图像传感器件与MIPI解码器相连接，将色彩图像传感器件采集的图像数据输出给MIPI解码器；MIPI解码器可以将色彩图像传感器件输入的数据并行输出，为后续的图像预处理做准备。本专利技术的效果是该可视化平台实现了人体穴位在摄像机拍摄人体图像上的注册，兼具可视化的人机界面，提高了平台与用户的交互性、动态性与直观性。同时，该实验平台为中医的临床与教学提供了一种直观的、利于全面观察和综合分析的有力工具。本平台提出了将增强现实技术用于中医人体穴位的可视化结构具有以下优势：1、所述的穴位信息注册模块通过全局仿射变换实现穴位信息的注册，将增强现实的静态注册误差控制在最小范围内，满足医疗器械的精度要求；2、本平台中上位机软件界面可以实时的观察摄像机模块拍摄的图像与处理效果，为中医针灸的量化研究提供了更好的可视化实验研究平台。附图说明图1为本专利技术的FPGA硬件与上位机实验平台结构示意图；图2为摄像机图像采集控制模块硬件结构示意图；图3为特征提取与匹配模块流程图；图4为穴位信息注册模块流程图。图中：1.双目摄像机2.FPGA开发板3.图像采集控制模块4.图像预处理模块5.双目人体图像采集控制处理模块6.采集图像一7.采集图像二8.特征提取与匹配模块9.穴位信息注册模块10.上位机输出显示器11.MIPI摄像机模块OV8865色彩图像传感器12.MIPI解码器13.2x20针GPIO连接器具体实施方式结合附图对本专利技术的基于增强现实的针灸穴位可视化研究平台及其图像处理方法加以说明。本专利技术的基于增强现实的针灸穴位可视化研究平台及其图像处理方法的设计思想是首先在FPGA开发板上建立图像采集控制模块，以实现对双目摄像机的控制。并对摄像机捕捉的真实人体图像进行图像预处理。然后基于双目视觉成像原理，利用上位机编辑算法恢复二维图像的三维数据信息，并利用已存储在计算机中的标准人体腧穴模型数据进行仿射变换，从而将穴位注册到真实的人体图像上，得到与真实人体相匹配的穴位信息。本专利技术的基于增强现实的针灸穴位可视化平台包括有互相连接的FPGA开发板和上位机。图像采集控制模块与预处理模块采用VerilogHDL语言编写，并下载到FPGA芯片中，上位机负责穴位信息在图像上的准确注册并与FPGA开发板进行通讯。所述图像采集控制模块，其中摄像头输出的图像格式为Bayer型，可通过GPIO接口接入FPGA开发板。开发板需要装备有800万像素的MIPI摄像机模块OV8865色彩图像传感器，其800万像素中，应有至少7990272(3264x2448)像素可用于输出。摄像机功能存储器参数由I2C总线进行控制。摄像机的MIPI摄像机模块上应具备VCM(VoiceCoilMotor，VCM)驱动芯片，以用于摄像头焦距的调节。为了将MIPI摄像机模块直接接入开发板，图像采集控制模块还需要具备MIPI解码器，将MIPI接口输入的图像数据转换为并行输出的图像数据。MIPI解码器可接受FPGA输入的参考时钟，并输出25MHz的时钟对摄像头进行控制；所述预处理模块涉及到的算法由VerilogHDL语言编程实现，编译下载到FPGA芯片中本文档来自技高网...

【技术保护点】
一种针灸穴位可视化平台，其特征是：该平台包括有双目摄像头(1)、FPGA开发板(2)和上位机(10)；双目摄像机通过GPIO接口与FPGA开发板(2)相连接，FPGA开发板(2)通过USB接口与上位机(10)相连接；FPGA开发板(2)包括有图像采集控制模块(3)和图像预处理模块(4)，图像采集控制模块(3)和图像预处理模块(4)皆采用Verilog HDL语言进行编写，并编译下载到FPGA开发板(2)的FPGA芯片中；针灸穴位信息根据性别存储于上位机(10)中，用于穴位可视化平台开发的数据库；所述图像采集控制模块(3)由Verilog HDL语言编程实现，经USB接口与FPGA开发板(2)上的FPGA芯片建立数据通信，并编译下载到FPGA开发板(2)中；图像采集控制模块(3)通过I2C总线对功能寄存器进行设置，以实现双目摄像头(1)的图像分辨率、帧频和像质参数的设置；所述双目摄像机(1)中的色彩图像传感器件(11)与MIPI解码器(12)相连接，将色彩图像传感器件(11)采集的图像数据输出给MIPI解码器；MIPI解码器可以将色彩图像传感器件输入的数据并行输出，为后续的图像预处理做准备。...

【技术特征摘要】
1.一种针灸穴位可视化平台，其特征是：该平台包括有双目摄像头(1)、FPGA开发板(2)和上位机(10)；双目摄像机通过GPIO接口与FPGA开发板(2)相连接，FPGA开发板(2)通过USB接口与上位机(10)相连接；FPGA开发板(2)包括有图像采集控制模块(3)和图像预处理模块(4)，图像采集控制模块(3)和图像预处理模块(4)皆采用VerilogHDL语言进行编写，并编译下载到FPGA开发板(2)的FPGA芯片中；针灸穴位信息根据性别存储于上位机(10)中，用于穴位可视化平台开发的数据库；所述图像采集控制模块(3)由VerilogHDL语言编程实现，经USB接口与FPGA开发板(2)上的FPGA芯片建立数据通信，并编译下载到FPGA开发板(2)中；图像采集控制模块(3)通过I2C总线对功能寄存器进行设置，以实现双目摄像头(1)的图像分辨率、帧频和像质参数的设置；所述双目摄像机(1)中的色彩图像传感器件(11)与MIPI解码器(12)相连接，将色彩图像传感器件(11)采集的图像数据输出给MIPI解码器；MIPI解码器可以将色彩图像传感器件输入的数据并行输出，为后续的图像预处理做准备。2.根据权利要求1所述的针灸穴位可视化平台，其特征是：所述穴位可视化研究平台开发的数据库包括：人体主要穴位的名称、在某一选定的世界坐标系下各个穴位的空间坐标和在同一空间的同一世界坐标系下的左肩峰、右肩峰、髂前上棘、左眼、右眼这六个人体特征点的空间坐标，穴位可视化研究平台开发数据库为医疗机构针对不同年龄段的不同人群进行穴位采集而形成；在实现形式上为：在同一空间的同一世界坐标系下对多人群的12个主要穴位：膻中穴、关元穴、中脘穴、乳根穴、乳根穴、人中穴、睛明穴、神庭穴、足三里穴、三阴交穴和六个特征点：左肩峰、右肩峰、髂前上棘、左眼、右眼，相对于人工设定的世界坐标系原点进行空间位置的采集，从而构成人体腧穴模型数据，并将该针灸穴位信息根据性别存储于计算机中，用于基于增强现实的穴位可视化研究平台开发数据库。3.根据权利要求1所述的针灸穴位可视化平台的图像处理方法，其特征是：该处理方法是双目摄像头采集的图像经过图像处理方法处理后，将处理结果与穴...

【专利技术属性】
技术研发人员：王江，杨双鸣，许诺，李会艳，邓斌，魏熙乐，刘晨，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12