基于视觉的嵌入式手势识别系统装置制造方法及图纸

本发明专利技术属于人机交互技术，具体涉及一种基于视觉的嵌入式手势识别系统装置。所述基于视觉的嵌入式手势识别系统装置包括摄像头模块、FPGA芯片、时钟模块、存储模块以及DSP处理器。摄像头模块通过系统总线连接FPGA芯片，FPGA芯片一路经控制总线与DSP处理器连接，另一路通过数据总线经存储模块连接DSP处理器，时钟模块分别连接FPGA芯片、存储模块、DSP处理器，DSP处理器输出连接外部上位机。本发明专利技术颠覆了以往的鼠标、键盘形式，输入方式完全采用人类日常手势动作，遵循用户习惯，可高度定制，且结构简单，使用方便，同时减小了设备体积，可在日常的休闲和工作中使用，必要时更可用于一些如座舱、驾驶室等特殊的、环境严格的场景中。

Vision based embedded hand gesture recognition system device

The invention belongs to human-computer interaction technology, in particular to an embedded gesture recognition system device based on vision. The vision based embedded gesture recognition system device comprises a camera module, an FPGA chip, a clock module, a storage module, and a DSP processor. The camera module is connected to the FPGA chip through the system bus, FPGA chip control through a connection with the DSP processor bus, another way through the data bus via the storage module is connected with the DSP processor, clock module is respectively connected with the FPGA chip, memory module, DSP processor, DSP processor output connected to an external PC. The present invention overturn the mouse and keyboard input form, complete with human daily gestures, according to user habits, highly customizable, and has the advantages of simple structure, convenient use, and reduce the volume of equipment, can be used in the daily leisure and work, when necessary, can be used for some special such as cockpit, cab etc. the environment, strict in the scene.

【技术实现步骤摘要】

本专利技术属于人机交互技术，具体涉及一种基于视觉的嵌入式手势识别系统装置。技术背景键盘、鼠标作为传统的手部交互方式，具有精度高，响应速度快的特点，但其局限性也是明显的。由于必须采用接触式操作、不能自由定制交互方式，键盘和鼠标给灵活自由的手部操控带来了一定的限制，且空间占用较大，在空间限制明显的场合(如机舱、驾驶舱等)不利于布局和实施，因此键盘和鼠标已经不能满足手部交互多样性的需求，于此考虑，提出一种可定制的，基于视觉的手部交互系统。
技术实现思路
本专利技术的目的是：提供一种使用方便、操作简单、稳定性高的非接触式手部交互系统，使使用者无需接触任何物理设备就可完成控制和操作。为了实现上述目的，本专利技术的技术方案是：一种基于视觉的嵌入式手势识别系统装置，其包括摄像头模块1、FPGA芯片2、时钟模块3、存储模块4以及DSP处理器5，摄像头模块1通过系统总线连接FPGA芯片2，FPGA芯片2一路经控制总线与DSP处理器5连接，另一路通过数据总线经存储模块4连接DSP处理器，时钟模块3分别连接FPGA芯片2、存储模块4、DSP处理器5，DSP处理器5输出连接外部上位机6。所述FPGA芯片2包括顺次连接的摄像头控制模块7、缓存模块8、图形与处理模块9、主存控制模块10、DSP控制模块11。所述摄像头模块与存储模块之间还设置有用于接口匹配的缓存主存桥接模块。所述DSP处理器包括顺次连接的FPGA同步模块12、存储器接口模块13、图形匹配模块14、手掌定位模块15、指尖定位模块16、上位机通讯模块17，其中，FPGA同步模块12连接FPGA芯片，上位机通讯模块17与外部上位机通讯连接。所述图形匹配模块14包括顺次连接的极坐标变化模块、直方图计算模块、协方差计算模块以及累积模块。所述手掌定位模块15包含顺次连接的最大轮廓计算模块和最大内切圆计算模块。所述指尖定位模块16包含顺次连接的半径计算模块和圆截法指尖标记模块。所述的基于视觉的嵌入式手势识别系统装置，其特征在于，由FPGA芯片进行图像数据的实时采集和预处理工作，经缓存模块、缓存主存桥接模块将数据保存至主存模块，并由DSP处理器同步地将主存模块的图像数据读出，顺次经由DSP处理器内部的图形匹配模块、手掌定位模块和指尖定位模块的处理，将处理结果发送至上位机，从而采用非接触式的隔空操作完成手势识别任务。本专利技术的技术效果是：本专利技术基于视觉的嵌入式手势识别系统装置使用方便、操作简单、稳定性高，使用者无需接触任何物理设备就可完成控制和操作，颠覆以往的键盘、鼠标形式，完全解放了双手操作，实现了隔空手势操作，能够为特殊场景(如机舱，驾驶室)下工作的人员带来便利。另外，如用户需要还可临时增加手势交互控制的方法，只要在Flash存储中烧入或擦除手势模板数据并少量修改程序即可，极好的满足了用户交互式多样性操作的需求。附图说明以下将结合附图和实施例对本专利技术作进一步的说明。图1为本专利技术基于视觉的嵌入式手势识别系统装置的结构示意图；图2为本专利技术FPGA芯片的结构示意图；图3为本专利技术DSP处理器的结构示意图，其中，1-摄像头模块、2-FPGA芯片、3-时钟模块、4-存储模块、5-DSP处理器、6-上位机、7-摄像头控制模块、8-缓冲模块、9-图形与处理模块、10-主存控制模块、11-DSP控制模块、12-FPGA同步模块、13-存储器接口模块、14-图形匹配模块、15-手掌定位模块、16-指尖定位模块、17-上位机通讯模块。具体实施方式请参阅图1，其为本专利技术基于视觉的嵌入式手势识别系统装置的结构示意图。所述基于视觉的嵌入式手势识别系统装置包括摄像头模块1、FPGA芯片2、时钟模块3、存储模块4以及DSP处理器5，摄像头模块1通过系统总线连接FPGA芯片2，FPGA芯片2一路经控制总线与DSP处理器5连接，另一路通过数据总线经存储模块4连接DSP处理器5，时钟模块3分别连接FPGA芯片2、存储模块4、DSP处理器5，DSP处理器5输出连接外部上位机6。请参阅图2，所述FPGA芯片2包括顺次连接的摄像头控制模块7、缓存模块8、图形与处理模块9、主存控制模块10、DSP控制模块11。其中，所述缓存模块与摄像头控制模块7，用于缓存数据，本实施例中采用FIFO缓存模块。缓存主存桥接模块连接存储模块，以实现摄像头模块与存储模块之间接口的匹配。主存控制模块连接DSP控制模块11，以共享图像数据，并传输控制指令。所述图形与处理模块9在采集数据的同时进行中值滤波和自适应二值化，实现对图像的预处理。请参阅图3，所述DSP处理器包括顺次连接的FPGA同步模块12、存储器接口模块13、图形匹配模块14、手掌定位模块15、指尖定位模块16、上位机通讯模块17。其中，所述图形匹配模块包括顺次连接的极坐标变化模块、直方图计算模块、协方差计算模块以及累积模块。所述极坐标变化模块用以消除图像旋转或缩放时的计算误差。直方图计算模块用于目标图像和模板图像的特征分布。所述协方差计算模块用于计算目标图像和模板图像的匹配特征。累积模块用于计算目标图像和模板图像的相似度。手掌定位模块15包含顺次连接的最大轮廓计算模块和最大内切圆计算模块。所述最大轮廓计算模块用于检测手部轮廓。所述最大内切圆计算模块用于标记掌心位置。指尖定位模块16包含顺次连接的半径计算模块和圆截法指尖标记模块，所述半径计算模块用于计算适应手掌的半径尺寸。所述圆截法指尖标记模块用于计算有效指尖位置。另外，FPGA同步模块12用于实现DSP处理器5与FPGA芯片2之间的同步，存储器接口模块13用于连接存储模块4，上位机通讯模块17用于实现与上位机6之间的通讯。本专利技术基于视觉的嵌入式手势识别系统装置实际工作时，由FPGA芯片进行图像数据的实时采集和预处理工作，主要包括噪声滤除和图像二值化，经缓存模块、缓存主存桥接模块将数据保存至主存模块，并由DSP处理器同步地将主存模块的图像数据读出，顺次经由图形匹配模块、手掌定位模块和指尖定位模块的处理，将处理结果按照协议发送至上位机，在上位机上实现相应操作，从而通过改良的嵌入式图形处理技术，采用非接触式的隔空操作完成手势识别任务。本专利技术颠覆以往的键盘、鼠标形式，完全解放了双手操作，如用户需要还可临时增加手势交互控制的方法，只要在存储模块中烧入或擦除手势模板数据并少量修改程序即可，能够较好的满足手部交互多样性的需求。本文档来自技高网...

【技术保护点】
一种基于视觉的嵌入式手势识别系统装置，其特征在于，包括摄像头模块(1)、FPGA芯片(2)、时钟模块(3)、存储模块(4)以及DSP处理器(5)，摄像头模块(1)通过系统总线连接FPGA芯片(2，FPGA芯片(2)一路经控制总线与DSP处理器(5连接，另一路通过数据总线经存储模块(4)连接DSP处理器，时钟模块(3)分别连接FPGA芯片(2)、存储模块(4)、DSP处理器(5)，DSP处理器(5)输出连接外部上位机(6)。

【技术特征摘要】
1.一种基于视觉的嵌入式手势识别系统装置，其特征在于，包括摄像头模块(1)、FPGA芯片(2)、时钟模块(3)、存储模块(4)以及DSP处理器(5)，摄像头模块(1)通过系统总线连接FPGA芯片(2，FPGA芯片(2)一路经控制总线与DSP处理器(5连接，另一路通过数据总线经存储模块(4)连接DSP处理器，时钟模块(3)分别连接FPGA芯片(2)、存储模块(4)、DSP处理器(5)，DSP处理器(5)输出连接外部上位机(6)。2.根据权利要求1所述的基于视觉的嵌入式手势识别系统装置，其特征在于，所述FPGA芯片(2)包括顺次连接的摄像头控制模块(7)、缓存模块(8)、图形与处理模块(9)、主存控制模块(10)、DSP控制模块(11)。3.根据权利要求2所述的基于视觉的嵌入式手势识别系统装置，其特征在于，摄像头模块(1)与存储模块(4)之间还设置有用于接口匹配的缓存主存桥接模块。4.根据权利要求1所述的基于视觉的嵌入式手势识别系统装置，其特征在于，DSP处理器(5)包括顺次连接的FPGA同步模块(12)、存储器接口模块(13)、图形匹配模块(14)、手掌定位...

【专利技术属性】
技术研发人员：柳舒怀，张子华，路博，徐剑锋，
申请(专利权)人：上海航空电器有限公司，
类型：发明
国别省市：上海;31