一种人机交互动作识别系统及方法技术方案

本发明专利技术涉及人机交互技术领域，特别是涉及一种人机交互动作识别系统及方法。该方法包括通过切换键确定场景信息采集模式，所述场景信息采集模式包括人体移动识别模式、笔迹识别模式、手指识别模式以及雷达识别模式；将采集到的数据转化为图像信息，并将图像信息处理为灰度图；将灰度图进行分析处理，得到基于设备位图点的图像坐标信息；将所述图像坐标信息转化为屏幕坐标；根据所述屏幕坐标，将一个图像平面分割为一个以上的单元平面，记录所述单元平面四个角的点信息；通过仿射变换，将所述点信息映射到屏幕上；根据映射在屏幕上的点信息，对设备发出响应信息。解决现阶段人机交互动作识别系统不能集合多种采集设备对动作进行识别采集的问题。

【技术实现步骤摘要】

本专利技术涉及人机交互
，特别是涉及一种人机交互动作识别系统及方法。
技术介绍
现在传统的人机交互动作识别系统通过摄像头、键盘、操纵杆中的采集信号，然后通过网络或者串口通信发送给计算机。但是，采用不同设备进行动作信息采集的话，只能通过不同系统完成。例如采用摄像头采集信息，对物体的移动信息、手指的点击信息、距离的检测信息或者手指的识别信息都是通过不同的系统完成的，而其分别采集到的信息都会传输给信息处理模块，但是其中采集到的信息很多都是相同的。因此，就会导致系统出现大量的冗余，操作和维护都非常复杂，并且维护成本很高。
技术实现思路
本专利技术的目的在于提供一种人机交互动作识别系统及方法，以解决现阶段人机交互动作识别系统不能集合多种采集设备对动作进行识别采集的问题。本专利技术提供了一种人机交互动作识别系统，其包括：S1：通过切换键确定场景信息采集模式，其中，所述场景信息采集模式包括人体移动识别模式、笔迹识别模式、手指识别模式以及雷达识别模式；S2：将采集到的数据转化为图像信息，并将图像信息处理为灰度图；S3：将灰度图进行分析处理，得到基于设备位图点的图像坐标信息；S4：将所述图像坐标信息转化为屏幕坐标；S5：根据所述屏幕坐标，将一个图像平面分割为一个以上的单元平面，记录所述单元平面四个角的点信息；S6：通过仿射变换，将所述点信息映射到屏幕上；S7：根据映射在屏幕上的点信息，对设备发出响应信息。在一些实施例中，优选为，所述人体移动识别模式为通过红外摄像头采集显示面上的人的移动行为信息；所述笔迹识别模式为通过红外摄像头和红外笔或红外电子教鞭采集显示画上的书写信息；所述手指识别模式为通过红外摄像头采集显示面上的手指操作信息；所述雷达识别模式为通过雷达设备采集人手指的位置信息或者人站立的位置信息、以及移动行为信息。在一些实施例中，优选为，所述人体移动识别模式采用红外灯进行补光。在一些实施例中，优选为，所述S3为：根据所述场景信息采集模式，将灰度图进行背景减除处理、去噪处理、模糊处理、二值化处理和轮廓发现处理中的至少一种，并得到基于设备位图点的图像坐标信息。在一些实施例中，优选为，所述S3包括：将所述灰度图进行背景减除处理；判断所述采集到的数据的采集模式；若场景信息采集模式为人体移动识别模式、笔迹识别模式、手指识别模式，则进行去噪处理，否则，不进行；进行模糊处理、二值化处理和轮廓发现处理；得到基于设备位图点的图像坐标信息。在一些实施例中，优选为，所述图像坐标信息包括设备位图点的坐标、轮廓大小、点出现或者停留的时间、点的ID信息。在一些实施例中，优选为，所述S5包括：根据所述屏幕坐标，将一个图像平面分割为一个以上的单元平面；提取所述图像信息中交叠的图像数据；将所述交叠的图像数据的单元平面记为同一单元平面；记录所有单元平面四个角的点信息。针对上述方法，本专利技术还公开了一种人机交互动作识别系统，其包括：依次连接的信息采集模块、信息分析模块、信息转换模块和信息处理模块；所述信息采集模块用于图像信息的采集，并将所述图像信息处理为灰度图；所述信息采集模块包括红外采集设备和雷达采集设备；所述信息分析模块用于将灰度图进行分析处理，以及输出基于设备位图点的图像坐标信息；所述信息转换模块用于将所述图像坐标信息转化为屏幕坐标，以及将一个图像平面分割为一个以上的单元平面，记录所述单元平面四个角的点信息，并通过仿射变换将所述点信息映射到屏幕上；所述信息处理模块用于根据映射在屏幕上的点信息，对设备发出响应信息。在一些实施例中，优选为，所述摄像头采集设备包括红外摄像头、红外灯、红外笔、红外电子教鞭、红外激光器。在一些实施例中，优选为，信息采集模块还包括切换键，所述切换键用于选择图像信息的采集设备。在一些实施例中，优选为，所述信息分析模块包括背景减除单元、去噪单元、模糊单元、二值化单元和轮廓发现单元。本专利技术实施例提供的人机交互动作识别方法及系统，与现有技术相比，可根据实际场景的需要，选择图像信息采集的采集模式，该采集模式包括人体移动识别模式、笔迹识别模式、手指识别模式以及雷达识别模式。因此，实现了一个交互系统就可以使用不同的图像信息采集设备，通过一套系统来管理不同的场景，并且可以切换摄像头和雷达2种采集设备。进而有效解决了现阶段人机交互动作识别系统不能集合多种采集设备对动作进行识别采集的问题。附图说明图1为本专利技术一个实施例中人机交互动作识别方法步骤示意图；图2为本专利技术一个实施例中人机交互动作识别系统示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。针对现阶段人机交互动作识别系统不能集合多种采集设备对动作进行识别采集的问题，本专利技术提出了一种人机交互动作识别方法。如图1所示，该方法包括：S1：通过切换键确定场景信息采集模式，其中，场景信息采集模式包括人体移动识别模式、笔迹识别模式、手指识别模式以及雷达识别模式；S2：将采集到的数据转化为图像信息，并将图像信息处理为灰度图；S3：将灰度图进行分析处理，得到基于设备位图点的图像坐标信息；S4：将图像坐标信息转化为屏幕坐标；S5：根据屏幕坐标，将一个图像平面分割为一个以上的单元平面，记录单元平面四个角的点信息；S6：通过仿射变换，将点信息映射到屏幕上；S7：根据映射在屏幕上的点信息，对设备发出响应信息。针对4种不同的应用场景分别做了一套算法进行统一识别，因此一种场景确定为一种场景信息采集模式。人体移动识别模式为，将显示画面投射到显示面，可以是墙面或者地面，可以很清楚的识别每个人的移动，并将每个人的运动坐标转化为屏幕坐标传送出来，此时采用的是红外摄像头采集和红外灯进行补光。笔迹模式:通过红外笔在显示画面书写进行触发，书写产生的压力使得红外笔发出非可见的红外光，这个时候通过红外感应摄像头进行捕捉，将捕捉到的笔发光的信息转化为屏幕坐标传送出来，此时采用的是红外摄像头和红外笔或红外电子教鞭。手指模式:通过手指点击显示面，这个时候由于遮挡了红外激光器发出的平面光，产生了亮点，被红外摄像头识别，然后将摄像头采集到的坐标转化为屏幕坐标输出出来，此时用的设备是红外摄像头。雷达模式:可以精确识别到人手指的位置或者人站立的位置，范围从4M到80M之间都可以识别，识别点距离雷达的角度和距离可以被雷达检测出来，然后转化为图像信息，最后转化为屏幕坐标，交由计算机处理.此时采用的仅是雷达设备。在上述S2中，采集到摄像头信息或者是雷达信息的数据之后，若需要将其转化为图像信息，则进行图像信息转化，然后将图像信息转化为灰度图。处理完之后，将灰度图继续传输处理，传输过程中，输入为图像的二进制数值。在上述S3中，将灰度图进行分析处理为背景减除处理，去噪处理，模糊处理，二值化处理，轮廓发现处理输出手或者人体在设备图像中的坐标，由于对应不同的硬件，所以经过这些处理对应的参数不同。比如在背景减除处理，如果是移动识别，那么背景在不停的更新，如果是红外笔的识别，那么背景只有第一次本文档来自技高网...

【技术保护点】
一种人机交互动作识别方法，其特征在于，包括：S1：通过切换键确定场景信息采集模式，其中，所述场景信息采集模式包括人体移动识别模式、笔迹识别模式、手指识别模式以及雷达识别模式；S2：将采集到的数据转化为图像信息，并将图像信息处理为灰度图；S3：将灰度图进行分析处理，得到基于设备位图点的图像坐标信息；S4：将所述图像坐标信息转化为屏幕坐标；S5：根据所述屏幕坐标，将一个图像平面分割为一个以上的单元平面，记录所述单元平面四个角的点信息；S6：通过仿射变换，将所述点信息映射到屏幕上；S7：根据映射在屏幕上的点信息，对设备发出响应信息。

【技术特征摘要】
1.一种人机交互动作识别方法，其特征在于，包括：S1：通过切换键确定场景信息采集模式，其中，所述场景信息采集模式包括人体移动识别模式、笔迹识别模式、手指识别模式以及雷达识别模式；S2：将采集到的数据转化为图像信息，并将图像信息处理为灰度图；S3：将灰度图进行分析处理，得到基于设备位图点的图像坐标信息；S4：将所述图像坐标信息转化为屏幕坐标；S5：根据所述屏幕坐标，将一个图像平面分割为一个以上的单元平面，记录所述单元平面四个角的点信息；S6：通过仿射变换，将所述点信息映射到屏幕上；S7：根据映射在屏幕上的点信息，对设备发出响应信息。2.如权利要求1所述的人机交互动作识别方法，其特征在于，所述人体移动识别模式为通过红外摄像头采集显示面上的人的移动行为信息；所述笔迹识别模式为通过红外摄像头和红外笔或红外电子教鞭采集显示画上的书写信息；所述手指识别模式为通过红外摄像头采集显示面上的手指操作信息；所述雷达识别模式为通过雷达设备采集人手指的位置信息或者人站立的位置信息、以及移动行为信息。3.如权利要求2所述的人机交互动作识别方法，其特征在于，所述人体移动识别模式采用红外灯进行补光。4.如权利要求1所述的人机交互动作识别方法，其特征在于，所述S3为：根据所述场景信息采集模式，将灰度图进行背景减除处理、去噪处理、模糊处理、二值化处理和轮廓发现处理中的至少一种，并得到基于设备位图点的图像坐标信息。5.如权利要求4所述的人机交互动作识别方法，其特征在于，所述S3包括：将所述灰度图进行背景减除处理；判断所述采集到的数据的采集模式；若场景信息采集模式为人体移动识别模式、笔迹识别模式、手...

【专利技术属性】
技术研发人员：叶付海，
申请(专利权)人：武汉科领软件科技有限公司，
类型：发明
国别省市：湖北;42