一种显示屏的人机交互通信方法及其系统技术方案

本发明专利技术提供一种显示屏的人机交互通信方法及其系统，包括采集用户手势动作并生成初始手势动作信息，对获取的手势动作信息进行预处理，得到进阶手势动作信息，对得到的进阶手势动作信息进行特征处理，得到最终手势动作，在指令库中搜索与最终手势动作信息相匹配的控制指令，并向显示屏输入控制指令，本发明专利技术通过将视频流划分成k个图像帧，并将这k个图像帧划分成若干个宏块，根据阈值比较同一坐标点下的宏块差异，提高了识别率，解决了现有显示屏的人机交互方法识别率低，无法准确地识别出用户做出的特定手势；同时在识别用户做出的特定手势后，无法快速地做出响应，从而降低了显示屏的人机交互速率的问题。的人机交互速率的问题。的人机交互速率的问题。

【技术实现步骤摘要】
一种显示屏的人机交互通信方法及其系统


[0001]本专利技术涉及人机交互
，尤其涉及一种显示屏的人机交互通信方法及其系统。

技术介绍

[0002]随着科技快速发展，人机交互技术已经应用于很多方面，例如显示屏的人机交互方式，目前在显示屏的人机交互中，需要用户做出特定手势，然后由人机交互设备识别特定的手势，最后向显示屏的控制模块输入与特定手势对应的控制指令，最终完成对显示屏的手势控制。
[0003]但目前显示屏的人机交互技术由于技术高度不够，导致在人机交互时，人机交互设备的识别率低，无法准确地识别出用户做出的特定手势；同时在识别用户做出的特定手势后，无法快速地做出响应，从而降低了显示屏的人机交互速率。
[0004]因此，有必要提供一种显示屏的人机交互通信方法及其系统解决上述技术问题。

技术实现思路

[0005]为解决上述技术问题，本专利技术提供一种显示屏的人机交互通信方法及其系统用于解决了现有显示屏的人机交互方法识别率低，无法准确地识别出用户做出的特定手势；同时在识别用户做出的特定手势后，无法快速地做出响应，从而降低了显示屏的人机交互速率的问题。
[0006]本专利技术提供的一种显示屏的人机交互通信方法，该通信方法包括以下操作步骤：
[0007]采集用户手势动作并生成初始手势动作信息；
[0008]对获取的手势动作信息进行预处理，得到进阶手势动作信息；
[0009]对得到的进阶手势动作信息进行特征处理，得到最终手势动作；
[0010]在指令库中搜索与最终手势动作信息相匹配的控制指令，并向显示屏输入控制指令。
[0011]优选的，在采集用户手势动作并生成初始手势动作信息的步骤中，包括：
[0012]通过摄像设备获取用户手势动作的视频流；
[0013]按照设定时序间隔Δt，从视频流中提取出k个图像帧，其中，k≥1，且为正整数；
[0014]依序提取k个图像帧中与手势有关的信息，最终生成初始手势动作信息。
[0015]优选的，在依序提取k个图像帧中与手势有关信息的步骤中，包括：
[0016]建立背景模型，生成与单个图像帧尺寸相同的掩码图像；
[0017]通过掩码图像确定k个图像帧中所对应的手势图像，然后利用背景模型去除每一图像帧的背景，以获取与k个图像帧所对应的k个手势图像。
[0018]优选的，在对获取的手势动作信息进行预处理，得到进阶手势动作信息的步骤中，包括：
[0019]对获取的所有图像帧进行去色处理，以减小手势动作信息的数据量；
[0020]对去色后的图像帧进行图像增强处理，以增强图像帧中手势有关信息的图像特征；
[0021]对图像增强处理后的图像帧进行去噪处理，以减少各种噪声的干扰，最终得到包含k个图像帧的进阶手势动作信息。
[0022]优选的，所述对获取的手势动作信息进行去色处理的方式至少包括对图像帧的灰度化或二值化处理方式中的一种或者多种组合。
[0023]优选的，所述对去色后的图像帧进行图像增强处理的方式至少包括对图像帧的灰度变换、直方图修正、图像平滑或图像锐化处理方式中的一种或者多种组合。
[0024]优选的，在对得到的进阶手势动作信息进行特征处理的步骤中，包括：
[0025]对每个图像帧进行分割，划分出若干个互不重叠的m行n列宏块；
[0026]对进阶手势信息中的k个图像帧进行特征提取，得到每个宏块的特征信息；
[0027]搜索手势模型库，匹配出与特征信息相关性最大的手势模型，确定最终手势动作信息。
[0028]优选的，所述手势模型库中包括若干个与指令库所有控制指令一一对应的手势模型。
[0029]优选的，在搜索手势模型库，匹配出与特征信息相关性最大的手势模型的步骤中，包括：
[0030]通过设定阈值的方式搜索手势模型库中符合阈值条件的所有手势模型；
[0031]对所有阈值进行比较，得出阈值最小的手势模型，最终确定最终手势动作信息。
[0032]基于上述通信方法，本专利技术还提供了一种显示屏的人机交互通信系统，包括采集模块、预处理模块、特征处理模块和手势匹配模块，其中，
[0033]所述采集模块，用于采集用户手势动作并生成初始手势动作信息；
[0034]所述预处理模块，用于对获取的手势动作信息进行预处理，得到进阶手势动作信息；
[0035]所述特征处理模块，用于对得到的进阶手势动作信息进行特征处理，得到最终手势动作；
[0036]所述手势匹配模块，用于在指令库中搜索与最终手势动作信息相匹配的控制指令，并向显示屏输入控制指令。
[0037]与相关技术相比较，本专利技术提供的一种显示屏的人机交互通信方法及其系统具有如下有益效果：
[0038]本专利技术通过设置的采集模块、预处理模块、特征处理模块和手势匹配模块，通过采集模块采集初始手势动作信息，并经过预处理模块和特征处理模块优化处理，利用手势匹配模块得到最终手势动作信息，最后搜索与之匹配的控制指令指示显示屏动作，解决了现有显示屏的人机交互方法识别率低，无法准确地识别出用户做出的特定手势；同时在识别用户做出的特定手势后，无法快速地做出响应，从而降低了显示屏的人机交互速率的问题。
附图说明
[0039]图1为本专利技术提供的一种显示屏的人机交互通信方法及其系统的方法步骤示意图；
[0040]图2为本专利技术提供的一种显示屏的人机交互通信方法及其系统的系统线框结构示意图；
[0041]图3为本专利技术提供的一种显示屏的人机交互通信方法及其系统的视频流示意图。
具体实施方式
[0042]下面结合附图和实施方式对本专利技术作进一步说明。
[0043]本专利技术提供的一种显示屏的人机交互通信方法，该通信方法如图1所示，具体包括以下操作步骤：
[0044]第一步：采集用户手势动作并生成初始手势动作信息；
[0045]在第一步中，具体包括：
[0046]首先，通过摄像设备获取用户手势动作的视频流，该摄像设备安装在显示屏上，最佳安装位置为显示屏上边缘的中部，摄像设备可以捕获设定区域内的手势，
[0047]为了减小摄像设备的功耗，也即是减小摄像设备捕捉的时间(无手势时)，摄像设备还配备有用于检测人体是否位于设定区域内的传感器，也即是热释电红外传感器，在无手势的时间内，热释电红外传感器检测不到人体的存在，此时间内，摄像设备暂不启动；若检测到人体位于设定区域，则启动摄像设备，代表此时用户需要通过手势向显示屏输入信号，
[0048]此外，为了避免热释电红外传感器的误动作，需要设定时间参数，也即是检测人体位于设定区域的时间参数是否大于设定时间参数，若大于则输出动作信号，反之，则不输出；为了满足多样化需求，摄像设备捕捉手势可以长时间关闭；
[0049]其次，按照设定时序间隔Δt，从视频流中提取出k个图像帧，其中，k≥1，且为正整数，例如：设定时序间隔Δt为0.1s，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显示屏的人机交互通信方法，其特征在于，该通信方法包括以下操作步骤：采集用户手势动作并生成初始手势动作信息；对获取的手势动作信息进行预处理，得到进阶手势动作信息；对得到的进阶手势动作信息进行特征处理，得到最终手势动作；在指令库中搜索与最终手势动作信息相匹配的控制指令，并向显示屏输入控制指令。2.根据权利要求1所述的一种显示屏的人机交互通信方法，其特征在于，在采集用户手势动作并生成初始手势动作信息的步骤中，包括：通过摄像设备获取用户手势动作的视频流；按照设定时序间隔Δt，从视频流中提取出k个图像帧，其中，k≥1，且为正整数；依序提取k个图像帧中与手势有关的信息，最终生成初始手势动作信息。3.根据权利要求2所述的一种显示屏的人机交互通信方法，其特征在于，在依序提取k个图像帧中与手势有关信息的步骤中，包括：建立背景模型，生成与单个图像帧尺寸相同的掩码图像；通过掩码图像确定k个图像帧中所对应的手势图像，然后利用背景模型去除每一图像帧的背景，以获取与k个图像帧所对应的k个手势图像。4.根据权利要求1所述的一种显示屏的人机交互通信方法，其特征在于，在对获取的手势动作信息进行预处理，得到进阶手势动作信息的步骤中，包括：对获取的所有图像帧进行去色处理，以减小手势动作信息的数据量；对去色后的图像帧进行图像增强处理，以增强图像帧中手势有关信息的图像特征；对图像增强处理后的图像帧进行去噪处理，以减少各种噪声的干扰，最终得到包含k个图像帧的进阶手势动作信息。5.根据权利要求4所述的一种显示屏的人机交互通信方法，其特征在于，所述对获取的手势动作信息进行去色处理的方式至少包括对图像帧的灰度化或二值化处理方式中的一种或者多种组合...

【专利技术属性】
技术研发人员：吴振涛，刘辉，赵鲜，何卉婷，
申请(专利权)人：广州炫视智能科技有限公司，
类型：发明
国别省市：