基于二维激光雷达的增维手势识别与交互系统及方法技术方案

本发明专利技术提出一种基于二维激光雷达的增维手势识别与交互系统及方法，包括激光雷达摆动模块、三维点云重建模块、图化模块，手势识别与特征提取模块、多帧比较模块和交互控制模块。通过摆动的激光雷达获得数据，在三维点云重建模块的数据中获得周期信息，以此进行第三维数据估计，获得三维点云。将每周期点云经过图化模块图化。在手势识别与特征提取模块用训练好的网络进行手势识别，并在图化后的图中进行特征提取。多帧比较模块识别长时间和多手势组合的手势。交互控制模块完成意图识别与交互控制。本发明专利技术结构简单、精度高、性价比高。本发明专利技术所述的交互方法可以应用于多种场合和多种应用之中，具有很高的灵活性。

【技术实现步骤摘要】
基于二维激光雷达的增维手势识别与交互系统及方法
本专利技术属于人机交互、激光雷达领域，应用于演示和互动中的手势识别实现交互，尤其涉及一种基于二维激光雷达的增维手势识别与交互系统及方法。
技术介绍
随着多媒体技术深入人们的生活，AR、VR技术的发展，应用于其中的交互技术也在快速的变化发展。对交互技术的可靠性，易用性，无感性和使用体验的沉浸性提出了更高的需求。人机交互技术也不再局限于简单的键盘鼠标等按键操作，更多先进的交互技术如体感交互，手势交互，表情交互，姿态交互被提出和应用，甚至脑机接口这样的也被广泛关注和研究。随着激光雷达技术的发展，激光雷达凭借其精度高、稳定性好的特点得到了广泛的应用。低成本的二维激光雷达更是让激光雷达技术在很多领域的应用没有了成本的限制。在演示和互动中基于手势识别的交互技术是一个非常有前景的技术。其中基于的图像的方法比较流行，相较于基于摄像的图像的手势识别，激光雷达能够提供更加精确的位置，角度等信息，这为更高精度的交互技术提供了可能。
技术实现思路
针对现有技术的不足，本专利技术的目的是提供一种基于二维激光雷达的增维手势识别与交互系统及方法。利用在二维激光雷达上增加一个摆动的附件，实现雷达的增维，通过对此三维点云的分析实现手势识别与意图分析，从而实现交互。包括激光雷达摆动模块、三维点云重建模块、图化模块，手势识别与特征提取模块、多帧比较模块和交互控制模块。通过摆动的激光雷达获得数据，在三维点云重建模块的数据中获得周期信息，以此进行第三维数据估计，获得三维点云。将每周期点云经过图化模块图化。在手势识别与特征提取模块用训练好的网络进行手势识别，并在图化后的图中进行特征提取。多帧比较模块识别长时间和多手势组合的手势。交互控制模块完成意图识别与交互控制。本专利技术结构简单、精度高、性价比高。本专利技术提供的交互方法可以应用于多种场合和多种应用之中，具有很高的灵活性。本专利技术具体采用以下技术方案：一种基于二维激光雷达的增维手势识别与交互系统，其特征在于，包括：激光雷达摆动模块、三维点云重建模块、图化模块，手势识别与特征提取模块、多帧比较模块和交互控制模块；所述激光雷达摆动模块控制激光雷达在与旋转平面存在夹角的摆动平面上进行角度固定的往复摆动；所述三维点云重建模块以激光雷达的扫描数据作为输入，进行三维点云重建，包括：周期计算模块、第三维插值模块、坐标转换模块、区域识别模块；所述周期计算模块用于标定和记录激光雷达每个摆动周期的起始；所述第三维插值模块用于对每一个二维点进行摆动角度的估计，获得第三维的分量；所述坐标转换模块用于将极坐标转换为直角坐标；所述区域识别模块用于在所有扫描点中分辨出位于手势识别区域内的点，用于手势识别；所述图化模块利用三维点云携带的信息，对已经进行第三维插值并且被区域识别模块选中的点云进行图形化，保留手势的信息，包括手势的位置和形态，保证之后的手势识别与特征提取模块可以获取准确的信息。所述手势识别与特征提取模块通过图化的点云图经过机器学习训练完成的神经网络识别出手势，提取出手势所在位置和手势的角度特征；所述多帧比较模块根据手势识别与特征提取模块识别的手势，将连续动作或由多个手势构成的动作进行比较；所述交互控制模块将手势识别与特征提取模块和/或多帧比较模块的结果转换为对应的意图，根据预设的交互方式，完成交互的控制。其可以与其他配套的软硬件进行结合，完成预期的交互操作。优选地，所述旋转平面和摆动平面相互垂直。优选地，所述第三维插值模块插入的是摆动角度的值θ，公式如下：其中，N为一个周期内扫描的总的点数，n为当前扫描点在整个周期中是第几个扫描点，θmax为最大摆动角度。优选地，所述手势识别区域为长方体形区域。其可以映射为一个屏幕或其他视野区域，通过手势与手势位置和屏幕进行交互。优选地，所述图化模块将长方体识别区域从底部高度到顶部高度分为若干级，对应若干个灰度值，将点云的点的高度信息根据其在底部高度到顶部高度中的比例确定为若干个灰度值的一个，在其在x、y的位置上延伸出一个由z转换成的灰度值的像素，形成灰度图。优选地，所述交互控制模块在长方体形区域内定义有确认操作面。即在一些操作中只有当手超过这个面之后操作才被确认；控制模块根据要控制的内容设定一个交互语言库，交互语言为交互控制模块和要交互的对象都认可和使用的交互方式，并且可以通过这个方式实现相应的功能。如果手势的输入在交互语言库存在，那么就通过交互控制模块实施相应的交互控制。优选地，所述激光雷达摆动模块只提供摆动，而不提供摆动角度的数据，装置包括：激光雷达固定装置、支座、活动套筒和转盘；所述激光雷达固定装置通过第一铰链安装在支座上；所述转盘的转动平面与支座垂直；所述活动套筒的套筒端与转盘偏心连接，连杆端通过第二铰链连接激光雷达固定装置的边沿。其通过特别设计的结构，使摆动周期的某一个时期可以使扫描到的一部分点的距离有一个突变。使周期计算子模块扫通过分析扫描到的一部分点的距离有的周期性突变获得周期。优选地，所述周期计算模块标定激光雷达每个摆动周期的起始，基于激光雷达固定装置在激光雷达扫描方向上的第一开孔，以及开设在支座上对应位置的第二开孔。优选地，在所述激光雷达摆动模块和激光雷达的工作过程中，三维点云重建模块工作过程包括以下步骤：步骤S1：所述周期计算模块对采集的扫描点进行分析，将所述第一开孔和第二开孔位置重合时产生的最大跳变扫描点作为参照，以相邻两个最大跳变点作为一个周期，记录一个周期中扫描到的总点数；步骤S2：所述三维插值模块采用如下公式进行插值：其中，θ为摆动角度的值，N为一个周期内扫描的总的点数，n为当前扫描点在整个周期中是第几个扫描点，θmax为最大摆动角度；步骤3：所述坐标转换模块根据激光雷达摆动角度θ、激光雷达旋转角度α、激光雷达测距距离l构成的极坐标，以及坐标转换公式：x＝lcosαsinθ,y＝lsinα,z＝lcosαcosθ；将极坐标系转换为直角坐标系；步骤4：所述区域识别模块对位于手势识别区域的点进行识别。与现有技术相比，本专利技术及其优选方案有如下有益效果：1、本专利技术方案的构建基于二维激光雷达作为测量传感器，其价格较便宜，数据精度高、测得数据可靠；2、本专利技术不要求摆动模块提供第三维即摆动角度这一参数，完全依靠独立的二维激光雷达的数据进行三维扫描，摆动附件可以是简单的机械构造，不需要另外的数据数测定与传输部分，使系统硬件系统更加简化，降低成本；3、本专利技术不仅可以进行手势识别，还可以获得手势位置和角度信息，使交互可以更加精细化；4、用本专利技术所述的交互方法可以应用于多种场合和多种应用之中，具有很高的灵活性。附图说明下面结合附图和具体实施方式对本专利技术进一步详细的说明：图1为本专利技术实施例的系统结构框图；图2为本专利技术实施例的激光雷达摆动模块示意图；图3为本本文档来自技高网...

【技术保护点】
1.一种基于二维激光雷达的增维手势识别与交互系统，其特征在于，包括：激光雷达摆动模块、三维点云重建模块、图化模块，手势识别与特征提取模块、多帧比较模块和交互控制模块；/n所述激光雷达摆动模块控制激光雷达在与旋转平面存在夹角的摆动平面上进行角度固定的摆动；/n所述三维点云重建模块以激光雷达的扫描数据作为输入，进行三维点云重建，包括：周期计算模块、第三维插值模块、坐标转换模块、区域识别模块；所述周期计算模块用于标定和记录激光雷达每个摆动周期的起始；所述第三维插值模块用于对每一个二维点进行摆动角度的估计，获得第三维的分量；所述坐标转换模块用于将极坐标转换为直角坐标；所述区域识别模块用于在所有扫描点中分辨出位于手势识别区域内的点；/n所述图化模块利用三维点云携带的信息，对已经进行第三维插值并且被区域识别模块选中的点云进行图形化，保留手势的信息，包括手势的位置和形态；/n所述手势识别与特征提取模块通过图化的点云图经过机器学习训练完成的神经网络识别出手势，提取出手势所在位置和手势的角度特征；/n所述多帧比较模块根据手势识别与特征提取模块识别的手势，将连续动作或由多个手势构成的动作进行比较；/n所述交互控制模块将手势识别与特征提取模块和/或多帧比较模块的结果转换为对应的意图，根据预设的交互方式，完成交互的控制。/n...

【技术特征摘要】
1.一种基于二维激光雷达的增维手势识别与交互系统，其特征在于，包括：激光雷达摆动模块、三维点云重建模块、图化模块，手势识别与特征提取模块、多帧比较模块和交互控制模块；
所述激光雷达摆动模块控制激光雷达在与旋转平面存在夹角的摆动平面上进行角度固定的摆动；
所述三维点云重建模块以激光雷达的扫描数据作为输入，进行三维点云重建，包括：周期计算模块、第三维插值模块、坐标转换模块、区域识别模块；所述周期计算模块用于标定和记录激光雷达每个摆动周期的起始；所述第三维插值模块用于对每一个二维点进行摆动角度的估计，获得第三维的分量；所述坐标转换模块用于将极坐标转换为直角坐标；所述区域识别模块用于在所有扫描点中分辨出位于手势识别区域内的点；
所述图化模块利用三维点云携带的信息，对已经进行第三维插值并且被区域识别模块选中的点云进行图形化，保留手势的信息，包括手势的位置和形态；
所述手势识别与特征提取模块通过图化的点云图经过机器学习训练完成的神经网络识别出手势，提取出手势所在位置和手势的角度特征；
所述多帧比较模块根据手势识别与特征提取模块识别的手势，将连续动作或由多个手势构成的动作进行比较；
所述交互控制模块将手势识别与特征提取模块和/或多帧比较模块的结果转换为对应的意图，根据预设的交互方式，完成交互的控制。


2.根据权利要求1所述的基于二维激光雷达的增维手势识别与交互系统，其特征在于：所述旋转平面和摆动平面相互垂直。


3.根据权利要求1所述的基于二维激光雷达的增维手势识别与交互系统，其特征在于：
所述第三维插值模块插入的是摆动角度的值θ，公式如下：



其中，N为一个周期内扫描的总的点数，n为当前扫描点在整个周期中是第几个扫描点，θmax为最大摆动角度。


4.根据权利要求1所述的基于二维激光雷达的增维手势识别与交互系统，其特征在于：所述手势识别区域为长方体形区域。


5.根据权利要求4所述的基于二维激光雷达的增维手势识别与交互系统，其特征在于：所述图化模块将长...

【专利技术属性】
技术研发人员：李建微，占家旺，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35