一种基于多特征提取与融合的头势识别算法制造技术

本发明专利技术公开了一种基于多特征提取与融合的头势识别算法，包括：利用RGB相机采集的视频数据，并进行数据增强，得到训练集；使用稠密光流算法从训练集中得到稠密光流图片序列，将训练集的原图片序列和提取的稠密光流图片序列分别输入RGB特征提取3DInceptionV2通道和光流特征提取3DInceptionV2通道，并进行特征交叉融合；通过3DInception模块提取融合特征的高维动作特征；通过迭代训练神经网络参数，得到3DInceptionV2网络模型参数；用RGB相机采集待识别的RGB视频数据，得到待测集，通过稠密光流算法获取稠密光流图片序列，待测集图片序列和稠密光流图片序列数据并行输入加载模型参数的双流3DInceptionV2网络中，获得对应的头势识别结果。本发明专利技术拥有更好的便携性、易用性且易于功能扩展。且易于功能扩展。且易于功能扩展。

【技术实现步骤摘要】
一种基于多特征提取与融合的头势识别算法


[0001]本专利技术涉及人机交互
，特别涉及一种基于多特征提取与融合的头势识别算法。

技术介绍

[0002]人机交互是实现用户和机器之间信息交换的通路，现有交互方式主要有触控操作、手势识别、语音识别等，自然的人机交互方式是机器人智能化关键技术之一。头势识别是人与人传递特定语义，携带一些副语言信息的交互方式，通过对头部动作进行识别，可以更好地理解用户的语义，还可以通过头部动作进行机器人行为控制，所以头势识别是人机交互必不可少的分支。对大部分护理机器人来说，头势识别可以作为交互的基础组成部分，而头势是人类常用的交互方式，常常用来表示否定或肯定意愿，因此头势识别在机器人控制、人机交流等领域具有广泛的应用性。
[0003]现有技术在这方面的成果不多，如授权公告号CN101889928B的专利技术公开了一种基于头势识别技术的轮椅控制方法，在轮椅车体上安装图像采集设备、计算及控制单元、支架及电机。当使用轮椅时，图像采集设备实时的采集轮椅使用者的头部图像并传输至计算及控制单元中。计算单元通过对图像进行处理、分析和计算，得到人脸和鼻子的位置信息，并据此判断使用者的头部姿势。根据所获取的头部姿势，由计算及控制单元产生对应的控制命令。最后电机根据得到的控制命令，驱动轮椅运动。
[0004]上述现有技术主要依靠判断鼻子位置来确定头势，局限性较大，识别精确度低。

技术实现思路

[0005]针对现有技术识别精度低的问题，本专利技术提供了一种基于多特征提取与融合的头势识别算法，同时利用稠密光流算法获取的动作信息和RGB存在的空间信息并训练双流3DInceptionV2网络获取更多的头部动作高维度特征，从而得到头势识别模型，在获取实时头部动作之后，通过均匀取帧获取关键运动信息，再根据训练的模型，快速准确地获取用户的头部动作类别。
[0006]以下是本专利技术的技术方案。
[0007]一种基于多特征提取与融合的头势识别算法，包括以下步骤：利用RGB相机采集的视频数据，并进行数据增强，得到训练集；使用稠密光流算法从训练集中得到稠密光流图片序列，将训练集的原图片序列和提取的稠密光流图片序列分别输入RGB特征提取3DInceptionV2通道和光流特征提取3DInceptionV2通道，并进行特征交叉融合；通过3DInception模块提取融合特征的高维动作特征；通过迭代训练神经网络参数，得到3DInceptionV2网络模型参数；用RGB相机采集待识别的RGB视频数据，得到待测集，通过稠密光流算法获取稠密光流图片序列，待测集图片序列和稠密光流图片序列数据并行输入加载模型参数的双流3DInceptionV2网络中，获得对应的头势识别结果。
[0008]本专利技术利用3DInceptionV2网络提取高维、高表征的动作特征，将动作特征获取的
计算转移到网络训练过程中，使得头势识别拥有更好的便携性、易用性且易于功能扩展。
[0009]作为优选，所述数据增强包括：对视频数据进行随机角度旋转、随机裁剪、随机调节亮度和随机调节对比度，并在视频中选取中间帧以前的任意一帧为起始帧，截取一半帧数的图像序列，得到帧数是原视频一半的若干图像序列作为训练集。牺牲部分帧数，以扩充训练集，可以大幅增加数据量。
[0010]作为优选，所述训练集的稠密光流图片序列的获得过程包括：使用稠密光流算法提取训练集中相邻两帧图片之间的稠密光流数据，训练集中n帧光流图片序列可获得n-1帧稠密光流图片序列，复制训练集中原第一帧填充到稠密光流图片序列中，获得最终的n帧稠密光流图片序列。
[0011]作为优选，所述特征交叉融合包括：通过特征图交叉融合通道将两个3DInceptionV2网络分别提取的RGB特征与光流特征进行交叉融合；将交叉融合的特征通过3D卷积和3D池化对融合特征进行特征提取与融合。
[0012]作为优选，所述待测集的获取过程还包括降采样：将获得的待识别的RGB视频数据每隔1帧进行采样处理，得到帧数为原有一半的待测集。
[0013]作为优选，所述待测集的稠密光流图片序列的获得过程包括：使用稠密光流算法提取待测集相邻两帧图片之间的稠密光流数据，其中m帧光流图片序列可获得m-1帧稠密光流图片序列，复制原第一帧填充到稠密光流图片序列中，获得最终的m帧稠密光流图片序列。
[0014]作为优选，所述RGB相机采样帧率为30fps/s，每次采集时长在2s以内。
[0015]作为优选，所述训练集和待测集的获得过程还包括格式统一步骤：每帧图片的长宽比例缩放成最短边为112像素的大小，并居中裁剪成112
×
112大小的图片。
[0016]本专利技术的实质性效果包括：同时利用稠密光流算法获取的动作信息和RGB存在的空间信息并训练双流3DInceptionV2网络获取更多的头部动作高维度特征，从而得到头势识别模型，在获取实时头部动作之后，通过均匀取帧获取关键运动信息，再根据训练的模型，快速准确地获取用户的头部动作类别，该方法利用3DInceptionV2网络提取高维、高表征的动作特征，将动作特征获取的计算转移到网络训练过程，使得头势识别拥有更好的便携性、易用性且易于功能扩展。本专利技术还可以训练其他肢体动作数据，从而可以应用到更多的场景。
附图说明
[0017]图1是本专利技术实施例的流程示意图。
具体实施方式
[0018]下面将结合实施例，对本申请的技术方案进行描述。另外，为了更好的说明本专利技术，在下文中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本专利技术同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未做详细描述，以便于凸显本专利技术的主旨。
[0019]实施例：一种基于多特征提取与融合的头势识别算法的流程图，包括：利用RGB相机采集的视频
数据，并进行数据增强，得到训练集；使用稠密光流算法从训练集中得到稠密光流图片序列，将训练集的原图片序列和提取的稠密光流图片序列分别输入RGB特征提取3DInceptionV2通道和光流特征提取3DInceptionV2通道，并进行特征交叉融合；通过3DInception模块提取融合特征的高维动作特征；通过迭代训练神经网络参数，得到3DInceptionV2网络模型参数；用RGB相机采集待识别的RGB视频数据，得到待测集，通过稠密光流算法获取稠密光流图片序列，待测集图片序列和稠密光流图片序列数据并行输入加载模型参数的双流3DInceptionV2网络中，获得对应的头势识别结果。
[0020]本实施例采用如图1所示的流程，具体包括以下详细步骤：步骤一：使用帧率为30fps/s的RGB相机尽可能多地采集2s左右的头部动作视频数据用于网络训练。
[0021]步骤二：将视频均匀采集成帧率为16fps/s，时长为2s的视频，采集的视频最终含有32帧图像数据。
[0022]步骤三：将视频进行随机小角度旋转、随机裁剪、随机调节亮度和对比度对数据进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征提取与融合的头势识别算法，其特征在于，包括以下步骤：利用RGB相机采集的视频数据，并进行数据增强，得到训练集；使用稠密光流算法从训练集中得到稠密光流图片序列，将训练集的原图片序列和提取的稠密光流图片序列分别输入RGB特征提取3DInceptionV2通道和光流特征提取3DInceptionV2通道，并进行特征交叉融合；通过3DInception模块提取融合特征的高维动作特征；通过迭代训练神经网络参数，得到3DInceptionV2网络模型参数；用RGB相机采集待识别的RGB视频数据，得到待测集，通过稠密光流算法获取稠密光流图片序列，待测集图片序列和稠密光流图片序列数据并行输入加载模型参数的双流3DInceptionV2网络中，获得对应的头势识别结果。2.根据权利要求1所述的一种基于多特征提取与融合的头势识别算法，其特征在于，所述数据增强包括：对视频数据进行随机角度旋转、随机裁剪、随机调节亮度和随机调节对比度，并在视频中选取中间帧以前的任意一帧为起始帧，截取一半帧数的图像序列，得到帧数是原视频一半的若干图像序列作为训练集。3.根据权利要求1或2所述的一种基于多特征提取与融合的头势识别算法，其特征在于，所述训练集的稠密光流图片序列的获得过程包括：使用稠密光流算法提取训练集中相邻两帧图片之间的稠密光流数据，训练集中n帧光流图片序列可获得n-1帧稠密光流图片序列，复制训练集中原第一帧填...

【专利技术属性】
技术研发人员：谢佳龙，张波涛，王煜升，吴秋轩，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：