一种基于传感器数据的深度学习脚步检测方法技术

本发明专利技术中提出的一种基于传感器数据的深度学习脚步检测方法，其主要内容包括：数据输入、模态迁移、迁移学习、图像分类，其过程为，采用预训练的卷积神经网络模型，首先对步态数据集进行预处理，分离噪声后，重新调整大小为229×229；接下来，拟合边界框切割预处理后的图像；然后，利用最大帧法、平均法和序列分析法进行图像提取；最后由预训练的Inception‑v3模型迁移学习提取的图像，获得分类后的结果。本发明专利技术由于采用预训练的网络模型，节省大量的计算资源和时间；利用迁移学习的概念，从而避开在执行各种没有标记数据集的其他任务无法学习的限制；获得的分类精度达到90％左右，优于常规机器学习方法超过12％。

Depth learning footstep detection method based on sensor data

The present invention in a sensor data based on the depth of learning step detection method, its main contents include: data input, modal transfer, transfer learning, image classification, the process, using convolutional neural network model of pre training, first of all to set in gait data preprocessing, noise separation, resizing 229 * 229; next, the bounding box fitting cutting image after preprocessing; then, using the maximum frame method, average method and sequence analysis method for image extraction; finally by Inception V3 model of pre training learning migration image extraction, classification of the results obtained. Because the network model with pre training, save a lot of computing resources and time; using the concept of transfer learning, so as to avoid other tasks in the implementation of various unlabeled data set to learn constraints; the classification accuracy obtained reached about 90%, more than 12% is better than that of the conventional machine learning methods.

【技术实现步骤摘要】
一种基于传感器数据的深度学习脚步检测方法
本专利技术涉及计算机视觉领域，尤其是涉及了一种基于传感器数据的深度学习脚步检测方法。
技术介绍
随着科技技术迅速发展，卷积神经网络已经成为各种计算机视觉任务中的最先进的技术。日常生活环境中存在的传感器产生大量的数据，它们提供用于活动识别和上下文感知模型的信息。使用深度学习的方法从原始传感器数据提取有用信息，能有效执行分类、识别和分割相关的任务，但这些技术需要大量的标记数据以便于训练这些非常深的网络，且对于各种其他任务仍没有很多标记的数据集。而且存在视觉上不易解释的数据类型，如传感器数据。而如果采用基于传感器数据的深度学习脚步检测方法，则可以利用迁移学习和模态转移的思想，将传感器数据迁移到图像域后，有效分类脚步图像，还可以应用于诸如智能环境和健康场景中的自动监视，如跑步、睡觉、步行等身体活动监测，分析步态模式，生物活动监测如呼吸检测、进食检测等。本专利技术提出了一种基于传感器数据的深度学习脚步检测方法，它采用预训练的卷积神经网络模型，首先对步态数据集进行预处理，分离噪声后，重新调整大小为229×229；接下来，拟合边界框切割预处理后的图像；然后，利用最大帧法、平均法和序列分析法进行图像提取；最后由预训练的Inception-v3模型迁移学习提取的图像，获得分类后的结果。本专利技术由于采用预训练的网络模型，节省大量的计算资源和时间；利用迁移学习的概念，从而避开在执行各种没有标记数据集的其他任务无法学习的限制；获得的分类精度达到90％左右，优于常规机器学习方法超过12％。
技术实现思路
针对网络模型训练困难和数据不易可视化解释的问题，本专利技术的目的在于提供一种基于传感器数据的深度学习脚步检测方法。为解决上述问题，本专利技术提供一种基于传感器数据的深度学习脚步检测方法，其主要内容包括：(一)数据输入；(二)模态迁移；(三)迁移学习；(四)图像分类。其中，一种基于传感器数据的深度学习脚步检测方法，使用压力传感器数据，在视觉上不易解释的数据类型，并且不清楚是否可以可视化解释；将传感器模态迁移到图像形式的视觉域，并利用预先训练的深度卷积神经网络识别二维传感器数据；把二维传感器的输出迁移到压力分布成像，实现模态迁移，得到迁移的图像数据；利用预先训练的卷积神经网络对迁移的图像数据进行迁移学习，从而执行脚步检测、识别任务。其中，所述的数据输入，选取由人在压力敏矩阵上行走获取的脚步数据作为步态数据集，该数据集由13个人的脚步样本组成；每个人的每个步行序列中记录2-3个脚步，每人最少记录12个样本；每个步行序列是用一个特定的人的ID标记的单独数据序列，ID定义了卷积神经网络的类标签，总共包括529个脚步。其中，所述的模态迁移，包括预处理、位置归一化和图像提取；将传感器的原始数据，即120×54个二维压力映射的时间序列线性地迁移为灰度色彩图，其中每个像素表示感知点，更亮的颜色对应于更高的压力；完整的脚步由压力映射帧的序列构成，每个帧对应脚步的某一时刻；沿着时间维度分割每个脚步并且找到每个脚步的单独时刻；其他传感器数据同样可以应用上述模态迁移的思路。进一步地，所述的预处理，通过将每个帧迁移为二进制帧并应用自适应阈值来将脚步与背景噪声分离；对于阈值，将帧的像素值分类成组数为10的直方图，并且阈值被确定为最高值组的下一个组的中心值。进一步地，所述的位置归一化，首先找到所有帧的最大边界框，它包围每个单独脚步，确保属于同一脚步的所有时刻都由该边界框包围；对于同一脚步，使用相同大小的边界框来捕获和提取所有的时刻，从而利用边界框切割不相关的部分。进一步地，所述的图像提取，在拟合边界框后采用最大帧法、平均法和序列分析法进行图像提取；最大帧法，从每个样本的帧序列中捕获最大帧，将其迁移为相应的图像并用类ID标记它；从步态数据集中提取总共529个模态迁移后的图像；平均法，对单个样本的序列中的所有帧进行平均操作，并找到平均像素值的对应图像；平均帧携带脚步的所有时刻的时间信息，有助于建立更有效的特征集合；序列分析法，使用样本的帧序列的所有分量并将它们迁移成图像；每个帧携带原始值，并且提供比前面两种方法更多的颗粒度；测试得到的分类结果显示，采用序列分析方法达到的精度最高，达到90％左右。其中，所述的迁移学习，使用Inception-v3模型作为预训练的卷积神经网络模型，移除模型中的分类层或将分类层用作特征描述符，并添加新的分类层；然后调整输入图像大小以适应卷积神经网络输入的大小(229×229)，通过经由网络向前传播输入来计算整个网络的激活。进一步地，所述的Inception-v3模型，体系结构包括3个卷积层，其后是一个池层，3个卷积层，10个Inception块和一个最终的完全连接层，共17层；通过训练网络对数据进行迁移学习，从完全连接层提取激活，每个输入可以得到一个2048维的输出，解释为序列中每个帧的描述符。其中，所述的图像分类，采用预训练的卷积神经网络模型对模态迁移后得到的脚步图像进行迁移学习，经由最大帧、平均帧或序列分析处理得到的数据序列，重新调整大小后作为网络的输入，最后输出该脚步图像属于某个人的ID分类结果，达到90％左右的识别精度；本专利模型不限于压力传感器数据，其他传感器数据同样可以使用。附图说明图1是本专利技术一种基于传感器数据的深度学习脚步检测方法的系统流程图。图2是本专利技术一种基于传感器数据的深度学习脚步检测方法的迁移后的脚步图像示意图。图3是本专利技术一种基于传感器数据的深度学习脚步检测方法的最大或平均帧的传递示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。图1是本专利技术一种基于传感器数据的深度学习脚步检测方法的系统流程图。主要包括数据输入；模态迁移；迁移学习；图像分类。其中，所述的数据输入，选取由人在压力敏矩阵上行走获取的脚步数据作为步态数据集，该数据集由13个人的脚步样本组成；每个人的每个步行序列中记录2-3个脚步，每人最少记录12个样本；每个步行序列是用一个特定的人的ID标记的单独数据序列，ID定义了卷积神经网络的类标签，总共包括529个脚步。其中，所述的模态迁移，包括预处理、位置归一化和图像提取；将传感器的原始数据，即120×54个二维压力映射的时间序列线性地迁移为灰度色彩图，其中每个像素表示感知点，更亮的颜色对应于更高的压力；完整的脚步由压力映射帧的序列构成，每个帧对应脚步的某一时刻；沿着时间维度分割每个脚步并且找到每个脚步的单独时刻；其他传感器数据同样可以应用上述模态迁移的思路。进一步地，所述的预处理，通过将每个帧迁移为二进制帧并应用自适应阈值来将脚步与背景噪声分离；对于阈值，将帧的像素值分类成组数为10的直方图，并且阈值被确定为最高值组的下一个组的中心值。进一步地，所述的位置归一化，首先找到所有帧的最大边界框，它包围每个单独脚步，确保属于同一脚步的所有时刻都由该边界框包围；对于同一脚步，使用相同大小的边界框来捕获和提取所有的时刻，从而利用边界框切割不相关的部分。进一步地，所述的图像提取，在拟合边界框后采用最大帧法、平均法和序列分析法进行图像提取；最大帧法，从每个样本的帧序列中捕获最大帧，将其迁移本文档来自技高网...

【技术保护点】
一种基于传感器数据的深度学习脚步检测方法，其特征在于，主要包括数据输入(一)；模态迁移(二)；迁移学习(三)；图像分类(四)。

【技术特征摘要】
1.一种基于传感器数据的深度学习脚步检测方法，其特征在于，主要包括数据输入(一)；模态迁移(二)；迁移学习(三)；图像分类(四)。2.基于权利要求书1所述的一种基于传感器数据的深度学习脚步检测方法，其特征在于，使用压力传感器数据，在视觉上不易解释的数据类型，并且不清楚是否可以可视化解释；将传感器模态迁移到图像形式的视觉域，并利用预先训练的深度卷积神经网络识别二维传感器数据；把二维传感器的输出迁移到压力分布成像，实现模态迁移，得到迁移的图像数据；利用预先训练的卷积神经网络对迁移的图像数据进行迁移学习，从而执行脚步检测、识别任务。3.基于权利要求书1所述的数据输入(一)，其特征在于，选取由人在压力敏矩阵上行走获取的脚步数据作为步态数据集，该数据集由13个人的脚步样本组成；每个人的每个步行序列中记录2-3个脚步，每人最少记录12个样本；每个步行序列是用一个特定的人的ID标记的单独数据序列，ID定义了卷积神经网络的类标签，总共包括529个脚步。4.基于权利要求书1所述的模态迁移(二)，其特征在于，包括预处理、位置归一化和图像提取；将传感器的原始数据，即120×54个二维压力映射的时间序列线性地迁移为灰度色彩图，其中每个像素表示感知点，更亮的颜色对应于更高的压力；完整的脚步由压力映射帧的序列构成，每个帧对应脚步的某一时刻；沿着时间维度分割每个脚步并且找到每个脚步的单独时刻；其他传感器数据同样可以应用上述模态迁移的思路。5.基于权利要求书4所述的预处理，其特征在于，通过将每个帧迁移为二进制帧并应用自适应阈值来将脚步与背景噪声分离；对于阈值，将帧的像素值分类成组数为10的直方图，并且阈值被确定为最高值组的下一个组的中心值。6.基于权利要求书4所述的位置归一化，其特征在于，首先找到所有帧的最大边界框，它包围每个单独脚步，确保属于同一脚步的所有时刻都由该边界框包围；...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44