基于嵌入式平台的体态识别及体感交互系统和方法技术方案

本发明专利技术涉及一种基于嵌入式平台的体态识别及体感交互系统和方法，所述系统包括：数据采集模块、数据处理模块、主控模块、通信模块和反馈模块；所述数据采集模块用于采集包含用户体态的二维图像信息；所述数据处理模块用于根据所述二维图像信息确定人体概要特征和图像区块，并根据所述人体概要特征和图像区块对用户体态动作进行分析识别，得到用户操作指令；所述主控模块用于将该用户操作指令通过通信模块传输至外部相应的受控设备，还用于根据该用户操作指令通过反馈模块向用户提供操作反馈信息。本发明专利技术基于嵌入式平台搭建，系统体积小、功耗低、集成度高，便于实际部署与应用；利用两组深度神经网络进行动作识别，提高了识别精度和系统响应速度。精度和系统响应速度。精度和系统响应速度。

【技术实现步骤摘要】
基于嵌入式平台的体态识别及体感交互系统和方法


[0001]本专利技术涉及体感交互
，具体涉及一种基于嵌入式平台的体态识别及体感交互系统和方法。

技术介绍

[0002]以手机、平板电脑为代表的嵌入式设备已经成为日常生活及工作中必不可少的工具，其功能也从简单的通信或轻量级的计算存储，扩展至移动办公、影音娱乐等多个领域。随着物联网技术的普及，以及嵌入式设备本身计算能力的提高，嵌入式设备越来越多地作为交互控制终端应用于各类系统及场景中。
[0003]传统的嵌入式设备通常以按键、触屏等硬件作为输入设备。近年来随着摄像头组件的微型化和软件技术的提高，越来越多的嵌入式设备采用摄像头作为输入设备，通过基于机器视觉的体感交互技术实现系统控制，从而为用户提供便捷、自然、准确且高效的交互体验。
[0004]从成像过程上，摄像头可大致分为单目摄像头和深度摄像头两类。其中，单目摄像头可理解为使用单一设备，从固定角度拍摄，得到目标的二维图像。深度摄像头则能够额外获得目标与摄像头之间的距离，即深度信息，能否直接获取目标的深度信息，是单目摄像头和深度摄像头间的主要区别。
[0005]目前基于摄像头的嵌入式设备体感交互方案中，深度摄像头成本通常较高，部分深度摄像头在强光下还存在一定应用限制。多摄像头方案在硬件部署上要求较高，部分场景难以满足。在基于单目摄像头的方案中，对于大视场、复杂环境下的应用场景仍以体态识别为主。而单目体态识别的网络模型及识别方法中，现有识别方法精度和速度欠佳，部分方法则是其他方法的简单叠加，针对嵌入式平台缺乏足够的优化。
[0006]此外，现有大部分方法通常以关键点提取或动作识别为最终目的，并未作为交互系统的一部分进行有机整合，未能将交互系统内容及预设操作作为先验知识作为输入。因此识别精度、识别速度及用户体验仍有提升空间。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种基于嵌入式平台的体态识别及体感交互系统和方法。
[0008]为实现以上目的，本专利技术采用如下技术方案：一种基于嵌入式平台的体态识别及体感交互系统，该系统基于嵌入式平台搭建，包括：
[0009]数据采集模块、数据处理模块、主控模块、通信模块和反馈模块；
[0010]所述数据采集模块、所述数据处理模块、所述通信模块和所述反馈模块分别与所述主控模块电连接；
[0011]所述数据采集模块用于采集包含用户体态的二维图像信息，并将所述二维图像信息通过所述主控模块发送至所述数据处理模块；
[0012]所述数据处理模块用于根据所述二维图像信息确定人体概要特征和图像区块，并根据所述人体概要特征和图像区块对用户体态动作进行分析识别，得到用户操作指令，并将所述用户操作指令传输至所述主控模块；
[0013]所述主控模块还用于将所述用户操作指令通过所述通信模块传输至外部相应的受控设备；所述主控模块还用于根据所述用户操作指令通过所述反馈模块向用户提供操作反馈信息。
[0014]可选的，所述数据处理模块根据所述二维图像信息确定人体概要特征和图像区块，包括：
[0015]所述数据处理模块利用人体检测网络根据所述二维图像信息对用户的人体概要特征进行检测，并对所述二维图像信息进行裁剪，得到仅包括人体的图像区块；
[0016]所述人体检测网络包括：第一卷积层、第一池化层、第一全链接层、第一激活函数和第二激活函数；
[0017]将一个或多个第一卷积层、一个第一池化层和一个第一激活函数结合作为一个第一特征提取单元，再将多个第一特征提取单元采取残差结构进行组合连接，多个第一特征提取单元组合连接后，再结合一个或多个第一全链接层及一个第二激活函数构成人体检测网络；
[0018]所述数据处理模块将每次的检测结果进行存储，以辅助后续检测分析。
[0019]可选的，所述人体检测网络的输入数据包括：二维图像信息、前序人体检测结果、系统状态及交互内容；
[0020]所述人体检测网络的输出数据包括：用户的人体概要特征和对应的图像区块；
[0021]所述人体检测网络训练时所使用的样本数据包括：多个特定数据包以及每个所述特定数据包对应的人体概要特征和图像区块；
[0022]其中，每个所述特定数据包包括：人体动作图像数据，系统状态和交互内容。
[0023]可选的，利用所述输入数据和所述输出数据对所述人体检测网络进行训练，包括如下步骤：
[0024]步骤11：收集各组人体动作图像数据；
[0025]步骤12：根据应用需求定义系统交互内容和系统状态；
[0026]步骤13：将各组人体动作图像数据与系统交互内容、系统状态绑定为数据包；
[0027]步骤14：标注各个数据包对应的人体概要特征和图像区块；
[0028]步骤15：将各个数据包依次输入人体检测网络进行计算，分别得到预估的人体概要特征和图像区块；
[0029]步骤16：将步骤15得到的预估的人体概要特征和图像区块与步骤14标注的人体概要特征和图像区块进行对比，得到预估结果误差；
[0030]步骤17：判断预估结果误差是否小于第一阈值；
[0031]步骤18：当预估结果误差大于等于第一阈值，根据步骤16得到的预估结果误差更新人体检测网络的参数；迭代执行步骤15至步骤18，直至预估结果误差小于第一阈值。
[0032]可选的，所述数据处理模块根据所述人体概要特征和图像区块对用户体态动作进行分析识别，包括：
[0033]所述数据处理模块利用体态识别网络根据所述人体概要特征和图像区块对用户
体态动作进行分析识别；
[0034]所述体态识别网络包括：第二卷积层、第二池化层、BN层、第二全链接层、第三激活函数和第四激活函数；
[0035]将一个或多个第二卷积层与一个第二池化层、一个BN层和一个第三激活函数结合作为一个第二特征提取单元，再由一个或多个第二特征提取单元结合一个或多个第二全链接层及一个第四激活函数构成体态识别网络；
[0036]所述数据处理模块将每次的识别结果进行存储，以辅助后续识别分析。
[0037]可选的，所述体态识别网络的输入数据包括：人体概要特征、图像区块、前序体态识别结果、系统状态及交互内容；
[0038]所述体态识别网络的输出数据包括：用户操作指令；
[0039]所述体态识别网络训练时所使用的样本数据包括：多个特定数据包以及每个所述特定数据包对应的用户操作指令；
[0040]其中，每个所述特定数据包包括：人体概要特征、对应的图像区块、系统状态和交互内容。
[0041]可选的，利用所述输入数据和所述输出数据对所述体态识别网络进行训练，包括如下步骤：
[0042]步骤21：收集各组人体概要特征和对应的图像区块；
[0043]步骤22：根据应用需求定义交互内容、系统状态和操作指令；
[0044]步骤23：将各组人体概要特征和对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于嵌入式平台的体态识别及体感交互系统，其特征在于，该系统基于嵌入式平台搭建，包括：数据采集模块、数据处理模块、主控模块、通信模块和反馈模块；所述数据采集模块、所述数据处理模块、所述通信模块和所述反馈模块分别与所述主控模块电连接；所述数据采集模块用于采集包含用户体态的二维图像信息，并将所述二维图像信息通过所述主控模块发送至所述数据处理模块；所述数据处理模块用于根据所述二维图像信息确定人体概要特征和图像区块，并根据所述人体概要特征和图像区块对用户体态动作进行分析识别，得到用户操作指令，并将所述用户操作指令传输至所述主控模块；所述主控模块还用于将所述用户操作指令通过所述通信模块传输至外部相应的受控设备；所述主控模块还用于根据所述用户操作指令通过所述反馈模块向用户提供操作反馈信息。2.根据权利要求1所述的体态识别及体感交互系统，其特征在于，所述数据处理模块根据所述二维图像信息确定人体概要特征和图像区块，包括：所述数据处理模块利用人体检测网络根据所述二维图像信息对用户的人体概要特征进行检测，并对所述二维图像信息进行裁剪，得到仅包括人体的图像区块；所述人体检测网络包括：第一卷积层、第一池化层、第一全链接层、第一激活函数和第二激活函数；将一个或多个第一卷积层、一个第一池化层和一个第一激活函数结合作为一个第一特征提取单元，再将多个第一特征提取单元采取残差结构进行组合连接，多个第一特征提取单元组合连接后，再结合一个或多个第一全链接层及一个第二激活函数构成人体检测网络；所述数据处理模块将每次的检测结果进行存储，以辅助后续检测分析。3.根据权利要求2所述的体态识别及体感交互系统，其特征在于，所述人体检测网络的输入数据包括：二维图像信息、前序人体检测结果、系统状态及交互内容；所述人体检测网络的输出数据包括：用户的人体概要特征和对应的图像区块；所述人体检测网络训练时所使用的样本数据包括：多个特定数据包以及每个所述特定数据包对应的人体概要特征和图像区块；其中，每个所述特定数据包包括：人体动作图像数据，系统状态和交互内容。4.根据权利要求3所述的体态识别及体感交互系统，其特征在于，利用所述输入数据和所述输出数据对所述人体检测网络进行训练，包括如下步骤：步骤11：收集各组人体动作图像数据；步骤12：根据应用需求定义系统交互内容和系统状态；步骤13：将各组人体动作图像数据与系统交互内容、系统状态绑定为数据包；步骤14：标注各个数据包对应的人体概要特征和图像区块；步骤15：将各个数据包依次输入人体检测网络进行计算，分别得到预估的人体概要特征和图像区块；
步骤16：将步骤15得到的预估的人体概要特征和图像区块与步骤14标注的人体概要特征和图像区块进行对比，得到预估结果误差；步骤17：判断预估结果误差是否小于第一阈值；步骤18：当预估结果误差大于等于第一阈值，根据步骤16得到的预估结果误差更新人体检测网络的参数；迭代执行步骤15至步骤18，直至预估结果误差小于第一阈值。5.根据权利要求1所述的体态识别及体感交互系统，其特征在于，所述数据处理模块根据所述人体概要特征和图像区块对用户...

【专利技术属性】
技术研发人员：陈豪，孙晅，王晓萌，
申请(专利权)人：北京壹体体育产业发展有限公司，
类型：发明
国别省市：