应用于智能家居中的人机交互方法及系统技术方案

本发明专利技术提供了一种应用于智能家居中的人机交互方法及系统，该人机交互方法包括：A.系统初始化；B.设备识别和空间定位；C.存储设备位置信息；D.设备选择动作识别；E.设备控制动作识别；F.设备执行相应的控制指令。本发明专利技术的有益效果是：本发明专利技术提出一种应用于智能家居中的人机交互系统完整设计方案，使用两台电脑模拟家居环境中的电视机和网络灯，引入深度摄像头对设备进行识别和定位、使用深度摄像头提取人体运动骨架对用户动作进行识别（包括选择设备和控制设备的动作指令），最后设备模拟界面响应控制指令。此方法简化了系统控制，可以应用于智能家居等环境中，使人机交互方式更加智能和便捷。

【技术实现步骤摘要】

本专利技术涉及人机交互
，尤其涉及应用于智能家居中的人机交互方法及系 统。
技术介绍
智能家居是一个对家庭设备实现智能控制和管理的系统。传统家居控制主要采用 遥控器和墙壁开关进行设备控制。遥控器按键较多，使设备控制繁琐，开关需要走到相应位 置才可以进行控制，若用户由于环境因素（如黑暗）无法确认按键和开关位置，就无法控制 设备。有些智能家居交互中，采用用户携带传感器的方式感应用户运动信息，基于此进行动 作识别，这无疑增加了生活的不便。
技术实现思路
为了解决现有技术中的问题，本专利技术提供了一种应用于智能家居中的人机交互方 法。 本专利技术提供了一种应用于智能家居中的人机交互方法，包括如下步骤：A.系统初始化； B.设备识别和空间定位； C.存储设备位置信息； D.设备选择动作识别，用于选择指定的设备；E.设备控制动作识别，用于识别用户的动作； F.设备执行相应的控制指令；G.判断动作控制是否结束，若是，那么退出，否则进行系统重置然后执行步骤A。 作为本专利技术的进一步改进，在所述步骤B中，设备识别包括如下步骤：B1.首先要将深度摄像头拍摄的彩色图像转换为二值图像，再进行轮廓查找，找到 当前图像中的所有轮廓；B2.对查找到的轮廓进行多边形近似，以一个多边形来近似表示一个轮廓，减少轮 廓的顶点数目；B3.筛选出轮廊中的所有矩形；B4.判断图像中的矩形是否为设备。 作为本专利技术的进一步改进，在所述步骤B3中包括如下步骤：B31.首先根据多边形逼近的结果判断顶点数目，筛选出所有顶点数目为4的轮 廓；B32.为轮廓构建向量，通过计算向量间夹角的余弦值来判断是否为矩形； 在所述步骤Μ中，判断图像中的矩形是否为设备通过如下条件： 矩形的长宽比是否接近设备； 矩形的面积是否在要求范围内； 根据矩形的颜色区分，包括矩形的中心像素值和平均像素值。 作为本专利技术的进一步改进，在所述步骤D中，设备选择包括如下步骤： D1.传入设备中心点坐标和手肘、手腕关节点坐标；D2.计算两台设备中心位置到手臂所在直线距离； D3.根据两台设备中心分别到手臂所在直线距离判断出用户选择的设备。 作为本专利技术的进一步改进，在所述步骤F中，首先将深度摄像头所获取的设备信 息依次存入存储模块的设备名称列表中，并依次存入其在深度摄像头拍摄范围内的空间坐 标；用户选择设备后，根据用户所选择的设备名称获取这一设备所支持的动作名称和对应 的控制指令；根据用户的动作名称查询此动作对应的控制命令，将控制命令发送给设备，设 备根据相应的指令进行界面切换。 本专利技术还公开了一种应用于智能家居中的人机交互系统，包括： 初始化模块，用于系统初始化； 设备识别定位模块，用于设备识别和空间定位； 存储模块，用于存储设备位置信息； 设备选择模块，用于选择指定的设备； 动作识别模块，用于识别用户的动作； 执行模块，用于设备执行相应的控制指令； 判断模块，用于判断动作控制是否结束，若是，那么退出，否则进行系统重置然后 执行初始化模块。 作为本专利技术的进一步改进，在所述设备识别定位模块中包括设备识别模块，所述 设备识别模块包括： 二值图像转换模块，用于将深度摄像头拍摄的彩色图像转换为二值图像，再进行 轮廓查找，找到当前图像中的所有轮廓； 轮廓近似模块，用于对查找到的轮廓进行多边形近似，以一个多边形来近似表示 一个轮廓，减少轮廓的顶点数目； 筛选模块，用于筛选出轮廊中的所有矩形；图像判断模块，用于判断图像中的矩形是否为设备。 作为本专利技术的进一步改进，在所述筛选模块中包括： 顶点筛选模块，用于根据多边形逼近的结果判断顶点数目，筛选出所有顶点数目 为4的轮廓； 矩形判断模块，用于为轮廓构建向量，通过计算向量间夹角的余弦值来判断是否 为矩形； 在所述图像判断模块中，判断图像中的矩形是否为设备通过如下条件： 矩形的长宽比是否接近设备； 矩形的面积是否在要求范围内； 根据矩形的颜色区分，包括矩形的中心像素值和平均像素值。 作为本专利技术的进一步改进，在所述设备选择模块中包括： 坐标模块，用于传入设备中心位置坐标和手肘、手腕关节点坐标； 计算模块，用于计算两台设备中心到手臂所在直线距离；设备选择判断模块，用于根据两台设备中心分别到手臂所在直线距离判断出用户 选择的设备。作为本专利技术的进一步改进，在所述执行模块中，首先将深度摄像头所获取的设备 信息依次存入存储模块的设备名称列表中，并依次存入其在深度摄像头拍摄范围内的空间 坐标；用户选择设备后，根据用户所选择的设备名称获取这一设备所支持的动作名称和对 应的控制指令；根据用户的动作名称查询此动作对应的控制命令，将控制命令发送给设备， 设备根据相应的指令进行界面切换。本专利技术的有益效果是：本专利技术提出一种应用于智能家居中的人机交互系统完整设 计方案，使用两台电脑模拟家居环境中的电视和网络灯，引入深度摄像头对设备进行识别 和定位、使用深度摄像头提取人体运动骨架对用户动作进行识别（包括选择设备和控制设 备的动作指令），最后设备模拟界面响应控制指令。此方法不需要使用遥控器或传感器， 易操作，简化了系统控制，可以应用于类似智能家居环境中，使人机交互方式更加智能和便 捷。【附图说明】图1是本专利技术的系统架构图。图2是本专利技术的方法流程图。图3是本专利技术的设备识别流程图。图4是本专利技术的设备D的像素位置示意图。图5是本专利技术的设备D的空间位置示意图。图6是本专利技术的设备选择示意图。图7是本专利技术的设备到指向距离示意图。图8是本专利技术的设备选择判断流程图。图9是本专利技术的动作识别流程图。图10是本专利技术的设备信息存储架构图。【具体实施方式】 如图1所示，本专利技术公开了一种应用于智能家居中的人机交互方法及系统。 1.随着计算机的普及范围越来越广，传统的人机交互设备如键盘、鼠标、游戏操纵 杆等设备给人带来很多不便之处，人们希望人机交互方式能够更符合人类日常交流习惯， 比如让计算机仅通过观察人的表情、姿态或者手势就能够理解人的意图，其中应用于智能 家居环境中的人机交互最具有应用前景。这种直观的操作方式，突破传统家居的空间限制， 使用户能够随心所欲地控制居住环境，为用户的家庭生活提供更为宽广的交互空间和舒适 的操作体验。基于此背景，本专利技术提出一种应用于智能家居中的人机交互系统完整设计方 案，使用两台电脑模拟家居环境中的电视和网络灯，引入深度摄像头对设备进行识别和定 位、使用深度摄像头提取人体运动骨架对用户动作进行识别（包括选择设备和控制设备的 动作指令），最后设备模拟界面响应控制指令。此方法简单易操作，简化了系统控制，可以应 用于类似智能家居环境中，使人机交互方式更加智能和便捷。本专利技术在家居环境中引入深度摄像头，其最重要的特点就是可以感知场景深度信 息变化，并且像佩戴式传感器一样精准的釆集人体关节点三维数据，基于此可以获取人体 的运动模型。而且此款摄像头采用红外光编码测距获取深度，不受环境光线的变化，基于深 度信息可以有效屏蔽复杂背景的干扰，所以在光线较暗或者背景复杂的环境中也可以对设 备进行控制。这是单纯的基于视觉的摄像头所不容易实现的。 本专利技术模拟家居客厅环境，由设备端和控制点端组成局域网当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种应用于智能家居中的人机交互方法，其特征在于，包括如下步骤：A.系统初始化；B.设备识别和空间定位；C.存储设备位置信息；D.设备选择动作识别，用于选择指定的设备；E.设备控制动作识别，用于识别用户的动作；F.设备执行相应的控制指令；G.判断动作控制是否结束。若是，那么退出；否则进行系统重置然后执行步骤A。

【技术特征摘要】

【专利技术属性】
技术研发人员：汪洋，郝黎，洪志云，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东;44