多模态智能家居控制系统及方法技术方案

本发明专利技术公开了多模态智能家居控制系统及方法，主要以微型主机为底层实现平台，结合各类感知设备，将接收到的声音、图像等信息经过处理转换成对应家用电器的红外控制信号，从而实现智能化控制，整个实现框架可以分为三个模块：管理模块、感知模块、控制模块；以微型主机作为信号接收和处理平台，实现了语音、手势等指令和红外控制信号之间的转换，在不对传统家居进行改造的情况下实现了家居控制的智能化，这种方式大大降低了家居设备智能升级的成本，并且提供了更加便捷、人性化的服务，与市场中常见的智能家居设备相比，实现了一套完整的家居设备智能化的方法体系，并且提供了友好的用户管理接口，用户可以方便的对设备进行控制和管理，可以满足不同的应用场景和需求。

【技术实现步骤摘要】
多模态智能家居控制系统及方法
本专利技术涉及物联网和自动控制
，具体为多模态智能家居控制系统及方法。
技术介绍
近些年来，随着物联网、人工智能、自动控制等技术的迅速发展，使得智能家居逐渐走进人们的日常生活。传统的家用电器大多采用红外线遥控器的方式进行控制。这种控制方式的缺点在于必须使用遥控器作为控制设备，而且每一种电器都必须配备特定指令的遥控器，除此之外，一旦遥控器损坏或者遗失，会带来诸多不便。而智能家居家居在传统家居设备的基础上增加了感知和通信模块，并且采用语音、手势等更加方便的控制方式，可以给人们带来更加高效、快捷、人性化的居家体验。目前，人们正处在一个从传统家居向智能家居过渡的时期。由于智能家居的价格较为昂贵，所以目前还没有大规模普及，针对目前存在的大量的传统家居，一种替代的解决方案是是在其基础上增加智能化控制模块，使其实现类似于智能家居的功能。但是，这种方式的成本较高且需要对设备进行改造，除此之外，目前还没有较为完善的体系和方法去解决传统智能家居的智能化控制问题。
技术实现思路
本专利技术的目的在于提供多模态智能家居控制系统及方法，以解决上述
技术介绍
中提出的传统家用电器大多数必须采用红外线遥控器的方式进行控制；没有较为完善的体系和方法去解决传统智能家居的智能化控制问题为实现上述目的，本专利技术提供如下技术方案：多模态智能家居控制系统及方法，主要以微型主机为底层实现平台，结合各类感知设备，将接收到的声音、图像等信息经过处理转换成对应家用电器的红外控制信号，从而实现智能化控制，整个实现框架可以分为三个模块：管理模块、感知模块、控制模块。优选的，所述的管理模块为系统提供统一的web访问配置界面，用户可以通过手机PC等终端设备对其进行访问并对相关的资源进行配置，该web应用提供的服务包括：（1）对访问用户的身份进行认证，并且提供对用户的管理，包括增、删、改、查；（2）对家居设备进行管理，包括设备的增、删、改、查，设备的编号，以及设备红外控制信息的导入和修改；（3）用户可以自定义红外控制信息手势指令之间的关联；（4）用户可以通过远程终端设备来对该web应用进行访问，并且对家居设备进行控制。优选的，所述的感知模块的主要作用感知控制信号，并对其进行处理，所述的控制信号主要红外线、语音、图像：（1）感知红外线信号采用红外线接收装置，该装置可以接收各类家居设备的遥控器发射的红外控制信号，从而获取到其不同控制指令的编码信息，通过这种方式可以复制各类家居设备的红外控制信号，从而实现其他控制指令与红外控制信号之间的关联；（2）感知语音信号采用麦克风阵列，除此之外，感知模块还提供对语音信号的处理和识别；（3）感知图像信息采用摄像头，所述的图像信息主要是指手势，感知模块通过摄像头拍摄到用户的手势动作，并对其进行处理和识别。优选的，所述的控制模块的主要作用是将从感知层采集并处理过的语音或图像信号与对应设备的红外控制信号进行关联，例如，采集到的语音信号为“打开空调”，则控制模块需要匹配该设备对应的红外控制信号，并将其进行编码，再通过红外信号发射装置将该信息发射出去，实现对设备的控制。与现有技术相比，本专利技术的有益效果是：多模态智能家居控制系统及方法包括：语音控制（通过语音给控制平台下达指令）、手势控制（通过摆出相应的手势给控制平台下达指令）、通过远程访问管理模块提供的web应用接口实现对家居设备的控制。本专利技术以微型主机作为信号接收和处理平台，实现了语音、手势等指令和红外控制信号之间的转换，在不对传统家居进行改造的情况下实现了家居控制的智能化。这种方式大大降低了家居设备智能升级的成本，并且提供了更加便捷、人性化的服务，与市场中常见的智能家居设备相比，具有以下优势：本专利技术实现了一套完整的家居设备智能化的方法体系，并且提供了友好的用户管理接口，用户可以方便的对设备进行控制和管理，本专利技术提供多模态的智能家居控制方式，可以满足不同的应用场景和需求。附图说明图1多模态智能家居控制系统结构示意图；图2多模态智能家居控制系统模块功能示意图；图3多模态智能家居控制系统整体框架示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-3，本专利技术提供一种技术方案：多模态智能家居控制系统及方法所述的多模态智能家居控制系统结构如图1所示，所述的微型主机平台为树莓派，包含的主要部件有摄像头、红外线接收和发射装置、麦克风阵列、网络通信模块等，摄像头模块复杂采集用户的手势信息，并交由系统平台进行处理；红外接收装置负责接收红外控制信息，并对其进行解码；红外发射装置负责发射红外控制信息，对家用设备进行控制；麦克风阵列负责采集用户语音信息，并提高至系统平台进行处理；网络通信模块负责与家庭网关进行通信连接，方便用户对web服务接口进行访问。多模态智能家居控制系统各模块的功能如图2所示，以下根据该图，对模块中各个功能的的实现进行详细介绍。管理模块提供用户管理功能，系统管理员具有最高权限，可以对用户进行管理，普通用户可以进行注册，经管理员认证后，注册用户可以对系统进行访问，同时也具有对系统资源进行配置和管理的功能，注册用户登录web应用需要通过用户名、密码进行验证，防止未授权登录。管理模块提供设备管理功能，用户登录web应用界面，可对家居设备进行管理，包括增、删、改、查，每添加一个设备之前需要对其进行编号，同时需要导入该设备对应的红外控制信号编码，每一个信号编码对应一项操作，可以根据设备遥控器中的指令进行配置，导入红外控制信号一般有两种方式：如果产品厂家提供指令编码文件，可以根据该文件自行导入；如果产品厂家未提供指令编码文件，可以利用感知模块中的红外信号接收装置对遥控器中的红外指令进行解码，具体操作在感知模块中进行介绍。管理模块提供指令管理功能，在录入红外控制指令编码之后，用户可以自定这些指令编码与手势控制指令之间的关联。系统提供各种常见的手势，用户可以将其与控制指令绑定。管理模块提供远程控制功能，远程控制功能需要借助一些内网穿透工具来实现，如花生壳等，将这些内网穿透工具部署完毕，用户可以通过域名或者IP地址等方式对该系统的web服务进行远程访问，并且可以对家用设备进行控制。感知模块提供红外信号接收和处理功能，当无法从产品厂家获取设备红外控制信号的编码时，需要用户自行对遥控器中的控制信号进行解码，具体操作是：在web应用界面开启红外信号解码功能，此时系统的红外信号接收装置便开启了，将设备遥控器的红外发射器近距离对准系统的红外信号接收装置，每次按下遥控器的一个按钮，系统的红外信号接收装置便可将其信号进行解码，每次只录制一个指令信号，并进行记录，重复本文档来自技高网...

【技术保护点】
1.多模态智能家居控制系统及方法，主要以微型主机为底层实现平台，结合各类感知设备，将接收到的声音、图像等信息经过处理转换成对应家用电器的红外控制信号，从而实现智能化控制，整个实现框架可以分为三个模块：管理模块、感知模块、控制模块。/n

【技术特征摘要】
1.多模态智能家居控制系统及方法，主要以微型主机为底层实现平台，结合各类感知设备，将接收到的声音、图像等信息经过处理转换成对应家用电器的红外控制信号，从而实现智能化控制，整个实现框架可以分为三个模块：管理模块、感知模块、控制模块。


2.根据权利要求1所述的多模态智能家居控制系统及方法，其特征在于：所述的管理模块为系统提供统一的web访问配置界面，用户可以通过手机PC等终端设备对其进行访问并对相关的资源进行配置，该web应用提供的服务包括：
（1）对访问用户的身份进行认证，并且提供对用户的管理，包括增、删、改、查；
（2）对家居设备进行管理，包括设备的增、删、改、查，设备的编号，以及设备红外控制信息的导入和修改；
（3）用户可以自定义红外控制信息手势指令之间的关联；
（4）用户可以通过远程终端设备来对该web应用进行访问，并且对家居设备进行控制。


3.根据权利要求1所述的多模态智能家居控制系统及方法，其特征在于...

【专利技术属性】
技术研发人员：余方超，方贤进，张又文，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：安徽;34