一种智能家居控制系统技术方案

本实用新型专利技术公开一种智能家居控制系统，包括虚拟现实设备、全息智能网关及服务器；全息智能网关用于采集用户的语音信息和深度图像传输至所述服务器，并基于服务器传输的显示信息显示全息影像、音频信号进行音频播放以及控制信息控制所述智能家居实现对应操作；虚拟现实设备用于根据用户的运动状态形成智能家居控制请求，并将所述智能家居控制请求传输至所述服务器；服务器用于接收所述全息智能网关传输的所述语音信息和深度图像以及所述虚拟现实设备传输的所述智能家居控制请求，处理得到对应的所述音频信号、所述显示信息和所述控制信息并传输至所述全息智能网关，本实用新型专利技术可根据用户的状态提供个性化的全息内容显示和智能家居控制。

A Smart Home Control System

The utility model discloses a smart home control system, which comprises a virtual reality device, a holographic intelligent gateway and a server; the holographic intelligent gateway is used for collecting voice information and depth image of users and transmitting them to the server, and displaying the holographic image and audio signal based on the display information transmitted by the server for audio playback and controlling the information to realize the smart home. The virtual reality device is used to form a smart home control request according to the user's motion state and transmit the smart home control request to the server; the server is used to receive the voice information and depth image transmitted by the holographic intelligent gateway and the smart home control request transmitted by the virtual reality device, and process the corresponding voice. The frequency signal, the display information and the control information are transmitted to the holographic intelligent gateway. The utility model can provide personalized holographic content display and intelligent home control according to the user's status.

【技术实现步骤摘要】
一种智能家居控制系统
本技术涉及智能网关
更具体地，涉及一种智能家居控制系统。
技术介绍
全息成像技术是利用制作完成的全息视频、显示器以及全息三角锥来达到空气中呈现三维立体影像的效果。但是目前用于家居控制的全息智能网关显示三维立体影像以及人机交互的方式没有实现智能化，即无法通过对用户的表情、身姿、语音情感等数据同时进行采集和分析并变换不同的内容，以满足用户人性化的需求。在人机交互技术上，传统的人机交互技术包括语音识别，手势识别，人脸识别等，可以对人体的不同输入动作给出不同的反馈。然而在给出反馈时，无法针对用户的行为特点进行分析，给出定制化的反馈。且当用户使用沉浸式头盔，沉浸在虚拟现实设备创造的虚拟沉浸式环境中，用户与真实世界的交互被阻断，存在一定的局限性。
技术实现思路
本技术的目的在于提供一种智能家居控制系统，以根据用户的状态提供个性化的全息内容显示和智能家居控制；解决用户在使用虚拟显示设备时无法控制智能家居的问题。为达到上述目的，本技术采用下述技术方案：本技术一方面公开了一种智能家居控制系统，包括虚拟现实设备、全息智能网关及服务器；所述全息智能网关与智能家居和所述服务器分别信号连接，用于采集用户的语音信息和深度图像传输至所述服务器，并基于服务器传输的显示信息显示全息影像、音频信号进行音频播放以及控制信息控制所述智能家居实现对应操作；所述虚拟现实设备用于根据用户的运动状态形成智能家居控制请求，并将所述智能家居控制请求传输至所述服务器；所述服务器用于接收所述全息智能网关传输的所述语音信息和深度图像以及所述虚拟现实设备传输的所述智能家居控制请求，对所述语音信息、深度图像和智能家居控制请求处理得到对应的所述音频信号、所述显示信息和所述控制信息并传输至所述全息智能网关。优选地，所述全息智能网关包括第一通信模块、中央处理模块、全息投影模块、语音模块以及身份识别模块；所述中央处理模块用于接收所述语音模块采集的用户语音信息，接收所述身份识别模块采集的用户深度图像信息，接收所述第一通信模块的所述智能家居的信息，并将所述显示信息传输至所述全息投影模块，将所述音频信号传输至所述语音模块以及将所述控制信息传输至所述第一通信模块；所述第一通信模块用于与所述服务器和所述智能家居进行信号连接和传输，将用户的语音信息和深度图像传输至所述服务器，并接收所述服务器传输的音频信号、显示信息和控制信息并传输至所述中央处理模块，以及将所述中央处理模块传输的控制信息传输至所述智能家居以使所述智能家居实现对应操作；所述语音模块用于采集用户的语音信息并传输至所述中央处理模块以及播放所述音频信号；所述身份识别模块用于采集用户的深度图像并传输至所述中央处理模块；所述全息投影模块用于根据所述显示信息进行全息投影，其中所述显示信息包括智能家居状态信息、所述身份识别模块识别结果的反馈信息、所属语音模块识别结果的反馈信息。优选地，所述第一通信模块包括ZigBee模块、红外模块、蓝牙模块和/或WiFi模块。优选地，中央处理模块为多线程CPU。优选地，所述全息投影模块包括用于传输显示信息的多媒体接口、与所述多媒体接口连接的显示屏以及用于将显示屏的图像进行全息投影的光学投影组件。优选地，所述语音模块包括扬声器以及多个麦克风。优选地，所述身份识别模块为与所述中央处理模块连接的深度摄像头。优选地，所述虚拟现实设备包括头戴显示器、激光定位器、运动传感器以及第二通信模块；所述激光定位器用于感测用户的位置状态并传输至所述头戴显示器；所述运动传感器用于感测用户的运动状态，并将所述运动状态传输至所述头戴显示器；所述头戴显示器用于向用户展示虚拟场景，根据用户的所述位置状态和所述运动状态形成智能家居控制请求并传输至所述第二通信模块；所述第二通信模块可与所述服务器信号连接，用于将所述智能家居控制请求传输至所述服务器。优选地，所述服务器包括操作系统、Web服务器、应用服务器、数据库、分布式缓存服务、消息队列和服务器后台。优选地，所述服务器用于接收所述全息智能网关传输的所述语音信息和深度图像以及所述虚拟现实设备传输的所述智能家居控制请求，通过基于卷积神经网络的图像分析模型处理所述深度图像得到人脸表情和用户年龄，根据所述人脸表情、用户年龄以及语音信息，通过基于机器学习的语音模型得到对应的音频信号、显示信息和控制信息。本技术的有益效果如下：本技术的智能家居控制系统中，虚拟现实设备可根据用户的运动状态形成智能家居控制请求，并将所述智能家居控制请求传输至所述服务器以对智能家居进行控制，本技术可解决虚拟现实设备阻断用户与真实世界的交互而导致用户在使用虚拟现实设备时无法控制智能家居的问题。同时，本技术基于用户的语音信息和深度图像等用户的状态进行全息图像显示，结合全息技术和人机交互技术针对用户的不同状态进行个性化定制。附图说明下面结合附图对本技术的具体实施方式作进一步详细的说明。图1示出本技术一种智能家居控制系统一个具体实施例的示意图。图2示出本技术一种智能家居控制系统一个具体实施例的工作流程图。具体实施方式为了更清楚地说明本技术，下面结合优选实施例和附图对本技术做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本技术的保护范围。图1所出本技术一种智能家居控制系统一个具体实施例的示意图，本实施例中，家居控制系统包括虚拟现实设备2、全息智能网关1及服务器3。其中，所述全息智能网关1与智能家居和所述服务器3分别信号连接，全息智能网关1可采集用户的语音信息和深度图像传输至所述服务器3，并基于服务器3传输的显示信息显示全息影像、音频信号进行音频播放以及控制信息控制所述智能家居实现对应操作。所述虚拟现实设备2可根据用户的运动状态形成智能家居控制请求，并将所述智能家居控制请求传输至所述服务器3。所述服务器3可接收所述全息智能网关1传输的所述语音信息和深度图像以及所述虚拟现实设备2传输的所述智能家居控制请求，对所述语音信息、深度图像和智能家居控制请求处理得到对应的所述音频信号、所述显示信息和所述控制信息并传输至所述全息智能网关1。本技术中的家居控制系统可结合全息技术和人机交互技术针对用户的不同状态进行个性化定制，家居控制器通过采集用户的语音信息和深度图像，并将语音信息和深度图像传输至服务器3，以使服务器3对用户的状态进行分析，可得到用户发出的家居控制指令、用户身份、用户表情以及用户动作等信息，生成或查找对应的音频信号、显示信息和家居控制信息并传输回全息智能网关1，全息智能网关1可根据显示信息向用户显示对应的全息图像，向用户传递家居控制的反馈信息。在用户使用虚拟现实设备时，虚拟现实设备可实时感测用户的运动状态，形成与用户的运动状态对应的智能家居控制请求，传输至服务器3，服务器3处理接收的智能家居控制请求并处理得到智能家居的控制信息传输至全息智能网关1，全息智能网关1进一步可根据所述控制信息实现对智能家居的控制，由此，本技术可在用户使用虚拟现实设备的同时实现对智能家居的控制，解决虚拟现实设备阻断用户与真实世界的交互而导致用户在使用虚拟现实设备本文档来自技高网...

【技术保护点】
1.一种智能家居控制系统，其特征在于，包括虚拟现实设备、全息智能网关及服务器；所述全息智能网关与智能家居和所述服务器分别信号连接，用于采集用户的语音信息和深度图像传输至所述服务器，并基于服务器传输的显示信息显示全息影像、音频信号进行音频播放以及控制信息控制所述智能家居实现对应操作；所述虚拟现实设备用于根据用户的运动状态形成智能家居控制请求，并将所述智能家居控制请求传输至所述服务器；所述服务器用于接收所述全息智能网关传输的所述语音信息和深度图像以及所述虚拟现实设备传输的所述智能家居控制请求，对所述语音信息、深度图像和智能家居控制请求处理得到对应的所述音频信号、所述显示信息和所述控制信息并传输至所述全息智能网关。

【技术特征摘要】
1.一种智能家居控制系统，其特征在于，包括虚拟现实设备、全息智能网关及服务器；所述全息智能网关与智能家居和所述服务器分别信号连接，用于采集用户的语音信息和深度图像传输至所述服务器，并基于服务器传输的显示信息显示全息影像、音频信号进行音频播放以及控制信息控制所述智能家居实现对应操作；所述虚拟现实设备用于根据用户的运动状态形成智能家居控制请求，并将所述智能家居控制请求传输至所述服务器；所述服务器用于接收所述全息智能网关传输的所述语音信息和深度图像以及所述虚拟现实设备传输的所述智能家居控制请求，对所述语音信息、深度图像和智能家居控制请求处理得到对应的所述音频信号、所述显示信息和所述控制信息并传输至所述全息智能网关。2.根据权利要求1所述的智能家居控制系统，其特征在于，所述全息智能网关包括第一通信模块、中央处理模块、全息投影模块、语音模块以及身份识别模块；所述中央处理模块用于接收所述语音模块采集的用户语音信息，接收所述身份识别模块采集的用户深度图像信息，接收所述第一通信模块的所述智能家居的信息，并将所述显示信息传输至所述全息投影模块，将所述音频信号传输至所述语音模块以及将所述控制信息传输至所述第一通信模块；所述第一通信模块用于与所述服务器和所述智能家居进行信号连接和传输，将用户的语音信息和深度图像传输至所述服务器，并接收所述服务器传输的音频信号、显示信息和控制信息并传输至所述中央处理模块，以及将所述中央处理模块传输的控制信息传输至所述智能家居以使所述智能家居实现对应操作；所述语音模块用于采集用户的语音信息并传输至所述中央处理模块以及播放所述音频信号；所述身份识别模块用于采集用户的深度图像并传输至所述中央处理模块；所述全息投影模块用于根据所述显示信息进行全息投影，其中所述显示信息包括智能家居状态信息、所述身份识别模块识别结果的反馈信息、所属语音模块识别结...

【专利技术属性】
技术研发人员：周慧玲，古晓巍，王宇东，蔡阔，李凯峰，
申请(专利权)人：北京邮电大学，国科瑞达北京科技有限公司，
类型：新型
国别省市：北京,11