基于体感信息的实时自适应智能楼宇系统技术方案

一种基于体感信息的实时自适应智能楼宇系统，包含智能家居和智能办公等范畴，系统的主要模块构成是用户端传感器模块、语音识别系统、视频分析系统、云端数据库、云端服务器、移动边缘计算网关及控制模块；用户端传感器模块包括健康数据采集传感器、声音传感器以及视觉传感器；健康传感器获取用户身体健康数据，声音传感器主要是充当麦克风接收用户声波信息，视觉传感器获取使用环境内的图像信息；用户端传感器模块与移动边缘计算网关、语音识别系统及视频分析系统相连，用户端传感器模块通过有线或无线连接将声音数据传输给语音识别系统、将图像信息传输给视频分析系统进行预处理。本发明专利技术能够在无人介入下实时监测人体健康数据并调整室内环境。

【技术实现步骤摘要】
基于体感信息的实时自适应智能楼宇系统
本专利技术涉及一种智能楼宇系统，特别是涉及一种基于人体健康传感信息的实时自适应智能楼宇系统。
技术介绍
智能家居系统目前分为有线和无线模式。有线信号通过有线方法连接，接线复杂，成本高，维护困难，组网不容易等缺点使有线智能家居无法大规模实施。目前市面上各大公司的智能设备仍有不足之处：智能音箱可以迎合人们喜好播放音乐，但若设备未被唤醒则无法响应语音控制；智能手环是健康传感器中较为成熟的一种系统，人的运动状况、心率、血压、血氧等数据能够被它实时监控，用户都够直接通过手环或者APP直接查看当前数据。美中不足的是，现有的智能手环只能获取当前的健康数据并存储作为历史数据，将数据显示给使用者，通过使用者本身的判断，分析当前或以往是否有意外情况，而缺少对未来的预测。并且当用户想要了解自身健康情况时需要手动触发手环测量或者设置固定的采样频率测量，缺少根据用户自身的健康情况而自动调整测量的方式，这也是导致用户使用一段时间后丢弃手环的原因之一。目前的智能家居控制系统主要是指令式控制的，需要通过开关、遥控设备控制系统，没有通过人体的体感信息对楼宇内的设备进行智能调控。智能建筑比普通建筑具有更好的信息接收和响应能力，用户对不同环境功能的需求可以得到更好的满足。
技术实现思路
本专利技术要克服现有技术的上述缺点，通过在无人为介入的条件下来调整室内环境，给用户提供一套能够实时监测人体健康数据并通过体感信息智能调控电器的自适应楼宇系统。本专利技术能够实现当用户在使用过程中出现心率过快或者体温、血压、血氧等数据出现不正常时跳出提醒用户注意；当用户有久坐或超负荷工作时，会提醒用户进行适当的放松运动；通过语音识别用户声音状况可以分析用户性别和年龄等特征，并结合视频分析发现用户情绪不佳时可以播放有助于调整情绪的音乐或脱口秀节目等；医护人员或管理员能够在后台管理系统实时查看用户的所有历史健康数据，能够更快的了解患者身体情况。本专利技术致力于研究根据健康传感器实时采集的健康数据来判断用户当前的身体状况，包括接触式和非接触式的判断方法，并通过分析人体健康数据来控制楼宇内的智能电器，改变智能家居的工作状态，实现以人为本、以家庭成员或工作团队成员为核心的健康舒适的智能楼宇系统，力求做到以用户体验为核心，自主分析用户情况并自动控制管理的功能，从而满足人们的根本需求。为了达到上述目的，本专利技术的技术方案是：一种基于体感信息的实时自适应智能楼宇系统，包含智能家居和智能办公等范畴，系统的主要模块构成是用户端传感器模块、语音识别系统、视频分析系统、云端数据库、云端服务器、移动边缘计算网关及控制模块。用户端传感器模块包括健康数据采集传感器(心率、血压、血氧、体温、加速度等传感器)、声音传感器以及视觉传感器。健康传感器获取用户身体健康数据，声音传感器主要是充当麦克风接收用户声波信息，视觉传感器获取使用环境内的图像信息。用户端传感器模块与移动边缘计算网关、语音识别系统及视频分析系统相连，用户端传感器模块通过有线或无线连接(蓝牙、WiFi、Zigbee、Z-wave等)将声音数据传输给语音识别系统、将图像信息传输给视频分析系统进行预处理。其中，语音识别系统对语音传感器上传的声音数据进行预处理具体是：语音识别系统收到声音数据后进行数据建模，建立声音数据集，对声音数据集进行标注，一部分作为训练数据放入卷积神经网络形成分类器，另一部分作为测试数据形成测试集，将分类器与测试集进行比对，不断优化，提高识别的准确率。将声波转化为数字之后采样到分类器，分类器根据语速、音频等进行分类处理，然后调用长传输协议将数据传入移动边缘计算网关。视频分析系统对视觉传感器上传的图像数据进行预处理具体是：视频分析系统收到图像数据后进行数据建模，通过Dlib获取用户面部特征点，结合Tensorflow获取用户姿态特征，利用卷积神经网络对视频信息探测到的人体信息进行一定时间的训练，形成一个分类器供云端服务器载入使用，并分析行为和表情信息和特定的个人信息。通过onvif协议进行无线通讯，将该数据通过网络和相应的移动边缘计算网关进行连接，移动边缘网关接受数据后进行分类存储。移动边缘计算网关与用户端传感器模块、语音识别系统、视频识别系统、数据融合模块、云端服务器和云端数据库相连。用户端传感器将实时监测到的体感数据发送到移动边缘计算网关进行预处理，然后将数据上传到云端数据库，云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，将处理完的数据转发到移动边缘网关的数据融合模块，利用数据融合技术进行分析，移动边缘计算网关将数据发送给控制模块生成指令消息，终端设备便通过指令实现控制智能家居。其中，移动边缘计算网关对传感器上传的体感数据进行预处理具体是：移动边缘计算网关接收到传感器通过基站发送的数据后进行分类存储，将实时监测到的数据(标记为P1,P2,…,PN)在本地计算出一段时间内的平均值λ＝(P1+P2+…+PN)/N。云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，具体包括分析识别、数据同步两个步骤。1)分析识别：云端服务器读取数据库中的数据，调用语音识别程序载入分类器，判断出用户当前声音性质，包括分析所属性别、年龄、声音状况等；调用视频分析程序载入分类器，将特征值与测试库中的数据进行比对，返回探测到的最有可能的行为和表情，然后通过探测到的人脸，进行人脸库比对得出行为的归属人，将行为和表情信息和特定的个人信息；调用健康传感分析程序，使用规则引擎绑定指定的信息，进行数据存储，判断用户的呼吸速率、心率、脑电和体表温度等特征分析用户当前处于什么状态。2)数据同步：云端服务器将数据通过mqtt长传输协议下发到各个边缘网关，边缘网关接受后调用分类器将声音识别信息、图像识别信息分别存储于语音识别系统、视频分析程序部分。云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，具体是：移动边缘计算网关从云端取出数据进行清洗得到满足质量要求的数据。涉及到异常检测过程要对异常值进行过滤，其中包括泊松算法、条形聚类算法、平均算法以及中位数算法等。异常值抓取详见如下过程：1)当前监测的数据为X1，X2，…，XN，由上述第一步得出平均值λ；2)假设x是当前检查的值，λ为数据集的平均值，由以下公式建立一个正常值模型：3)将数据集中最高的标记为，由以下公式算出一个得分，若x偏离了λ1，则得分与给定的越不匹配，则异常越多。将处理完的数据转发到移动边缘网关的数据融合模块，利用数据融合技术进行分析，具体是：对用户进行行为分析。将清洗后的数据在云端数据库存储，通过机器学习算法分析历史健康数据，得到数据走向(如图5所示)，在云端管理员界面中监控并分析，实现预测效果和智能动态调整测量。将融合分析后的数据通过函数计算进行处理，调用API设置设备属性，移动边缘计算网关将数据发送给控制模块生成指令消息，设备端便可以通过指令实现控制智能家居，通过综合判断用户的呼吸速率、心率、脑电和体表温度等特征分析用户当前处于什么状态，比如判断出用户是深度睡眠状态，则控制室温为最宜睡眠温度。本专利技术的核心技术是在云端利用卷积神经网络对用户端传感器探测到的人体信息进行处理建模，采用机器学习本文档来自技高网...

【技术保护点】
1.一种基于体感信息的实时自适应智能楼宇系统，其特征在于：包含智能家居和智能办公等范畴，系统的主要模块构成是用户端传感器模块、语音识别系统、视频分析系统、云端数据库、云端服务器、移动边缘计算网关及控制模块；用户端传感器模块包括健康数据采集传感器(心率、血压、血氧、体温、加速度等传感器)、声音传感器以及视觉传感器；健康传感器获取用户身体健康数据，声音传感器主要是充当麦克风接收用户声波信息，视觉传感器获取使用环境内的图像信息；用户端传感器模块与移动边缘计算网关、语音识别系统及视频分析系统相连，用户端传感器模块通过有线或无线连接(蓝牙、WiFi、Zigbee、Z‑wave等)将声音数据传输给语音识别系统、将图像信息传输给视频分析系统进行预处理；其中，语音识别系统对语音传感器上传的声音数据进行预处理具体是：语音识别系统收到声音数据后进行数据建模，建立声音数据集，对声音数据集进行标注，一部分作为训练数据放入卷积神经网络形成分类器，另一部分作为测试数据形成测试集，将分类器与测试集进行比对，不断优化，提高识别的准确率；将声波转化为数字之后采样到分类器，分类器根据语速、音频等进行分类处理，然后调用长传输协议将数据传入移动边缘计算网关；视频分析系统对视觉传感器上传的图像数据进行预处理具体是：视频分析系统收到图像数据后进行数据建模，通过Dlib获取用户面部特征点，结合Tensorflow获取用户姿态特征，利用卷积神经网络对视频信息探测到的人体信息进行一定时间的训练，形成一个分类器供云端服务器载入使用，并分析行为和表情信息和特定的个人信息；通过onvif协议进行无线通讯，将该数据通过网络和相应的移动边缘计算网关进行连接，移动边缘网关接受数据后进行分类存储；移动边缘计算网关与用户端传感器模块、语音识别系统、视频识别系统、数据融合模块、云端服务器和云端数据库相连；用户端传感器将实时监测到的体感数据发送到移动边缘计算网关进行预处理，然后将数据上传到云端数据库，云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，将处理完的数据转发到移动边缘网关的数据融合模块，利用数据融合技术进行分析，移动边缘计算网关将数据发送给控制模块生成指令消息，终端设备便通过指令实现控制智能家居；其中，移动边缘计算网关对传感器上传的体感数据进行预处理具体是：移动边缘计算网关接收到传感器通过基站发送的数据后进行分类存储，将实时监测到的数据(标记为P1,P2,…,PN)在本地计算出一段时间内的平均值λ＝(P1+P2+…+PN)/N；云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，具体包括分析识别、数据同步；1)分析识别：云端服务器读取数据库中的数据，调用语音识别程序载入分类器，判断出用户当前声音性质，包括分析所属性别、年龄、声音状况等；调用视频分析程序载入分类器，将特征值与测试库中的数据进行比对，返回探测到的最有可能的行为和表情，然后通过探测到的人脸，进行人脸库比对得出行为的归属人，将行为和表情信息和特定的个人信息；调用健康传感分析程序，使用规则引擎绑定指定的信息，进行数据存储，判断用户的呼吸速率、心率、脑电和体表温度等特征分析用户当前处于什么状态；2)数据同步：云端服务器将数据通过mqtt长传输协议下发到各个边缘网关，边缘网关接受后调用分类器将声音识别信息、图像识别信息分别存储于语音识别系统、视频分析程序部分；云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，具体是：移动边缘计算网关从云端取出数据进行清洗得到满足质量要求的数据；涉及到异常检测过程要对异常值进行过滤，其中包括泊松算法、条形聚类算法、平均算法以及中位数算法等；异常值抓取详见如下过程：S1.当前监测的数据为X1，X2，…，XN，由上述第一步得出平均值λ；S2.假设x是当前检查的值，λ为数据集的平均值，由以下公式建立一个正常值模型：...

【技术特征摘要】
1.一种基于体感信息的实时自适应智能楼宇系统，其特征在于：包含智能家居和智能办公等范畴，系统的主要模块构成是用户端传感器模块、语音识别系统、视频分析系统、云端数据库、云端服务器、移动边缘计算网关及控制模块；用户端传感器模块包括健康数据采集传感器(心率、血压、血氧、体温、加速度等传感器)、声音传感器以及视觉传感器；健康传感器获取用户身体健康数据，声音传感器主要是充当麦克风接收用户声波信息，视觉传感器获取使用环境内的图像信息；用户端传感器模块与移动边缘计算网关、语音识别系统及视频分析系统相连，用户端传感器模块通过有线或无线连接(蓝牙、WiFi、Zigbee、Z-wave等)将声音数据传输给语音识别系统、将图像信息传输给视频分析系统进行预处理；其中，语音识别系统对语音传感器上传的声音数据进行预处理具体是：语音识别系统收到声音数据后进行数据建模，建立声音数据集，对声音数据集进行标注，一部分作为训练数据放入卷积神经网络形成分类器，另一部分作为测试数据形成测试集，将分类器与测试集进行比对，不断优化，提高识别的准确率；将声波转化为数字之后采样到分类器，分类器根据语速、音频等进行分类处理，然后调用长传输协议将数据传入移动边缘计算网关；视频分析系统对视觉传感器上传的图像数据进行预处理具体是：视频分析系统收到图像数据后进行数据建模，通过Dlib获取用户面部特征点，结合Tensorflow获取用户姿态特征，利用卷积神经网络对视频信息探测到的人体信息进行一定时间的训练，形成一个分类器供云端服务器载入使用，并分析行为和表情信息和特定的个人信息；通过onvif协议进行无线通讯，将该数据通过网络和相应的移动边缘计算网关进行连接，移动边缘网关接受数据后进行分类存储；移动边缘计算网关与用户端传感器模块、语音识别系统、视频识别系统、数据融合模块、云端服务器和云端数据库相连；用户端传感器将实时监测到的体感数据发送到移动边缘计算网关进行预处理，然后将数据上传到云端数据库，云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，将处理完的数据转发到移动边缘网关的数据融合模块，利用数据融合技术进行分析，移动边缘计算网关将数据发送给控制模块生成指令消息，终端设备便通过指令实现控制智能家居；其中，移动边缘计算网关对传感器上传的体感数据进行预处理具...

【专利技术属性】
技术研发人员：刘子瑜，张智，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33