一种基于音频和视频的智能家居自然交互系统技术方案

本发明专利技术公开了一种结合音频和视频传感器的智能家居交互系统，主要包括前端、中央处理单元、后端和云端四部分。所述前端包括麦克风和摄像头系统、第三方传感器接口、和反馈模块。其用于收集声音和图像信号等信息，及显示系统反馈。所述中央处理单元包括音频、视频、第三方的信号处理、信息提取和信息融合模块。其用于对收集到的声音和视觉等信号进行处理，利用机器学习的方法获取有用指令信息。所述后端包括室内控制信号发射模块和云端服务器通信模块。其用于将获取的指令转为可发射信号；同时为系统提供通信通道。所述云端为云端服务器，提供计算、存储、通信资源等。该系统具有高度自然的人机交互特性，大大提高了控制家电和获取信息的便捷性。

【技术实现步骤摘要】

本专利技术涉及信息
，具体涉及到一种基于音频和视频技术的智能家庭自然 交互系统。
技术介绍
在物联网和人工智能的技术浪潮下，智能家居技术发展十分迅速，出现了许多的 智能家庭相关的硬件产品，如Nest的智能恒温器和烟雾报警器，飞利浦的Hue智能灯泡，海 尔的智能冰箱，August的智能锁等等。这些智能设备极大地满足了人们对家庭设备的控制 需求。然而，这些设备缺少统一的控制标准和接口。一般来说，它们各自拥有一套独立的 系统和相配套的控制方法，例如手机App。这种不兼容给用户带来的是多次重复操作等控 制复杂性。鉴于此，Apple发布了自己的控制平台Homekit，三星开发了 Smart Home平台， Quicky有Wink以及Relay平台等，这些平台或设备在一定程度上提高了对智能设备操控的 便捷性。然而，现有的这些平台或设备均采用比较单一的语音控制，或者智能手机控制等。 在很多情况下，这些单一互动方式都不能实现与家庭设备自然地交互。 经查询，专利公开号为CN102298443的系统和控制方法采用了读取唇语的方法来 辅助家庭环境下的语音识别系统。然而，唇语识别极大地受到用户的角度、位置、光照等限 制，实际应用中很难达到较高的识别率，从而影响用户体验。同时，该系统没有对外开放的 接口和云端服务平台，这大大局限了该系统的的扩展性和使用范围。
技术实现思路
为了克服对现有智能家庭设备控制上的不足，本专利技术提供了一套基于音频和视频 的智能家庭交互系统。相比现有的家庭设备控制和交互系统，本专利技术采用语音和图像相结 合的手段来达到更加自然、健壮的人机交互体验；提供了统一的信息分析和融合平台，可以 很好地扩展和兼容其它智能家居厂商的产品，使用户操作更加自然和便捷。 本专利技术为解决上述问题所采用的的具体技术方案如下： 一种基于音频和视频的智能家居交互控制系统，主要包括前端、中央处理单元、后端和 云端。前端包括了音频和视频等信息搜集模块，如麦克风系统和摄像头系统、第三方传感器 接口、以及反馈显示模块。中央处理单元包括音频信号处理和信息提取模块、视频信号处理 和信息提取模块、第三方信号处理和信息提取接口模块、信息融合模块。后端包括了控制信 号发射模块、与云端服务器通信模块。云端为云端服务器。 所述麦克风系统为麦克风阵列。它通过特定的采样频率和编码方式实时收集家庭 环境下的声音信息，并将原始的音频信号传递给音频信号分析及信息提取模块。 所述音频信号分析及信息提取模块，用于对搜集到的声音信号进行降噪、降回音、 声源分离等前期处理，并进行声源定位、说话人识别、语音唤醒、以及语音识别和指令检测 等处理。 首先，Kalman滤波器对每一个声音通道的信号进行初步除噪，并进行端点检测，切 割信号；分割出来的信号可能存在多声源混合的情况，所述模块通过非负矩阵算法将不同 声源分开，提取出目的声源；继而，信号通过GCC delay-and-sum beamforming算法进行多 声道的降噪降回音技术抑制噪声和回音。 在应用多声道噪声和回声抑制技术的同时，所述的声源定位系统利用不同声道及 收到的信号时间差（TDOA)来确定声源的位置。当声源确定后，系统会根据说话人位置自动 调整方向，使本专利技术的系统和用户处于相对合适的角度。 而后，经降噪降回音处理后的信号会输入到所述的说话人确认模块。该模块用于 判断用户是否具有系统的使用权。该模块采用i-vector算法，对说话人进行确认。非授权 用户将不具备有对系统的控制权限。 若用户具有使用权限，语音唤醒模块会判断检测到的声音是否包含唤醒关键字。 若有，本专利技术系统会从睡眠模式进入激活交互模式。后继探测到的声音信号会直接送入语 音识别和自然语义理解模块。 语音识别模块将声音信号转化为文字信息，通过自然语言理解技术，分析和检测 出控制或交互指令。 所述摄像头系统包含普通摄像头和深度摄像头。它负责收集用户的动作和活动信 息。具体来讲，它用于探测用户的脸部、手势、和运动信息。 首先，对普通摄像头得到的RGB图像进行人脸检测。一旦检测到包含人脸，将对相 关图像进行人脸识别和身份验证。这里，本系统中将检测到的人脸与预存的授权用户人脸 进行比较(基于人脸特征和机器学习），若验证成功，动作识别模块将被激活。该模块的输入 为深度摄像头获取的深度图像，该图像将首先被用于实时骨架跟踪，获取人体关节位置等 信息。骨架跟踪的信息还可以用于用户定位，本系统可以根据用户位置自动调整方向，使本 专利技术的系统和用户处于相对合适的角度。 而后，人体关节信息会与本系统中动作库中的动作相比较。一旦找到相应的匹配 动作，与该动作相关联的指令信息将被生成。 所述的第三方传感器接口和第三方信号处理和信息提取接口模块，用于功能扩 展，为未来其他开发者提供相应的接口，以实现定制功能。 所述的反馈显示模块，用于系统和用户的沟通和交互。当指令识别模糊或者错误 时，用户可以通过反馈显示模块加以确认或纠正。 所述的信息融合模块，用于融合检测到的语音指令、手势指令和其他 指令信息，利用概率来判别用户的指令，其数学描述为：t 丨，其中 其中，I为指令f丨的预测概率值;和Ii分别为语音、视 频和其它传感器对指令f的预测概率；&、||和I#分别为语音、视频和其它传感器信号 权重。 所述控制信号发射模块，用于将控制指令转化为实际可以控制家电的信号，利用 红外、RF射频、蓝牙、wifi、Zigbee、Z-Wave等无线通信方式来达到操控家电的目的。 所述与云端服务器通信模块，用于信息融合模块和云端服务器的通信。本地端可 向云端发送获取资源指令，相应资源通过此模块返回到本地端。云端也可通过所述模块向 本地端发送指令，以实现家电的远程控制，或将家中信息传输至云端。 所述云端服务器，用于a)为本地端提供额外的计算资源；b)为本地提供额外的存 储空间或数据备份；c)为用户终端如手机等提供信息交换平台；d)为用户提供其他信息， 如查询搜索或音乐等。 本专利技术的有益效果是：1)前端采用了语音和手势识别交互的方式，提高了交互的 自然性；2 )语音交互方式和视觉交互方式是独立且互补的，它们既可以独立工作，也可以协 同工作，突破了单一交互方式在家庭中的应用局限性，提高人机交互的健壮性；3)提供了第 三方的接口，第三方开发者可以根据需要，添加其他传感器的信号处理和信息提取功能，为 本系统提供了很好的扩展；4)后端提供了多种无线通信方式，提供了很好的兼容性；5)提 供了本地和远程两种工作模式。本地模式从物理上保证了用户系统的安全和隐私，而远程 模式可以提供给用户额外的信息和更高级的服务。【附图说明】 图1为本专利技术基于音频和视频的智能家庭自然交互控制系统框架图。 图2为本专利技术音频信号处理及信息提取流程图。 图3为本专利技术视频信号处理及信息提取流程图。 图4为本专利技术信息融合模块流程图。【具体实施方式】 针对现有技术中存在的问题，本专利技术中提出一种智能家庭交互系统，该系统基于 智能音频和视频分析处理技术，能够提高人机交互的便捷性、舒适度和操控的准确度，同时 具有很高的兼容性和可扩展性。 为了使本专利技术的技术方案更加清晰，下面结合附图及实例，对本专利技术方案做进一 步详细说明，而这些描本文档来自技高网...

【技术保护点】
一种基于音频和视频的智能家居自然交互系统，其特征在于，包括前端、中央处理单元、后端、以及云端四部分；其中前端包括：麦克风系统（111），为麦克风整列，用于实时采集并发送声音信息；摄像头系统（121），为红外深度摄像头和普通摄像头，用于实时采集并发送图像信息；第三方传感器接口（131），用于实施采集其它可能的信息并发送该信息；反馈显示模块（14），用于响应及显示对指令信息做出的反应；其中央处理单元包括：音频信号处理和信息提取模块（112），用于处理语音信号，并提取其中的说话人、语义等信息；视频信号处理和信息提取模块（122），用于处理图像信号，并提取其中的手势、人脸、运动信息；第三方信号处理和信息提取接口模块（132），用于处理第三方传感器收集的信号，并提取相关信息；信息融合模块（15），用于融合上述模块（112、122和132）收集的信息，生成最终的指令；其后端包括：室内控制信号发射模块（16），用于将具体的指令转换成具体可以发射的无线信号，来控制家电；与云端服务器通信模块（17），用于将具体的指令转换成具体的网络操作，来获取和交换英特网络上的信息；其云端包括：云端服务器（18），用于为用户提供必要的计算资源、存储资源、网络资源和通信管道。...

【技术特征摘要】

【专利技术属性】
技术研发人员：张子兴，陈宇翔，黄力，林子楠，
申请(专利权)人：张子兴，陈宇翔，黄力，林子楠，
类型：发明
国别省市：湖南;43