基于情感特征融合的智能家居设备控制系统和方法技术方案

本申请公开了一种基于情感特征融合的智能家居设备控制系统和方法。该系统包括：数据处理模块，用于收集用户输入的语音信息，并对该信息进行预处理；数据分析模块，用于对经预处理的信息进行分析以获取用户的情感状态；指令生成分发模块，用于基于用户的情感状态来生成指令并将其下发给智能家居设备；以及执行模块，用于基于所下发的指令来控制智能家居设备。本申请还公开了相应的方法。本申请还公开了相应的方法。本申请还公开了相应的方法。

【技术实现步骤摘要】
基于情感特征融合的智能家居设备控制系统和方法


[0001]本申请涉及智能控制和智能家居设备领域，并且更为具体地，涉及一种基于情感特征融合的智能家居设备控制系统和方法。

技术介绍

[0002]语音控制技术在当今社会中已经被广泛地应用，而智能家居设备也已经普遍应用于我们的日常生活。目前，智能家居设备中所使用的语音控制技术，主要是对语音进行收集后，对语音数据进行分析、判别，然后发送指令到智能家居设备，使其执行相关操作。当前市场中存在的很多智能家居设备，由于所收到的指令较为单一，更多的是用户单方面与机器进行通信，因此无法针对每个用户进行个性化、人性化、多样化的操作，进而无法完成人与机器间更智能的交互。面对日益兴起的智能家居设备市场，如何针对个体用户的实际需求，使智能家居设备更贴合用户的实际情况，迎合个体用户的个性化偏好则显得至关重要。
[0003]人类作为唯一可以进行如此复杂的语音交流的动物，语音是能反映其情感的重要的行为信号。不同的语音、语调，语音的大小、节奏等都蕴含着很多的人的情感信息。例如，人在开心或者唤起状态变高的时候，音调、响度会随之升高，节奏也会随之变快；而声音的颤抖和持续时间也会随着人抑郁而变得相对迟缓。
[0004]现有技术中存在的对智能家居设备进行语音控制的技术显然根本不可能满足上述需求。因此，本领域中急需一种能够通过语音学习人类的情感特征，进而基于情感特征的融合来对智能家居设备进行智能控制的系统和方法。

技术实现思路

[0005]以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以作为稍后给出的更加详细的描述之序。
[0006]针对现有技术中存在的问题，本申请提出一种基于深度学习情感特征融合的智能家居设备控制系统和方法。该系统和方法能够从用户的语音中获取到声学特征和文本特征数据信息，之后进行特征融合以得到混合特征并加以分析，最终获得用户情绪、心理变化等方面的信息，从而使控制设备发出相关指令。当智能设备接收到指令后，根据用户当前的情绪、心理状态来调整该设备，从而使用户处于适宜的场景中，能给用户带来舒适的产品体验并且更好地满足了用户的需求。
[0007]根据本申请的第一方面，公开了一种基于情感特征融合的智能家居设备控制系统，包括：
[0008]数据处理模块，用于收集用户输入的语音信息，并对该信息进行预处理；
[0009]数据分析模块，用于对经预处理的信息进行分析以获取该用户的情感状态；
[0010]指令生成分发模块，用于基于该用户的情感状态来生成指令并将其下发给该智能
家居设备；以及
[0011]执行模块，用于基于所下发的指令来控制该智能家居设备并上报当前设备信息。
[0012]根据本申请的优选实施例，该预处理包括提取特征和特征融合，其中该提取特征包括提取声学信息特征和文本信息特征两者，而该特征融合包括将该声学信息特征和该文本信息特征相加或按照权重分配以获得经融合特征。
[0013]根据本申请的优选实施例，对经预处理的信息进行分析包括训练数据和结果验证，并基于此来获得该用户的情感状态。
[0014]该指令生成分发模块还在生成指令后查询其他智能家居设备并向其下发该指令。
[0015]根据本申请的优选实施例，该声学信息特征包括音调、响度、结构，而该文本信息特征包括词性、词频、关键词。
[0016]根据本申请的第二方面，公开了一种基于情感特征融合的智能家居设备控制方法，包括：
[0017]收集用户输入的语音信息，并对该信息进行预处理；
[0018]对经预处理的信息进行分析以获取该用户的情感状态；
[0019]基于该用户的情感状态来生成指令并将其下发给该智能家居设备；以及
[0020]基于所下发的指令来控制该智能家居设备。
[0021]为能达成前述及相关目的，这一个或多个方面包括在下文中充分描述并在所附权利要求中特别指出的特征。以下描述和附图详细阐述了这一个或多个方面的某些解说性特征。但是，这些特征仅仅是指示了可采用各种方面的原理的各种方式中的若干种，并且本描述旨在涵盖所有此类方面及其等效方案。
附图说明
[0022]为了能详细理解本申请的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本申请的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。
[0023]在附图中：
[0024]图1是解说根据本申请的实施例的基于情感特征融合对智能家居设备进行控制的系统的模块图；
[0025]图2是解说根据本申请的实施例的提取声学信息特征的示意图；
[0026]图3是解说根据本申请的实施例的提取文本信息特征的示意图；
[0027]图4是解说根据本申请的实施例的数据处理模块和数据分析模块的功能框图；
[0028]图5是解说根据本申请的实施例的将提取的声学信息特征和文本信息特征进行特征融合的示意图；
[0029]图6是解说根据本申请的实施例的指令生成分发模块的功能框图；
[0030]图7是解说根据本申请的实施例的执行模块的功能框图；以及
[0031]图8是解说根据本申请的实施例的数据分析模块基于融合特征向量来判断用户的情绪状态的示意图。
具体实施方式
[0032]以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文所描述的概念的仅有配置。本详细描述包括具体细节以提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在某些实例中，以框图形式示出众所周知的组件以便避免淡化此类概念。
[0033]应当理解，基于本公开，其他实施例将是显而易见的，并且可以在不脱离本公开的范围的情况下做出系统、结构、过程或机械改变。
[0034]参照附图，可执行本文所描述的动作或功能的一个或多个组件以及一种或多种方法描绘了诸方面。在一方面，本文使用的术语“组件”或“模块”可以是构成系统的诸部分之一，可以是硬件或软件或其某种组合，并且可以被划分成其他组件。尽管以下在附图中所描述的操作以特定次序呈现和/或如由示例组件执行，但应理解这些动作的次序以及执行动作的组件可取决于实现而变化。此外，应当理解，以下动作或功能可由专门编程的处理器、执行专门编程的软件或计算机可读介质的处理器、或由能够执行所描述的动作或功能的硬件组件和/或软件组件的任何其他组合来执行。
[0035]图1中解说根据本申请的实施例的基于情感特征融合对智能家居设备进行控制的系统的模块图。
[0036]如图1中所示，本申请的系统可分为四个模块：数据处理模块；数据分析模块；指令生成分发模块；以及执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于情感特征融合的智能家居设备控制系统，所述系统包括：数据处理模块，用于收集用户输入的语音信息，并对所述信息进行预处理；数据分析模块，用于对经预处理的信息进行分析以获取所述用户的情感状态；指令生成分发模块，用于基于所述用户的情感状态来生成指令并将其下发给所述智能家居设备；以及执行模块，用于基于所下发的指令来控制所述智能家居设备并上报当前设备信息。2.如权利要求1所述的系统，其特征在于，所述预处理包括提取特征和特征融合，其中所述提取特征包括提取声学信息特征和文本信息特征两者，而所述特征融合包括将所述声学信息特征和所述文本信息特征相加或按照权重分配以获得经融合特征。3.如权利要求1所述的系统，其特征在于，对经预处理的信息进行分析包括训练数据和结果验证，并基于此来获得所述用户的情感状态。4.如权利要求1所述的系统，其特征在于，所述指令生成分发模块还在生成指令后查询其他智能家居设备并向其下发所述指令。5.如权利要求2所述的系统，其特征在于，所述声学信息特征包括音调、响度、结构，而所述文本信息...

【专利技术属性】
技术研发人员：李鸣秋，杭云，郭宁，施唯佳，
申请(专利权)人：天翼智慧家庭科技有限公司，
类型：发明
国别省市：