基于多模态深度神经网络的个性化智能唤醒系统及方法技术方案

本发明专利技术提供了一种基于多模态深度神经网络的个性化智能唤醒系统及其方法。该方法包括：监测用户的睡眠状态；获取用户在当前时间段中的当前睡眠阶段以及在下一时间段中的预测睡眠阶段；通过当前睡眠阶段以及预测睡眠阶段的结合，调整用户的当前睡眠阶段；基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；确定用于唤醒用户的每个闹钟脉冲与用户对应的反应之间的关系；确定对于当前时间段的当前睡眠阶段的变化；基于所述当前时间段的唤醒策略以及闹钟脉冲与用户对应的反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及触发所述待触发闹钟脉冲。

【技术实现步骤摘要】
基于多模态深度神经网络的个性化智能唤醒系统及方法
本专利技术涉及计算机
，尤其涉及一种基于多模态深度神经网络的个性化智能唤醒系统及方法。
技术介绍
睡眠是人类日常生活中很重要的一部分，睡眠质量对身心的各个方面都有很大的影响，比如疲劳、情绪、注意力、集中力等。高质量的睡眠可以使人的生活质量有很大的不同。因此，优化唤醒人们的方法是非常重要且必须的。在现有的智能睡眠管理系统或闹铃管理系统中，通用的系统框架通常包括用于监控用户的睡眠阶段的传感器输入模块，以及决定何时触发闹铃的决策模块。现有所谓的“智能”系统可能并不是真正的智能系统，因为它们无法为每个用户找到一个针对个人的优化的唤醒方案。决策模块最常用的策略是设置一个唤醒临界值，并在用户的睡眠阶段在用户设置的闹铃时间段内(通常是30分钟之前)到达一个唤醒临界值时触发闹铃。然而，当用户在唤醒时间段内处于深度睡眠时，这种策略可能无法找到一个触发闹铃的最有效点，当时间耗尽时，用户可能会被迫从深度睡眠中醒来。即使现有的智能睡眠管理系统或闹铃管理系统在用户的睡眠阶段达到临界值后能找到一个好的唤醒点，但是这个唤醒点可能并不能保证是优化的唤醒点，因为用户可能会再次回到深度睡眠。另外，不同的用户可能需要不同的唤醒临界值。因此，现有的智能睡眠管理系统或闹铃管理系统没有配置个性化设置，也就是说，现有的智能睡眠管理系统或闹铃管理系统是非个性化的。此外，现有的智能睡眠管理系统或闹铃管理系统是基于传感数据来监测所述用户的睡眠阶段(如手机、可穿戴环等收集的数据)这些数据可能会非常嘈杂且不可靠。本专利技术所公开方法和系统用于解决上述一个或多个问题以及其他问题。
技术实现思路
本专利技术一方面公开了一种基于多模态深度神经网络的个性化智能唤醒方法。该方法包括：监测用户的睡眠状态；获取所述用户在当前时间段中的当前睡眠阶段以及在下一时间段中的下一睡眠阶段预测；通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段；基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；识别对于当前时间段的当前睡眠阶段的变化；基于所述当前时间段的所述唤醒策略以及所述多个闹钟脉冲的每一个与用户相应反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及触发所述待触发闹钟脉冲。本公开的另一个方面包括一种基于多模态深度神经网络的个性化智能唤醒系统。所述系统包括：一鲁棒睡眠阶段检测(RSSD)模块，用于监测用户的睡眠状态，获取用户在当前时间段中的当前睡眠阶段，预测在下一时间段中的下一睡眠阶段，以及调整用户的当前睡眠阶段；一唤醒策略(WS)模块，用于基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；闹钟和用户反应回归(AUR)模块，用于确定用于唤醒用户的每个闹钟脉冲与用户相应反应之间的关系；以及决策融合(DF)模块，用于确定一待触发闹钟脉冲，基于所述当前时间段的唤醒策略以及所述闹钟脉冲的每一个与用户反应之间的关系；并用于触发所述闹钟脉冲。本公开的又一个方面公开了一种非瞬时性计算机可读存储介质，存储有计算机程序，用于被处理器调用时，执行一种基于多模态深度神经网络的个性化智能唤醒系统的方法。所述方法包括：监测用户的睡眠状态；获取所述用户在当前时间段中的当前睡眠阶段以及在下一时间段中的下一睡眠阶段预测；通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段；基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；识别对于当前时间段的当前睡眠阶段的变化；基于所述当前时间段的所述唤醒策略以及所述多个闹钟脉冲的每一个与用户相应反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及触发所述待触发闹钟脉冲。本领域技术人员根据本专利技术的说明书、权利要求以及说明书附图的指引，能够理解本专利技术的其它方面。附图说明为便于对实施例理解，结合附图对实施例进行描述，仅用于解释本专利技术，而不能解释为对本专利技术的限制。图1为本专利技术实施例的操作环境的示意图；图2为本专利技术实施例计算系统的框图；图3为典型的用户在夜间的睡眠阶段；图4为本专利技术实施例的基于多模态深度神经网络的个性化的智能唤醒系统；图5为本专利技术实施例的鲁棒睡眠阶段检测模块的流程示意图；图6为本专利技术实施例的用于睡眠阶段预测的递归神经网络(RNN)；图7为本专利技术实施例的闹钟与用户反应模型的多模式深度回归；图8为本专利技术实施例的多模态深度回归模型的预训练以及微调的过程流程图；图9为本专利技术实施例的基于多模态深度神经网络的个性化智能唤醒系统的示例方法流程图。具体实施方式为了便于理解本专利技术，下面将参照相关附图对本专利技术的较佳实施例进行更全面的描述。与此同时，下文的描述主要根据各附图。除非另外指出，在各图中相同的参考数字用于相同的部件。为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例的附图，对本专利技术实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于所描述的本专利技术的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。人们常常在夜里经历睡眠的两个不同阶段：快速眼动(REM)睡眠和非快速动眼睡眠，两者会在整夜交替出现。快速眼动和非快速眼动睡眠的周期性节律被称为一个睡眠周期。非快速眼动睡眠可以被分为4个子过程，每个连续的非快速眼动睡眠阶段都预示着一次更深层次的睡眠，其中的四个子过程中第一阶段最浅，第四阶段最深。图3为本专利技术实施例提供的人的睡眠阶段示意图。如图3所示，一个人可能在夜间经历不同的睡眠阶段。某些研究表明，当人们在快速眼动睡眠中醒来时，会比在非快速眼动睡眠中醒来更舒服。然而,其他研究表明,在第一个非快速眼动睡眠阶段是唤醒人们的理想阶段。正如上面所讨论的，现有的智能睡眠管理系统或闹钟管理系统通常根据传感器数据(如手机搜集的数据，可穿戴的手带等等)监测用户的睡眠阶段，这种监测根本可靠，而且不能配置和适应个性化设置。本专利技术提供了一个基于闹铃形式和用户特定反应之间的多模态深度神经网络的个性化智能唤醒系统，这也许能够找到一种个性化且最优的方式来唤醒每个用户。因此，即使用户处于深度睡眠状态，本专利技术的智能唤醒系统也可以温和地将用户从深度睡眠带到浅层睡眠，从而提供一个更好的唤醒解决方案。例如,如果用户在深度睡眠阶段,这个智能唤醒系统可能会温和地将用户带去浅层睡眠阶段，并在不用“强硬的闹钟”的情况下准备将他唤醒。相反,现有智能睡眠管理系统或闹钟管理系统通常使用“强硬的闹铃”，例如，在时间结束而用户仍在深度睡眠阶段时，触发手机发出响亮的闹铃提醒。图1为本专利技术实施例提供的应用环境100。如图1所示，应用环境100可以包括：用户终端102、服务器104、用户106、传感器108和网络110。也可以包括其他设备。所述用户终端102可以包括任何适当类型的、具有计算功能的电子设备，如电视机(智能电视与非智能电视)，智能手本文档来自技高网...

【技术保护点】
一种基于多模态深度神经网络的个性化智能唤醒系统的方法，其特征在于，包括：监测用户的睡眠状态；获取用户在当前时间段中的当前睡眠阶段以及在下一时间段中的下一睡眠阶段预测；通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段；基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；识别对于当前时间段的当前睡眠阶段的变化；基于所述当前时间段的所述唤醒策略以及所述多个闹钟脉冲的每一个与用户相应反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及触发所述待触发闹钟脉冲。

【技术特征摘要】
2016.08.25 US 15/247,6651.一种基于多模态深度神经网络的个性化智能唤醒系统的方法，其特征在于，包括：监测用户的睡眠状态；获取用户在当前时间段中的当前睡眠阶段以及在下一时间段中的下一睡眠阶段预测；通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段；基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；识别对于当前时间段的当前睡眠阶段的变化；基于所述当前时间段的所述唤醒策略以及所述多个闹钟脉冲的每一个与用户相应反应之间的关系，确定用于唤醒用户的待触发闹钟脉冲；以及触发所述待触发闹钟脉冲。2.根据权利要求1所述的方法，其特征在于，所述获取用户在当前时间段中的当前睡眠阶段，还包括：接收由能够监测用户睡眠时的身体移动的传感器提供的传感器数据；以及根据所述传感器数据，获取所述用户在当前时间段中的当前睡眠阶段。3.根据权利要求2所述的方法，其特征在于，所述获取下一时间段中的下一睡眠阶段预测，还包括：接收若干个用户睡眠状态的历史数据以及用户睡眠状态的个人数据，以及基于根据所述历史数据而预训练的睡眠阶段预测，以及根据所述个人数据的个性化的睡眠阶段预测，预测用户的所述下一个睡眠阶段。4.根据权利要求3所述的方法，其特征在于，基于递归神经网络模型，预测用户的所述下一个睡眠阶段。5.根据权利要求4所述的方法，其特征在于，通过当前睡眠阶段以及下一睡眠阶段预测的结合，调整用户的当前睡眠阶段，还包括：通过所述传感器数据、预训练睡眠阶段预测以及个性化睡眠阶段预测的结合，调整所述用户的所述当前睡眠阶段，获得校正的当前睡眠阶段。6.根据权利要求5所述的方法，其特征在于，所述校正的用户当前睡眠阶段通过如下算式计算：S＝αSsensor+(1-α)Sscaled其中，S表示所述用户的所述校正的当前睡眠阶段，Ssensor表示传感器数据，而Sscaled表示按比例的对用户睡眠阶段的预测，α表示权重。7.根据权利要求6所述的方法，其特征在于，所述权重α通过如下算式计算：所述按比例的对用户睡眠阶段预测Sscaled通过如下算式计算：其中，Sp’表示从RNN模型得出的用户最后一个睡眠阶段的预测；Ss’表示从所述传感器数据中对用户睡眠阶段的最后推断；Swake表示用户的唤醒点阶段；Sw’表示从上一个可用的时间段中得出的唤醒点阶段的阶段预测；而Spredict表示从RNN模型中输出的用户睡眠阶段的当前预测结果。8.根据权利要求1所述的方法，其特征在于，确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系，还包括：接受所述若干个用户的反应的历史数据；通过所述历史数据，训练多模态深度学习模型；采集用户的反应的个人数据；及基于所述用户的反应的个人数据，优化调整所述多模态深度回归模型。9.一种基于多模态深度神经网络的个性化智能唤醒系统，其特征在于，包括：鲁棒睡眠阶段检测模块，用于监测用户的睡眠阶段；获取用户在当前时间段中的当前睡眠阶段以及在下一时间段中的预测睡眠阶段；以及调整用户的当前睡眠阶段；唤醒策略模块，用于基于用户的当前睡眠阶段、来自睡眠相关研究的先验知识以及至少一个与唤醒相关的用户偏好，确定当前时间段的唤醒策略；闹钟和用户反应回归模块，用于确定用于唤醒用户的多个闹钟脉冲的每一个与用户相应反应之间的关系；决策融合模块，用于基于所述当前时间段的唤醒策...

【专利技术属性】
技术研发人员：袁健博，汪灏泓，任小波，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东,44