利用强化学习的睡眠环境调节装置制造方法及图纸

在本发明专利技术的一实施例中，揭示利用强化学习的睡眠环境调节装置。上述利用强化学习的睡眠环境调节装置可包括：主体，能够使用户位于其上；传感器部，测定上述用户的生物信号来生成当前状态信息及工作后的状态信息；工作部，为了以处理器的控制信号为基础来改变上述用户的睡眠状态而调节上述主体的睡眠环境；处理器，包括一个以上的芯片；以及存储器，用于存储能够在上述处理器中执行的程序代码，上述处理器包括：睡眠适当性信息生成模块，以上述当前状态信息为基础生成上述用户的当前睡眠适当性信息，以上述工作后的状态信息为基础来生成上述用户的工作后的睡眠适当性信息；工作信息确定模块，以上述当前睡眠适当性信息为基础，利用工作确定算法来确定对上述工作部的工作进行控制的工作信息；以及工作适当性判断模块，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述工作的适当性并更新上述工作确定算法。

【技术实现步骤摘要】
【国外来华专利技术】利用强化学习的睡眠环境调节装置
本专利技术涉及睡眠环境调节装置，更详细地，涉及以可提高用户的睡眠效率的方式调节睡眠环境的装置。
技术介绍
最近，随着生活质量的提高，对健康的关注度逐渐增加，对睡眠的关心也随之增加。维持并改善健康的方法包括运动、饮食疗法等多种方法，但是，好好管理占据一天中的30％的时间的睡眠更为重要。但是，现代人由于压力而无法睡个好觉，且受到失眠、过度睡眠、嗜睡症及睡眠呼吸暂停等的睡眠异常和噩梦、睡眠恐惧症及梦游等的睡眠障碍的困扰。韩国授权专利KR10-0791371揭示了如下的方法，即，为了克服睡眠异常和睡眠障碍，当用户睡觉时测定用户的生物信号，通过测定信息监控用户的睡眠状态，分析所监控的信息来提高睡眠效率。但是，现有技术存在如下的问题，即，每个用户的睡眠模式不同，受到睡眠环境的影响程度也不同，因此，用于提供高的睡眠环境的方法受限。因此，本专利技术所属
中需要可按每个用户的实时睡眠模式增加睡眠效率的睡眠管理解决方法。
技术实现思路
技术问题本专利技术与上述
技术介绍
对应地提出，本专利技术的目的在于，提供用于提高用户的睡眠效率的利用强化学习的睡眠环境调节装置。技术方案在用于解决上述问题的本专利技术的一实施例中，利用强化学习的睡眠环境调节装置包括：主体，能够使用户位于其上；传感器部，测定上述用户的生物信号来生成当前状态信息及工作后的状态信息；工作部，为了以处理器的控制信号为基础来改变上述用户的睡眠状态而调节上述主体的睡眠环境；处理器，包括一个以上的芯片；以及存储器，用于存储能够在上述处理器中执行的程序代码，上述处理器包括：睡眠适当性信息生成模块，以上述当前状态信息为基础生成上述用户的当前睡眠适当性信息，以上述工作后的状态信息为基础来生成上述用户的工作后的睡眠适当性信息；工作信息确定模块，以上述当前睡眠适当性信息为基础，利用工作确定算法来确定对上述工作部的工作进行控制的工作信息；以及工作适当性判断模块，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述工作的适当性并更新上述工作确定算法。代替性地，上述传感器部可包括如下传感器中的至少一种：用户状态测定传感器，通过接触或非解除方式测定用户的心率、呼吸次数、移动及脑电波中的至少一种；温度传感器，测定用户采取睡眠的室内温度及上述用户的体温中的至少一种；以及湿度传感器，测定用户采取睡眠的室内湿度，通过上述传感器中的至少一个传感器获取上述当前状态信息、室内温度信息及室内湿度信息中的至少一种。代替性地，上述工作部可设置于上述主体，为了控制上述用户的体温而向上述主体供给热风及冷风中的至少一种。代替性地，上述当前状态信息可包含由上述传感器部测定的上述用户的呼吸状态信息、心率状态信息、脑电波信息及移动状态信息中的至少一种，包含上述用户的睡眠周期节律的一个周期的测定结果。代替性地，上述当前睡眠适当性信息能够以睡眠周期节律的一个周期内测定的上述当前状态信息为基础生成。代替性地，上述工作后的状态信息能够以上述工作部根据上述处理器的控制信号执行工作的睡眠周期节律的一个周期的生物信息为基础生成。代替性地，上述工作后的睡眠适当性信息能够以睡眠周期节律的一个周期内测定的上述工作后的状态信息为基础生成。代替性地，上述基准睡眠适当性信息能够以在睡眠周期节律的一个周期内将用户的睡眠效率最大化的生物信息为基础生成，成为上述工作后的睡眠适当性信息的目标。代替性地，上述工作确定算法可由人工神经网构成，通过输入上述当前睡眠适当性信息来输出与一个以上的候补工作信息有关的分数，以与上述候补工作信息有关的分数为基础来确定上述工作信息。代替性地，上述工作适当性判断模块可对睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断类似度并判断上述工作的适当性，在上述类似度高的情况下，以增加上述工作确定算法以上述当前睡眠适当性信息为基础确定上述工作信息的概率的方式更新上述工作确定算法，或者在上述类似度低的情况下，以减少上述工作确定算法以上述当前睡眠适当性信息为基础确定上述工作信息的概率的方式更新上述工作确定算法。在本专利技术的再一实施例中，利用强化学习来调节睡眠环境的方法可包括：测定用户的生物信号来生成当前状态信息的步骤；以上述当前状态信息为基础生成当前睡眠适当性信息的步骤；以上述当前睡眠适当性信息为基础并利用工作确定算法来确定工作信息的步骤；以上述工作信息为基础来执行床垫主体的环境调节工作的步骤；在执行上述环境调节工作之后测定上述用户的生物信号来生成工作后的状态信息的步骤；以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息的步骤；对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性的步骤；以及以对于上述环境调节工作的适当性判断为基础来更新工作确定算法的步骤。在本专利技术的另一实施例中，揭示存储于能够通过一个以上处理器执行的计算机可读介质的计算机程序。上述计算机程序可使上述一个以上处理器执行以下的工作：测定生物信号来生成当前状态信息的工作；以上述当前状态信息为基础生成当前睡眠适当性信息的工作；以上述当前睡眠适当性信息为基础并利用工作确定算法来确定工作信息的工作；以上述工作信息为基础来执行床垫主体的环境调节工作的工作；在执行上述环境调节工作之后测定上述用户的生物信号来生成工作后的状态信息的工作；以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息的工作；对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性的工作；以及以对于上述环境调节工作的适当性判断为基础来更新工作确定算法的工作。专利技术的效果本专利技术可提供用于提高用户的睡眠效率的利用强化学习的睡眠环境调节装置。附图说明图中作为参照记载多种实施方式，其中，类似的附图标记总体上是指类似的结构要素。在以下的实施例中，为了说明目的，为了理解整个一个以上的实施方式而提出多个特定细部事项。但是，应该明确这些事项也可以在没有特定细部事项的情况下实施。图1为示出本专利技术一实施例的利用强化学习的睡眠环境调节装置的系统的示意图。图2为示出本专利技术一实施例的利用强化学习的睡眠环境调节装置的框结构图。图3示出本专利技术一实施例的利用强化学习的睡眠环境调节装置的例示图。图4示出本专利技术一实施例的利用强化学习的睡眠环境调节方法的流程图。图5为示出本专利技术一实施例的基于采取睡眠的一般成人的睡眠时间的睡眠步骤的例示图。图6为示出本专利技术一实施例的基于利用强化学习的睡眠环境调节装置的温度调节变化的用户的睡眠步骤变化的例示图。图7为示出在本专利技术一实施例的工作后的基于睡眠适当性信息的睡眠步骤和基于基准睡眠适当性信息的睡眠步骤的例示图。图8示出本专利技术一实施例的构成工作确定算法的人工神经网的结构图。图9为示出本专利技术一实施例的导出通过工作确定算法的分数(score)的例示图。图10为示出用于体现本专利技术一实施例的本文档来自技高网...

【技术保护点】
1.一种利用强化学习的睡眠环境调节装置，其特征在于，/n包括：/n主体，能够使用户位于其上；/n传感器部，测定上述用户的生物信号来生成当前状态信息及工作后的状态信息；/n工作部，为了以处理器的控制信号为基础来改变上述用户的睡眠状态而调节上述主体的睡眠环境；/n处理器，包括一个以上的芯片；以及/n存储器，用于存储能够在上述处理器中执行的程序代码，/n上述处理器包括：/n睡眠适当性信息生成模块，以上述当前状态信息为基础生成上述用户的当前睡眠适当性信息，以上述工作后的状态信息为基础来生成上述用户的工作后的睡眠适当性信息；/n工作信息确定模块，以上述当前睡眠适当性信息为基础，利用工作确定算法来确定对上述工作部的工作进行控制的工作信息；以及/n工作适当性判断模块，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述工作的适当性并更新上述工作确定算法。/n

【技术特征摘要】
【国外来华专利技术】20180307 KR 10-2018-00266661.一种利用强化学习的睡眠环境调节装置，其特征在于，
包括：
主体，能够使用户位于其上；
传感器部，测定上述用户的生物信号来生成当前状态信息及工作后的状态信息；
工作部，为了以处理器的控制信号为基础来改变上述用户的睡眠状态而调节上述主体的睡眠环境；
处理器，包括一个以上的芯片；以及
存储器，用于存储能够在上述处理器中执行的程序代码，
上述处理器包括：
睡眠适当性信息生成模块，以上述当前状态信息为基础生成上述用户的当前睡眠适当性信息，以上述工作后的状态信息为基础来生成上述用户的工作后的睡眠适当性信息；
工作信息确定模块，以上述当前睡眠适当性信息为基础，利用工作确定算法来确定对上述工作部的工作进行控制的工作信息；以及
工作适当性判断模块，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述工作的适当性并更新上述工作确定算法。


2.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，
上述传感器部包括如下传感器中的至少一种：
用户状态测定传感器，通过接触或非解除方式测定用户的心率、呼吸次数、移动及脑电波中的至少一种；
温度传感器，测定用户采取睡眠的室内温度及上述用户的体温中的至少一种；以及
湿度传感器，测定用户采取睡眠的室内湿度，
通过上述传感器中的至少一个传感器获取上述当前状态信息、室内温度信息及室内湿度信息中的至少一种。


3.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述工作部设置于上述主体，为了控制上述用户的体温而向上述主体供给热风及冷风中的至少一种。


4.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述当前状态信息包含由上述传感器部测定的上述用户的呼吸状态信息、心率状态信息、脑电波信息及移动状态信息中的至少一种，包含上述用户的睡眠周期节律的一个周期的测定结果。


5.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述当前睡眠适当性信息以睡眠周期节律的一个周期内测定的上述当前状态信息为基础生成。


6.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述工作后的状态信息以上述工作部根据上述处理器的控制信号执行工作的睡眠周期节律的一个周期的生物信息为基础生成。


7.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述工作后的睡眠适当性信息以睡眠周期节律的一个周期内测定的上述工作后的状态信息为基础生成。

【专利技术属性】
技术研发人员：李正雨，李相准，李相垠，
申请(专利权)人：ICBS有限公司，
类型：发明
国别省市：韩国;KR