一种基于睡意程度的服务机器人主动服务方法技术

本发明专利技术提供一种基于睡意程度的服务机器人主动服务方法，包括以下步骤，A1：使用PERCLOS指标来判定用户的睡意程度；A2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系；A3：机器人根据所述模糊关系，主动为用户提供相应的服务。本发明专利技术的有益效果：使机器人根据用户需求，在用户没有发出指令的情况下，主动的为用户提供相应的服务，有助于提高用户的学习和工作效率。

【技术实现步骤摘要】
一种基于睡意程度的服务机器人主动服务方法
本专利技术涉及服务机器人
，尤其涉及一种基于睡意程度的服务机器人主动服务方法。
技术介绍
随着服务机器人进入到日常生活中的各个方面，人们对机器人提出了更高的要求。传统的服务机器人基本上采用指令时的服务，而如今人们希望机器人具有感知人类情感、意图并主动为人们服务的能力。因此，使机器人能够感知周围的环境，理解人类的情感、意图和服务需求，根据用户的需求以及环境信息的变化来提供主动、优质的服务是提高服务机器人的智能化重要突破口。睡意是伴随着体力疲劳或精神疲劳而出现的一种状态。睡意的出现在很大程度上会降低人的警觉度、决策能力和记忆力，是导致工作学习效率下降以及事故发生的主要原因之一。近年来，有关睡意和疲劳的研究主要集中在睡意产生的机理以及驾驶疲劳的检测和监测中，但是睡意检测的应用范围不仅仅局限于此。在汽车驾驶、远程监控调度、内外科手术以及高空作业等比较危险和对精度要求较高的环境中，若作业人员出现睡意状态，将导致严重后果。除此之外，睡意状态的检测与研究，对未来智能教室以及家庭监护仪的开发都有着重要的意义。通过对学生睡意状态的检测及时调整老师讲课的方式，可以避免学习疲劳状态的出现，进而提高学习效率。为了减少睡意状态产生的危害、保护人们的安全和健康，提高学习和工作效率，对睡意状态的准确检测和实时估计具有重要的科学意义和迫切的现实需求。针对此现状，探究有效的睡意程度识别方法，并结合被服务者的需求分析，建立一种基于睡意程度识别的机器人主动服务方法，提高服务机器人的主动服务能力具有重要的现实意义。
技术实现思路
有鉴于此，本专利技术的实施例提供了一种基于睡意程度的服务机器人主动服务方法，能够使机器人根据用户的睡意程度主动的为用户提供相应的服务。本专利技术的实施例提供一种基于睡意程度的服务机器人主动服务方法，包括以下步骤，A1：使用PERCLOS指标来判定用户的睡意程度；A2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系；A3：机器人根据所述模糊关系，主动为用户提供相应的服务。进一步地，其中，ti表示人眼闭合的持续时间，n代表在时间窗为ti内产生的人闭眼的次数，T是整个时间窗的长度。进一步地，所述睡意程度包括清醒、疲倦和非常疲倦，所述清醒和所述疲倦的临界值为第一阈值，所述疲倦与所述非常疲倦的临界值为第二阈值，将PERCLOS值大于第二阈值的用户的睡意程度判定为非常疲倦，将PERCLOS值小于第一阈值的用户的睡意程度判定为清醒，将PERCLOS值处于第一阈值和第二阈值之间的用户的睡意程度判定为疲倦。进一步地，选取PERCLOS值不同、时间窗T相同的若干段视频段落，所述若干段视频段落对应的PERCLOS值为从0至0.95逐渐递增的若干离散数据，根据睡意程度的特征对所述若干段视频段落的睡意程度进行评价，选取PERCLOS值最大、睡意程度为清醒的视频段落与PERCLOS值最小、睡意程度为疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第一阈值，选取PERCLOS值最大、睡意程度为疲倦的视频段落与PERCLOS值最小、睡意程度为非常疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第二阈值。进一步地，从视频段落中提取人脸图像，从所述人脸图像中获取人眼位置，基于获取的人眼位置找到人眼，基于水平投影方法来判断人眼状态，所述人眼状态包括在时间窗为T的时间内人闭眼的次数，若基于水平投影方法不能确定所述人眼状态，则采用Hough查找圆法来判断所述人眼状态。进一步地，找到人眼位置的方法包括，B1：提取视频段落中的人脸图像，将所述人脸图像输入一级卷积神经网络，得到第一次双眼坐标，将所述人脸图像裁剪成包含左眼的左半部分和包含右眼的右半部分后分别输入所述一级卷积神经网络，得到第一层左眼坐标和第一层右眼坐标，对所述第一层左眼坐标、第一层右眼坐标和第一次双眼坐标求平均得到第一层双眼坐标；B2：以所述第一层双眼坐标为中心裁剪所述人脸图像构成第一包围框，将所述第一包围框输入二级卷积神经网络得到第二次双眼坐标；以所述第一层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第二包围框，将所述第二包围框分别输入到两个二级卷积神经网络得到两个第二层左眼坐标；以所述第一层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第三包围框，将所述第三包围框分别输入到两个二级卷积神经网络得到两个第二层右眼坐标；对所述第二次双眼坐标、两第二层左眼坐标和两第二层右眼坐标求平均得到第二层双眼坐标；B3：以所述第二层双眼坐标为中心裁剪所述人脸图像构成第四包围框，将所述第四包围框输入三级卷积神经网络得到第三次双眼坐标；以所述第二层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第五包围框，将所述第五包围框输入到三级卷积神经网络得到第三层左眼坐标；以所述第二层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第六包围框，将所述第六包围框输入到三级卷积神经网络得到第三层右眼坐标；对所述第三次双眼坐标、第三层左眼坐标和第三层右眼坐标求平均得到第三层双眼坐标；B4：以所述第三层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第七包围框，将所述第七包围框输入到四级卷积神经网络得到第四层左眼坐标；以所述第三层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第八包围框，将所述第八包围框输入到四级卷积神经网络得到第四层右眼坐标；对所述第四层左眼坐标和第四层右眼坐标叠加得到第四层双眼坐标，即人眼的位置。进一步地，在采用水平投影方法来判断人眼状态前，先将所述人眼转化为灰度图像；在B1中，将所述视频段落输入至libfacedetect人脸检测器进行人脸识别得到原始人脸图像，然后将所述原始人脸图像转化为灰度图像得到所述人脸图像。进一步地，用户的睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系为，N为无需求，L为需要一杯低浓度的咖啡或茶，M为需要一杯中浓度的咖啡或茶，H为需要一杯高浓度的咖啡或茶，D为从开始到产生所述睡意程度的时间小于2小时，C为从开始到产生所述睡意程度的时间大于或等于2小时，所述机器人根据睡意程度和时间所在横条中模糊关系最大的值所对应的用户需求主动为用户提供相应的服务。进一步地，所述机器人中具有包含所述模糊关系和主动服务的服务矩阵，所述服务矩阵为所述机器人获得所述模糊关系对应的用户需求后，根据所述服务矩阵为用户提供主动服务。进一步地，所述的基于睡意程度的服务机器人主动服务方法还包括A4：实时获取接受所述机器人提供的相应服务后用户的睡意程度，然后跳回步骤A1。本专利技术的实施例提供的技术方案带来的有益效果是：本专利技术所述的基于睡意程度的服务机器人主动服务方法，能够实时的识别用户的睡意程度，实时分析用户的服务需求，并根据用户需求提供主动、优质的服务，有助于提高用户的学习和工作效率。附图说明图1是本专利技术基于睡意程度的服务机器人主动服务方法的流程图；图2是本专利技术利用四级级联卷积神经网络从所述人脸图像中找到人眼位置的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。请参考图1，本专利技术的实施例提供了一种基于睡意本文档来自技高网...

【技术保护点】
1.一种基于睡意程度的服务机器人主动服务方法，其特征在于：包括以下步骤，A1：使用PERCLOS指标来判定用户的睡意程度；A2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系；A3：机器人根据所述模糊关系，主动为用户提供相应的服务。

【技术特征摘要】
1.一种基于睡意程度的服务机器人主动服务方法，其特征在于：包括以下步骤，A1：使用PERCLOS指标来判定用户的睡意程度；A2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系；A3：机器人根据所述模糊关系，主动为用户提供相应的服务。2.如权利要求1所述的基于睡意程度的服务机器人主动服务方法，其特征在于：其中，ti表示人眼闭合的持续时间，n代表在时间窗为ti内产生的人闭眼的次数，T是整个时间窗的长度。3.如权利要求2所述的基于睡意程度的服务机器人主动服务方法，其特征在于：所述睡意程度包括清醒、疲倦和非常疲倦，所述清醒和所述疲倦的临界值为第一阈值，所述疲倦与所述非常疲倦的临界值为第二阈值，将PERCLOS值大于第二阈值的用户的睡意程度判定为非常疲倦，将PERCLOS值小于第一阈值的用户的睡意程度判定为清醒，将PERCLOS值处于第一阈值和第二阈值之间的用户的睡意程度判定为疲倦。4.如权利要求3所述的基于睡意程度的服务机器人主动服务方法，其特征在于：选取PERCLOS值不同、时间窗T相同的若干段视频段落，所述若干段视频段落对应的PERCLOS值为从0至0.95逐渐递增的若干离散数据，根据睡意程度的特征对所述若干段视频段落的睡意程度进行评价，选取PERCLOS值最大、睡意程度为清醒的视频段落与PERCLOS值最小、睡意程度为疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第一阈值，选取PERCLOS值最大、睡意程度为疲倦的视频段落与PERCLOS值最小、睡意程度为非常疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第二阈值。5.如权利要求2所述的基于睡意程度的服务机器人主动服务方法，其特征在于：从视频段落中提取人脸图像，从所述人脸图像中获取人眼位置，基于获取的人眼位置找到人眼，基于水平投影方法来判断人眼状态，所述人眼状态包括在时间窗为T的时间内人闭眼的次数，若基于水平投影方法不能确定所述人眼状态，则采用Hough查找圆法来判断所述人眼状态。6.如权利要求5所述的基于睡意程度的服务机器人主动服务方法，其特征在于：找到人眼位置的方法包括，B1：提取视频段落中的人脸图像，将所述人脸图像输入一级卷积神经网络，得到第一次双眼坐标，将所述人脸图像裁剪成包含左眼的左半部分和包含右眼的右半部分后分别输入所述一级卷积神经网络，得到第一层左眼坐标和第一层右眼坐标，对所述第一层左眼坐标、第一层右眼坐标和第一次双眼坐标求平均得到第一层双眼坐标；B2：以所述第一层双眼坐标为中心裁剪所述人脸图像构成第一包围框，将所述第一包围框输入二级卷积神经网络得到第二次双眼坐标；以所述第一层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成...

【专利技术属性】
技术研发人员：刘振焘，曹卫华，吴敏，陈略峰，李锶涵，郝曼，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42