一种基于智能机器人的综合服务交互系统及方法技术方案

本发明专利技术涉及智能机器人领域，具体为一种基于智能机器人的综合服务交互系统及方法，所述系统包括信息识别模块、首次健康状态识别模块、健康状态实时监测模块和机车行驶安全评估模块，所述机车行驶安全评估模块用于根据将健康状态实时监测模块的数据进行分析，并对分析结果进行评估，根据评估结果发出预警提示，本发明专利技术通过对电力机车司机和电力机车副司机的眼睛、嘴巴以及头部活动情况进行监测，通过监测的数据与设定阈值进行比较，从而实时评估电力机车司机的健康状态，通过不同情况发出预警信号，从而避免因司机疲劳驾驶而增加列车行驶安全隐患。安全隐患。

【技术实现步骤摘要】
一种基于智能机器人的综合服务交互系统及方法


[0001]本专利技术涉及智能机器人领域，具体为一种基于智能机器人的综合服务交互系统及方法。

技术介绍

[0002]在城市轨道交通运营过程中，由于整个城市轨道交通系统异常复杂，任何形式的故障都会造成一定程度的损失，根据道路交通行业调查数据统计显示，重特大交通事故中，因疲劳驾驶造成的事故所占比列达到40％，是发生重特大交通事故的三大原因之一，在引发交通事故死亡事件中所占比例高达21％，因此为了有效地保障地铁运营的稳定性与可持续性，采用高度自动化的列车运行控制系统控制列车运行、研发智能化的监测装备监督列车运行状态，但是对列车司机的驾驶风险几乎没有监督防护措施，如果在驾驶列车过程中发生司机注意力下降、打瞌睡等状况时，容易造成安全事故。

技术实现思路

[0003]本专利技术的目的在于提供一种基于智能机器人的综合服务交互系统及方法，以解决上述
技术介绍
中提出的问题。
[0004]为了解决上述技术问题，本专利技术提供如下技术方案：
[0005]一种基于智能机器人的综合服务交互方法，其特征在于，所述方法包括以下步骤：
[0006]S1、获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息；
[0007]S2、基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；
[0008]S3、分析电力机车司机健康状态；
[0009]S4、分析电力机车副司机健康状态；
[0010]S5、结合S3、S4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号。
[0011]进一步的，所述S1中获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息的方法包括以下步骤：
[0012]步骤1001、获取机车乘务组员值班信息表；
[0013]步骤1002、采集当日机车乘务组员指纹信息；
[0014]步骤1003、提取乘务组指纹库中先前录入的乘务组员指纹信息；
[0015]步骤1004、将当日采集的机车乘务组员指纹信息与提取的指纹信息进行审核；
[0016]步骤1005、提取电力机车司机和电力机车副司机的指纹信息进行二次审核；
[0017]步骤1006、通过审核的机车乘务组可以正常进行工作。
[0018]本专利技术通过获取机车乘务组员值班信息表，根据当日采集的机车乘务组员指纹信息进行认证，为后续分析电力机车司机和电力机车副司机健康状态提供数据参照。
[0019]进一步的，所述S2中基于面部识别获取电力机车司机第一状态信息与电力机车副
司机第一状态信息的方法包括以下步骤：
[0020]步骤2001、获取电力机车司机和电力机车副司机面部信息，并提取当前面部特征点位置信息；
[0021]步骤2002、根据电力机车司机和电力机车副司机脸型获取对应标准脸型的面部特征点位置信息；
[0022]步骤2003、将当前电力机车司机和电力机车副司机的面部特征点位置信息与标准面部特征点位置信息进行对比；
[0023]步骤2004、设定阈值差值范围，根据步骤2003对比结果，得出电力机车司机和电力机车副司机的面部特征点位置移动数据；
[0024]步骤2005、将面部特征点位置移动数据与阈值比较，当面部特征点位置移动数据在阈值范围内表明司机登车前健康状态良好。
[0025]进一步的，其特征在于，所述S3中分析电力机车司机健康状态的方法包括以下步骤：
[0026]步骤3001、实时获取电力机车司机驾驶过程的图像；
[0027]步骤3002、基于双边滤波对获取的图像进行预处理；
[0028]步骤3003、基于haar特征计算识别预处理图像中的人脸部分；
[0029]步骤3004、获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态。
[0030]进一步的，所述基于haar特征计算识别预处理图像中的人脸部分的方法包括以下步骤：
[0031]步骤3003
‑
1、获取双边滤波器预处理后的图像，并获取预处理后图像的尺寸大小，记为W*H；
[0032]步骤3003
‑
2、将预处理后的图像均匀分隔成W/a*H/a的矩形块，在预处理后的图像构建尺寸大小为W/10*H/10的矩形框，并将矩形框长和宽一边重合于图像左上角，其中a为常数，a的值为分割后的矩形块能够表示一个像素值，其中构建的矩形框所框选到的分隔矩形块，并将框选的矩形块像素值进行总和运算，将结果赋值到对应积分图中；
[0033]步骤3003
‑
3、将矩形框在图像上进行从左向右水平一层一层逐一水平移动，并将矩形框中的图像像素值总和记录到对应积分图中，其中积分图中每一格数据代表对应矩形框中的图像像素总和；
[0034]步骤3003
‑
4、获取图像中眼睛和嘴巴的像素值集合，记为眼睛像素值集合A，嘴巴像素值集合B；
[0035]步骤3003
‑
5、通过归一化处理将集合中能够识别眼睛部分和嘴巴部分进行简化，表达式为：
[0036][0037]其中G
eye
表示识别眼睛部分的归一化处理结果，G
mouth
表示识别嘴巴部分的归一化处理结构，∑Z
A
表示集合A中元素总和，Z
B
表示集合B中元素值总和，G
A
表示集合A中元素的个
数，G
B
表示集合B中元素的个数，表示对眼睛部分计算的归一化因子，表示对嘴巴部分计算的归一化因子；
[0038]步骤3003
‑
6、获取图像中电力机车司机头部轮廓信息，并将其作为训练样本集S；
[0039]步骤3003
‑
7、获取训练样本集S中样本S
D
，初始化训练数据的权值分布，表达式为：
[0040][0041]其中f表示激活函数T1，T2，T3，...，T
N
表示初始化训练数据的权值大小，表示初始化训练数据的权重为即训练初始概率分布，通过学习得到第一分类器H(x)；
[0042]步骤3003
‑
8、通过第一次迭代训练N个样本，计算得到弱分类器权重T
11
，表达式为：
[0043][0044]其中e
t
表示误差率，其中I表示被错误分类的样本，y
i
表示样本标签；
[0045]步骤3003
‑
9、更新训练数据集的权重分布并进行第二次迭代训练，重复步骤3003
‑
8；
[0046]步骤3003
‑
10、结合归一化处理后的眼睛和嘴巴特征值，通过级联分类器进行预处理后图像中的人脸检测，并根据特征值筛选出眼睛和嘴巴。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能机器人的综合服务交互方法，其特征在于，所述方法包括以下步骤：S1、获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息；S2、基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；S3、分析电力机车司机健康状态；S4、分析电力机车副司机健康状态；S5、结合S3、S4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号。2.根据权力要求1一种基于智能机器人的综合服务交互方法，其特征在于，所述S1中获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息的方法包括以下步骤：步骤1001、获取机车乘务组员值班信息表；步骤1002、采集当日机车乘务组员指纹信息；步骤1003、提取乘务组指纹库中先前录入的乘务组员指纹信息；步骤1004、将当日采集的机车乘务组员指纹信息与提取的指纹信息进行审核；步骤1005、提取电力机车司机和电力机车副司机的指纹信息进行二次审核；步骤1006、通过审核的机车乘务组可以正常进行工作。3.根据权力要求2一种基于智能机器人的综合服务交互方法，其特征在于，所述S2中基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息的方法包括以下步骤：步骤2001、获取电力机车司机和电力机车副司机面部信息，并提取当前面部特征点位置信息；步骤2002、根据电力机车司机和电力机车副司机脸型获取对应标准脸型的面部特征点位置信息；步骤2003、将当前电力机车司机和电力机车副司机的面部特征点位置信息与标准面部特征点位置信息进行对比；步骤2004、设定阈值差值范围，根据步骤2003对比结果，得出电力机车司机和电力机车副司机的面部特征点位置移动数据；步骤2005、将面部特征点位置移动数据与阈值比较，当面部特征点位置移动数据在阈值范围内表明司机登车前健康状态良好。4.根据权力要求3一种基于智能机器人的综合服务交互方法，其特征在于，所述S3中分析电力机车司机健康状态的方法包括以下步骤：步骤3001、实时获取电力机车司机驾驶过程的图像；步骤3002、基于双边滤波对获取的图像进行预处理；步骤3003、基于haar特征计算识别预处理图像中的人脸部分；步骤3004、获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态。5.根据权力要求4一种基于智能机器人的综合服务交互方法，其特征在于，所述基于haar特征计算识别预处理图像中的人脸部分的方法包括以下步骤：步骤3003
‑
1、获取双边滤波器预处理后的图像，并获取预处理后图像的尺寸大小，记为W*H；
步骤3003
‑
2、将预处理后的图像均匀分隔成W/a*H/a的矩形块，在预处理后的图像构建尺寸大小为W/10*H/10的矩形框，并将矩形框长和宽一边重合于图像左上角，其中a为常数，a的值为分割后的矩形块能够表示一个像素值；步骤3003
‑
3、将矩形框在图像上进行从左向右水平一层一层逐一水平移动，并将矩形框中的图像像素值总和记录到对应积分图中，其中积分图中每一格数据代表对应矩形框中的图像像素总和；步骤3003
‑
4、获取图像中眼睛和嘴巴的像素值集合，记为眼睛像素值集合A，嘴巴像素值集合B；步骤3003
‑
5、通过归一化处理将集合中能够识别眼睛部分和嘴巴部分进行简化，表达式为：其中G
eye
表示识别眼睛部分的归一化处理结果，G
mouth
表示识别嘴巴部分的归一化处理结构，∑Z
A
表示集合A中元素总和，Z
B
表示集合B中元素值总和，G
A
表示集合A中元素的个数，G
B
表示集合B中元素的个数，表示对眼睛部分计算的归一化因子，表示对嘴巴部分计算的归一化因子；步骤3003
‑
6、获取图像中电力机车司机头部轮廓信息，并将其作为训练样本集S；步骤3003
‑
7、获取训练样本集S中样本S
D
，初始化训练数据的权值分布，表达式为：其中f表示激活函数T1，T2，T3，...，T
N
表示初始化训练数据的权值大小，表示初始化训练数据的权重为即训练初始概率分布，通过学习得到第一分类器H(x)；步骤3003
‑
8、通过第一次迭代训练N个样本，计算得到弱分类器权重T
11

【专利技术属性】
技术研发人员：沈金星，夏勇，张磊，
申请(专利权)人：无锡鸿利成套电气设备有限公司，
类型：发明
国别省市：