一种家庭助老全景云机器人及其全景人体行为识别方法技术

本发明专利技术公开了一种家庭助老全景云机器人及其全景人体行为识别方法，其中，家庭助老全景云机器人包括全景摄像机，所述全景摄像机还包含广角摄像头，所述每个广角摄像头配备一个视场角大于180

【技术实现步骤摘要】
一种家庭助老全景云机器人及其全景人体行为识别方法


[0001]本专利技术涉及一种家庭助老全景云机器人及其全景人体行为识别方法。

技术介绍

[0002]家庭助老机器人是服务机器人的一种，能够为老年人的日常事务和基本需求提供帮助和支持。国内外根据老年人不同的护理需求，研究设计了多种家庭助老机器人，可分为家庭陪伴型、生活护理型、搬运型、残障护理型等。家庭助老机器人在移动机构设计(行走)、语音交互(听觉)、非结构化环境下导航(环境感知)等方面的技术上逐渐成熟。
[0003]与常规的单目和双目摄像机相比，全景相机可以一次性观察到四周的环境信息，使机器人超越人类的观测能力。在助老机器人人机交互的过程中，通过全景视觉可以高效地进行人体检测、人脸识别、物体检测、人体姿态检测与人机跟随，进而提高人机交互的智能化水平和扩大家庭助老的应用场景。
[0004]全景成像的方法主要有：单目旋转拼接、鱼眼透镜和折反射透镜。单目旋转拼接法将一个普通的摄像机固定在云台上，控制云台旋转并通过拼接获取全景图像，但受限于云台的旋转速度，所获得全景图像存在延时，不适合助老机器人对家庭环境中快速移动的目标进行检测。折反射透镜法利用特殊的反射镜，一次性可将周围的环境信息反射到一个单目摄像机中。折反射全景成像由于遵循平面圆柱投影法，会导致助老机器人的全景视角受限，在3D空间中存在视野盲区，不利于进行人机交互。
[0005]助老机器人在全景视觉下的姿态检测与行为识别，是通过深度神经网络对校正后的全景图像进行处理而实现的。现有的全景图像矫正方法已较为成熟，提升全景行为识别准确率的关键在于行为识别网络模型的设计。而现有行为识别各模型并未同时强调环境特征、人体运动特征及人体结构特征，在特征提取的全面性上均有欠缺，因此导致行为识别的准确率不高。

技术实现思路

[0006]为了解决家庭助老机器人获得的全景图像存在延迟或存在视野盲区的技术问题，本专利技术提出了一种家庭助老全景云机器人，同时，本专利技术还提出了一种同时强调环境特征、人体运动特征及人体结构特征，提高行为识别准确率的一种家庭助老全景云机器人的全景人体行为识别方法。
[0007]本专利技术的技术方案如下：
[0008]一种家庭助老全景云机器人，包括全景摄像机、5G通信终端、处理器和运动机构，所述全景摄像机还包含广角摄像头，所述每个广角摄像头配备一个视场角大于180
°
的鱼眼镜头，所述鱼眼镜头围绕所述光角摄像头的垂直光轴间隔180
°
固定安装。
[0009]优选的，所述运动机构作为机器人的底盘，主要由电源、移动机构、升降机构、测距传感器和控制器构成，所述全景摄像机、5G通信终端和处理器安装在机器人的底盘上。
[0010]优选的，所述鱼眼镜头的视场角为210
°
。
[0011]优选的，还包括边缘计算器和云服务器。
[0012]优选的，所述机器人通过5G通信终端以点对点的通讯方式接入边缘计算器。
[0013]一种上述家庭助老全景云机器人的全景人体行为识别方法，包括RGB特征和姿态骨架特征，同时处理RGB特征与姿态骨架特征，包括以下步骤：
[0014]步骤一：通过全景摄像机获取原始数据；
[0015]步骤二：采用Openpose模型处理原始数据，估计人体姿态骨骼点和姿态骨架，得到初步处理后的数据；
[0016]步骤三：采用Slowfast算法处理初步处理后的数据得到最后一层卷积层，采用TCN算法处理处理后的数据得到人体姿态骨骼点的时域特征，采用CNN算法处理处理后的数据得到人体姿态骨架的空间特征，将所述时域特征和所述空间特征融合得到第一卷积层；
[0017]步骤四：使最后一层卷积层和第一卷积层经过全连接层完成特征融合；
[0018]步骤五：判断行为类别。
[0019]优选的，所述TCN算法中包含残差块，所述TCN算法采用残差块相连接，所述残差块具有两个卷积层，两层的卷积核的数量一致，在所述残差块内的每个卷积层前执行批量归一化和随机纠正线性单元，所述随机纠正线性单元采用RReLU激活函数实现，所述第l个残差块的计算公式为Y
l
＝Y
l
‑1+F(W
l，1
，W
l，2
，Y
l
‑1)，残差块的函数F为F(W
l，1
，W
l，2
，Y
l
‑1)＝W
l，2
·
σ(W
l，1
·
σ(Y
l
‑1))，其中σ表示RReLU激活函数。
[0020]优选的，所述CNN算法通过下述流程实现：首先构建人体骨骼点空间位姿特征矩阵，并根据所述Slowfast算法中的低频采样率对特征信息进行下采样，选取人体动作行为的关键帧，之后采用OpenCV对关键帧内的骨骼点位姿信息进行处理，重构出无背景的人体骨骼点增强图，最终采用Resnet
‑
18模型对骨骼点增强图进行处理。
[0021]优选的，所述时域特征与所述空间特征通过加权融合得到第一卷积层，所述加权融合计算公式为V
ts
＝avg(V
t
，V
s
)＝ω
t
V
t
+ω
s
V
s
，其中ω
t
与ω
s
分别表示融合两种特征时的各自权重。
[0022]优选的，还包括两个交叉熵损失和一个总损失，视频样本总数为M，行为类别
·
总数为N，RGB特征的交叉熵损失为：
[0023][0024]姿态骨架特征的交叉熵损失为：
[0025][0026]总损失为：
[0027][0028]式中y
m，n
为结果的真实值，和分别表示采用RGB数据和姿态骨架数据时的预测结果，表示所有参数的权重衰减正则化，λ为衰减系数，用来避免过拟
合。
[0029]在本专利技术中，全景摄像机包括广角摄像头和视场角大于180
°
的鱼眼镜头，广角摄像头和鱼眼镜头相互配合，能够实时获得没有视野盲区的全景图像。同时，本专利技术通过将Slowfast算法、TCN算法和CNN算法相融合，得到了一种新的方法，该方法能够利用Slowfast算法分析RGB环境特征，并利用TCN算法补充人体运动特征，利用CNN算法补充人体结构特征，最终能够提高助老机器人在全景视觉下的行为识别的准确率。
附图说明
[0030]图1是本专利技术家庭助老全景云机器人的示意图；
[0031]图2是本专利技术家庭助老全景云机器人的全景摄像机的示意图；
[0032]图3是本专利技术家庭助老全景云机器人的全景图像处理系统的架构示意图；
[0033]图4是本专利技术家庭助老全景云机器人的全景人体行为识别方法中的人体骨骼点帧间空间特征矢量图；...

【技术保护点】

【技术特征摘要】
1.一种家庭助老全景云机器人，包括全景摄像机、5G通信终端、处理器和运动机构，其特征在于，所述全景摄像机还包含广角摄像头，所述每个广角摄像头配备一个视场角大于180
°
的鱼眼镜头，所述鱼眼镜头围绕所述光角摄像头的垂直光轴间隔180
°
固定安装。2.如权利要求1所述的一种家庭助老全景云机器人，其特征在于，所述运动机构作为机器人的底盘，主要由电源、移动机构、升降机构、测距传感器和控制器构成，所述全景摄像机、5G通信终端和处理器安装在机器人的底盘上。3.如权利要求2所述的一种家庭助老全景云机器人，其特征在于，所述鱼眼镜头的视场角为210
°
。4.如权利要求3所述的一种家庭助老全景云机器人，其特征在于，还包括边缘计算器和云服务器。5.如权利要求4所述的一种家庭助老全景云机器人，其特征在于，所述机器人通过5G通信终端以点对点的通讯方式接入边缘计算器。6.如权利要求1
‑
5所述的一种家庭助老全景云机器人的全景人体行为识别方法，包括RGB特征和姿态骨架特征，其特征在于，同时处理RGB特征与姿态骨架特征，包括以下步骤：步骤一：通过全景摄像机获取原始数据；步骤二：采用Openpose模型处理原始数据，估计人体姿态骨骼点和姿态骨架，得到初步处理后的数据；步骤三：采用Slowfast算法处理初步处理后的数据得到最后一层卷积层，采用TCN算法处理处理后的数据得到人体姿态骨骼点的时域特征，采用CNN算法处理处理后的数据得到人体姿态骨架的空间特征，将所述时域特征和所述空间特征融合得到第一卷积层；步骤四：使最后一层卷积层和第一卷积层经过全连接层完成特征融合；步骤五：判断行为类别。7.如权利要求6所述的一种家庭助老全景云机器人的全景人体行为识别方法，其特征在于，所述TCN算法中包含残差块，所述TCN算法采用残差块相连接，所述残差块具有两个卷积层，两层的卷积核的数量一致，在所述残差块内的每个卷积层前执行批量归一化和随机纠正线性单元，所述随机纠正线性单元采用RReLU激活函数实现，所述第l个残差块的计算公式为Y
l
＝...

【专利技术属性】
技术研发人员：张大伟，张焱铭，杨停停，孙钢灿，
申请(专利权)人：郑州大学，
类型：发明
国别省市：