一种基于动作识别的病患辅助系统技术方案

发明专利技术公开了一种基于动作识别的病患辅助系统，包括影像采集模块、语音录入模块、数据接收模块、数据处理模块与判定模块；所述影像采集模块用于进行采集影像信息，所述语音录入模块用于采集语音信息，所述数据接收模块用于接收影像信息与语音信息，并将影像信息与语音信息发送到数据处理模块，所述数据处理模块对影像信息进行处理，并进行动作分析得到动作判定结果，所述数据处理模块对影像信息与语音信息进行处理进行身份判定；所述判定模块对动作判定结果进行处理得到最终辅助数据。本发明专利技术能够更好的为医生提供病患判定的数据，让该系统更加值得推广使用。

【技术实现步骤摘要】
一种基于动作识别的病患辅助系统
本专利技术涉及动作识别领域，具体涉及一种基于动作识别的病患辅助系统。
技术介绍
人体动作识别是近些年来的研究热点，被广泛运用在人机智能交互、虚拟现实和智能监控等领域。在医疗康复领域，使用现有的机器人辅助康复成本高、代价大且需要指定康复地点，而传统的人工康复又出现供不应求的现象。利用动作识别技术的辅助医生进行病患判定的系统成为大势所趋，它通过患者完成指定动作进行动作识别来为医生提供辅助数据，能够为医生提供判定并且的数据。现有的病患辅助系统，对医生进行辅助作业的效果不够好，不能满足用户使用需求，为医生提供辅助数据的准确性不够高，给病患辅助系统的使用带来了一定的影响，因此，提出一种基于动作识别的病患辅助系统。
技术实现思路
专利技术所要解决的技术问题在于：如何解决现有的病患辅助系统，对医生进行辅助作业的效果不够好，不能满足用户使用需求，为医生提供辅助数据的准确性不够高，给病患辅助系统的使用带来了一定的影响的问题，提供了一种基于动作识别的病患辅助系统。专利技术是通过以下技术方案解决上述技术问题的，专利技术包括影像采集模块、语音录入模块、数据接收模块、数据处理模块与判定模块；所述影像采集模块用于进行采集影像信息，所述语音录入模块用于采集语音信息，所述数据接收模块用于接收影像信息与语音信息，并将影像信息与语音信息发送到数据处理模块，所述数据处理模块对影像信息进行处理，并进行动作分析得到动作判定结果，所述数据处理模块对影像信息与语音信息进行处理进行身份判定；>所述判定模块对动作判定结果进行处理得到最终辅助数据。优选的，所述影像采集模采集影像信息与动作处理的具体过程如下：步骤一：进行一次光源标定，再确定空间中物体的位置得到深度图像，以“激光散斑”为光源，激光射到粗糙物或穿透毛玻璃后形成衍射斑点，通过红外摄影机发射激光散斑，红外摄像头分析红外光谱后将散斑信息传给处理芯片，在可视空间内，每隔一定的距离取一个参考面，记录其散斑图案，将这些参考面组合就形成了整个空间的散斑图案，完成了光源标定，由于激光散斑的随机性，空间中每个物体的散斑图案各不相同，将每个物体的散斑图案分别与每个参考面散斑图案做互相关运算，依据运算结果可确定物体的空间位置、形状等，再经过插值运算即可得到场景的三维形状，即深度图像；步骤二：发现人体：通过对背景和人体的分割，输出人体轮廓，首先着重扫描靠近的区域，该区域极大可能的存在用户，其次逐个像素的扫描以上区域的深度图像，通过计算机图形视觉技术，包括边缘检测、噪声阈值处理、提取目标特征点等技术将人体从背景中分离，最为跟踪到的人体创建“分割遮罩”；步骤三：识别人体部位：系统汇总不存在存储人体部位与动作姿势相关的匹配模型数据库，通过利用骨骼跟踪学习技术--Exemplar系统进行机器学习识别人体部位，在这一阶段Exemplar系统扫描深度图像的每个像素，并在“随机决策库”中搜索，通过概率推测的方法来判断该像素属于人体的具体部位；步骤四：识别人体关节：对步骤三的每个部位的像素进行评估，同样利用机器学习，通过近似概率匹配，得到人体部位的关节点，将这些关节点合成整体，形成了人体骨架模型，此时得到的是人体骨骼的三维坐标，需要通过数学处理，将三维坐标转化为显示在屏幕上的二维坐标。优选的，所述身份判定的具体过程如下：步骤一：身份识别包括人脸识别和动作识别，依据摄像头收集到彩色图像，传输彩色数据流，定位到人脸的存在，其次对人脸进一步分析，抽象面部特性，包括人脸大小、位置、面部器官的位置等信息，将这些信息与系统建立好的“通用人脸”数据库中的已知人脸进行比对，并结合人物的着装、骨架等识别人物身份，动作识别是基于骨骼跟踪的基础之上的，可将动作抽象为骨骼关节点或动作序列，通过匹配算法，结合语义理解，实现对动静态动作的识别；步骤二：语音识别：从麦克风阵列传输的原始音频流通过多声道回声消除算法使系统适应环境回声和人物与麦克风的距离，通过波束成形技术定位人物声源，通过音频增强效果算法尽可能的过滤和抑制噪声，从而完成对用户语音命令的识别。优选的，所述动作分析过程中使用到了模板匹配法、动态时间规整(DTW)算法与基于机器学习的方法。优选的，所述模板匹配法具体过程如下：将待测样本与已知模板进行距离比较，根据相距距离的大小判断二者是否相同或相似，模板匹配方法分为两类问题的匹配和多类问题的匹配，两类问题的匹配：假设有两个样本模板H和Q，其特征向量都是n维坐标向量，可分别表示为xH(xH1,xH2,…,xHn)和xQ(xQ1,xQ2,…,xQn)，现有一待测样本x(x1,x2,…,xn)，利用最小距离判别法分别计算出x到xH和xQ的最小距离，将两距离值进行比较，则待测样本与哪个模板距离小就属于哪个模板，最小距离的计算公式为：多类问题的匹配：多类问题是指标准模板在三类及以上的匹配问题，如有m个标准模板，xi(xi1,xi2,…,xin)为其中任意一个模板的特征向量，对于被测样本x(x1,x2,…,xn)，依次计算x与xi(i＝1,2,…,m)的距离，若存在一个i值，满足d(x,xi)≤d(x,xj)(j＝1,2,…,m),j≠i.则该待测样本属于第i个模板，在具体判定时，可使用以下公式：最小距离的计算有两种形式，一种是将待测样本依次和全部标准模板都进行距离计算后选取距离最小的，二是将待测样本和每个类的类中心进行距离计算。优选的，所述动态时间规整(DTW)算法具体过程如下：存在参考模板R＝{R(1),R(2),…,R(m),…,R(M)}，m是参考模板动作序列中的某一个时序编号，m＝1为起始动作帧，m＝M为终点动作帧,M是包含的总帧数，待测模板T＝{T(1),T(2),…,T(n),…,T(N)}，n是待测模板时序序号，N为总帧数以待测模板各帧数为横坐标，参考模板各帧数为纵坐标，建立二维直角坐标系，形成坐标矩阵，计算从起点(1,1)(m＝1,n＝1)到终点(N,M)(m＝M,n＝N)的最短距离之和，即规整路径距离，规整路径W为：W＝{W1,W2,…,WK}(max(n,m)≤k≤m+n-1)该规整路径须满足三个条件：起点为(1,1)终点为(N,M)；连续性；单增性，Di,j为Ti和Rj的距离，最终得到的规整路径是一个最短的路径：Di,j＝d(Ti,Rj)+min{Di-1,j,Di,j-1,Di-1,j-1}。优选的，所述与基于机器学习的方法具体过程如下：从现有的观测数据出发，处理并分析数据，探求出样本数据之间的某种规律，通过这些规律对未知数据进行预测，包括模式识别、神经网络等，输入X和输出Y存在着某种未知关系，遵循某种联合概率F(X,Y),机器学习的目的就是根据多个独立的样本数据尽可能的预测出这种联合概率，并且该种预测成本是最小的，使利用机器学习的人体动作识别，不需要提前设定好人体模型，只需要提取目标特征表示，将现有样本的目标特征值投入算法中，利用算法已有的知识结构，构建分类器，利用数据训练与学习即可实现对动作的识别。优本文档来自技高网...

【技术保护点】
1.一种基于动作识别的病患辅助系统，其特征在于，包括影像采集模块、语音录入模块、数据接收模块、数据处理模块与判定模块；/n所述影像采集模块用于进行采集影像信息，所述语音录入模块用于采集语音信息，所述数据接收模块用于接收影像信息与语音信息，并将影像信息与语音信息发送到数据处理模块，所述数据处理模块对影像信息进行处理，并进行动作分析得到动作判定结果，所述数据处理模块对影像信息与语音信息进行处理进行身份判定；/n所述判定模块对动作判定结果进行处理得到最终辅助数据。/n

【技术特征摘要】
1.一种基于动作识别的病患辅助系统，其特征在于，包括影像采集模块、语音录入模块、数据接收模块、数据处理模块与判定模块；
所述影像采集模块用于进行采集影像信息，所述语音录入模块用于采集语音信息，所述数据接收模块用于接收影像信息与语音信息，并将影像信息与语音信息发送到数据处理模块，所述数据处理模块对影像信息进行处理，并进行动作分析得到动作判定结果，所述数据处理模块对影像信息与语音信息进行处理进行身份判定；
所述判定模块对动作判定结果进行处理得到最终辅助数据。


2.根据权利要求1所述的一种基于动作识别的病患辅助系统其特征在于：所述影像采集模采集影像信息与动作处理的具体过程如下：
步骤一：进行一次光源标定，再确定空间中物体的位置得到深度图像，以“激光散斑”为光源，激光射到粗糙物或穿透毛玻璃后形成衍射斑点，通过红外摄影机发射激光散斑，红外摄像头分析红外光谱后将散斑信息传给处理芯片，在可视空间内，每隔一定的距离取一个参考面，记录其散斑图案，将这些参考面组合就形成了整个空间的散斑图案，完成了光源标定，由于激光散斑的随机性，空间中每个物体的散斑图案各不相同，将每个物体的散斑图案分别与每个参考面散斑图案做互相关运算，依据运算结果可确定物体的空间位置、形状等，再经过插值运算即可得到场景的三维形状，即深度图像；
步骤二：发现人体：通过对背景和人体的分割，输出人体轮廓，首先着重扫描靠近的区域，该区域极大可能的存在用户，其次逐个像素的扫描以上区域的深度图像，通过计算机图形视觉技术，包括边缘检测、噪声阈值处理、提取目标特征点等技术将人体从背景中分离，最为跟踪到的人体创建“分割遮罩”；
步骤三：识别人体部位：系统汇总不存在存储人体部位与动作姿势相关的匹配模型数据库，通过利用骨骼跟踪学习技术--Exemplar系统进行机器学习识别人体部位，在这一阶段Exemplar系统扫描深度图像的每个像素，并在“随机决策库”中搜索，通过概率推测的方法来判断该像素属于人体的具体部位；
步骤四：识别人体关节：对步骤三的每个部位的像素进行评估，同样利用机器学习，通过近似概率匹配，得到人体部位的关节点，将这些关节点合成整体，形成了人体骨架模型，此时得到的是人体骨骼的三维坐标，需要通过数学处理，将三维坐标转化为显示在屏幕上的二维坐标。


3.根据权利要求1所述的一种基于动作识别的病患辅助系统其特征在于：所述身份判定的具体过程如下：
步骤一：身份识别包括人脸识别和动作识别，依据摄像头收集到彩色图像，传输彩色数据流，定位到人脸的存在，其次对人脸进一步分析，抽象面部特性，包括人脸大小、位置、面部器官的位置等信息，将这些信息与系统建立好的“通用人脸”数据库中的已知人脸进行比对，并结合人物的着装、骨架等识别人物身份，动作识别是基于骨骼跟踪的基础之上的，可将动作抽象为骨骼关节点或动作序列，通过匹配算法，结合语义理解，实现对动静态动作的识别；
步骤二：语音识别：从麦克风阵列传输的原始音频流通过多声道回声消除算法使系统适应环境回声和人物与麦克风的距离，通过波束成形技术定位人物声源，通过音频增强效果算法尽可能的过滤和抑制噪声，从而完成对用户语音命令的识别。


4.根据权利要求1所述的一种基于动作识别的病患辅助系统其特征在于：所述动作分析过程中使用到了模板匹配法、动态时间规整(DTW)算法与基于机器学习的方法。


5.根据权利要求4所述的一种基于动作识别的病患辅助系统其特征在于：所述模板匹配法具体过程如下：将待测样本与已知模板进行距离比较，根据相距距离的大小判断二者是否相同或相似，模板匹配方法分为两类问题的匹配和多类问题的匹配，两类问题的匹配：假设有两个样本模板H和Q，其特征向量都是n维坐标向量，可分别表示为xH(xH1,xH2,…,xHn)和xQ(xQ1,xQ2,…,xQn)，现有一待测样本x(...

【专利技术属性】
技术研发人员：李锋刚，
申请(专利权)人：安徽动感智能科技有限公司，
类型：发明
国别省市：安徽;34