一种基于Tensorflow目标检测的动作识别方法技术

本发明专利技术公开一种基于Tensorflow目标检测的动作识别方法，主要步骤为：1)获取含有人体姿态和目标物体的视频流，并分解为若干帧图像；2)构造卷积神经网络，并训练得到目标物体识别模型；3)利用目标物体识别模型框选出每帧图像中的目标物体，并为矩形框打上类别标签；4)基于矩形框的左上角归一化坐标(x

【技术实现步骤摘要】
一种基于Tensorflow目标检测的动作识别方法
本专利技术涉及动作识别领域，具体是一种基于Tensorflow目标检测的动作识别方法。
技术介绍
动作评分是阿尔茨海默病智能量表诊断中理解力测试的主要内容，通过要求受试者做出相应的动作，根据其得分可以衡量受试者的理解力、记忆力和执行力，对病情的诊断提供重要参考。现有的量表动作中涉及的物体有卡片、牙刷、鼠标等，动作识别方法是结合目标检测和图像处理技术，识别的准确率不高且耗时长，主要原因有三点：一是卡片的检测和坐标提取困难，现有方法通常对视频的开头结尾某两帧使用图像形态学处理，卡片正反面涂上单一颜色，利用颜色空间和图像开闭运算寻找最大连通域实现卡片的定位和坐标提取，但非常容易受到光线和遮挡的干扰，且一系列运算耗时较长；二是卡片正反面区分困难，因为视频帧的选取存在一定的随机性，会出现选取的两个视频帧中的卡片为同一面，无法判断翻卡片的动作；三是在实际对视频图像提取坐标时，由于遮挡、重合等因素，导致部分视频帧出现坐标的缺失或异常值，在利用单帧数据进行识别判断时极易出现误判，造成准确率降低。
技术实现思路
本专利技术的目的是提供一种基于Tensorflow目标检测的动作识别方法，主要包括以下步骤：1)获取含有人体姿态和目标物体的视频流，并分解为若干帧图像。所述目标物体的两面印刷有图案。所述人体姿态为受试者根据AD量表指示完成的动作。所述目标物体为矩形卡片。矩形卡片的正反两面分别印刷有不同图案。2)利用Tensorflow和FasterR-CNN构造卷积神经网络，并训练得到目标物体识别模型。所述卷积神经网络包括输入层、激励层、池化层和卷积层conv、输出层。所述目标物体识别模型的训练数据集为由Faster-RCNN深度学习目标检测算法训练得到的COCO数据集。3)利用目标物体识别模型框选出每帧图像中的目标物体，并为矩形框打上类别标签。确定矩形框的左上角归一化坐标(xmin_nor,ymin_nor)、右下角归一化坐标值(xmax_nor,ymax_nor)和置信度c。xmin_nor、ymin_nor、xmax_nor、ymax_nor、c∈[0,1]。4)基于矩形框的左上角归一化坐标(xmin_nor,ymin_nor)、右下角归一化坐标值(xmax_nor,ymax_nor)确定目标物体坐标。提取矩形框坐标的主要步骤如下：4.1)将左上角归一化坐标(xmin_nor,ymin_nor)、右下角归一化坐标值(xmax_nor,ymax_nor)转换为矩形框左上角(xmin，ymin)和右下角位置坐标值(xmax，ymax)，即：式中，img_width、img_height分别表示图像宽度、图像高度。4.2)用0填充缺失坐标数据。4.3)确定目标物体坐标card(xmin,ymin)和右下角坐标card(xmax,ymax)，即式中，card_p(xmin,ymin)和card_n(xmin,ymin)分别表示目标物体正面和反面印制的物体的左上角坐标；card_p(xmax,ymax)和card_n(xmax,ymax)分别表示目标物体正面和反面印制的物体的右下角坐标。5)对目标物体坐标进行处理，主要步骤如下：5.1)以目标物体中心坐标(x,y)代替目标物体坐标，即：式中，(x，y)为目标物体中心坐标。5.2)利用分段线性插值函数In(t)对丢失数据进行线性插值补全。其中，分段线性插值函数In(t)在每个区间[ti,ti+1]内为线性函数，分段线性插值函数In(t)如下所示：式中，fi为线性函数。t为分段点；i为分段序号；n为总分段数；插值基函数li(t)如下所示：一个分段区间内分段线性插值函数In(ti)如下所示：In(ti)＝fi(6)5.3)对缺失数据进行插值补全，并进行中值滤波。6)建立动作识别模型，即：式中，dis12(t)为目标物体1和目标物体2的欧式距离；x12(t)为目标物体1和目标物体2的相对位置；下标1表示目标物体1，下标2表示目标物体2。7)将处理后的矩形框坐标输入到动作识别模型中，对人体姿态进行识别。对人体姿态进行识别的标准为：连续N个视频帧中同时满足阈值和时序条件，则受试者完成指示动作，反之，受试者未完成指示动作。判断函数如下所示：式中，tflag为时间标志位。k12为人体姿态识别参数；disthr、kthr、xthr、ythr分别表示欧式距离阈值、人体姿态识别参数阈值、阈值和纵坐标阈值。值得说明的是，基于Tensorflow框架实现对物体的检测，初步提取检测物体的矩形框坐标，通过中心化、线性插值、中值滤波等预处理得到检测物体的坐标，再利用欧氏距离、相对位置、时序条件等信息，完成物体运动分析进而对人的动作进行识别，有效提高了动作识别的速度和精度，节省了人力成本，拓展了动作识别的应用场景。具体涉及目标检测、数据处理、动作识别模型等内容。本专利技术的技术效果是毋庸置疑的，本专利技术结合深度学习目标检测方法、数据插值滤波处理以及针对动作识别数学模型的建立，可以提高动作识别的速度和准确率，拓展动作识别的应用场景。本专利技术基于Tensorflow目标检测接口提供的目标检测方法，提取了检测物体的矩形框坐标，实现了卡片的定位和正反面区分，准确度高、鲁棒性好；本专利技术基于中心化、线性插值、中值滤波的数据处理方法，将物体用中心坐标代替以简化分析过程，插值滤波提高了坐标数据的准确性，保证了动作识别的精度；本专利技术基于对坐标数据进行欧氏距离、相对位置提取的方法，实现了动作识别模型的建立，通过设置阈值和时序条件分析多个视频帧数据快速准确完成了动作识别。附图说明图1为FasterRCNN深度学习目标检测算法结构图；图2为目标检测和坐标提取结果；图3为中心坐标位置示意图；图4为原始的第116帧视频；图5为Tensorflow目标检测接口处理后；图6为牙刷的原始x坐标数据；图7为牙刷的插值后的x坐标数据；图8为牙刷滤波后的x坐标数据；图9为牙刷和卡片距离变化；图10为牙刷和卡片相对位置变化；图11为动作1判断流程；图12为鼠标和卡片距离；图13为鼠标和卡片相对位置；图14为动作2判断流程。具体实施方式下面结合实施例对本专利技术作进一步说明，但不应该理解为本专利技术上述主题范围仅限于下述实施例。在不脱离本专利技术上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本专利技术的保护范围内。实施例1：一种基于Tensorflow目标检测的动作识别方法，主要包括以下步骤：1)获取含有人体姿态和目标物体的视频流，并分解为若干帧图像。所述目标物体本文档来自技高网...

【技术保护点】
1.一种基于Tensorflow目标检测的动作识别方法，其特征在于，主要包括以下步骤：/n1)获取含有人体姿态和目标物体的视频流，并分解为若干帧图像；所述目标物体的两面印刷有所述图案；/n2)利用Tensorflow和Faster R-CNN算法建立卷积网络，并训练得到目标物体识别模型。/n3)利用目标物体识别模型框选出每帧图像中的目标物体，并为矩形框打上类别标签；确定矩形框的左上角归一化坐标(x

【技术特征摘要】
1.一种基于Tensorflow目标检测的动作识别方法，其特征在于，主要包括以下步骤：
1)获取含有人体姿态和目标物体的视频流，并分解为若干帧图像；所述目标物体的两面印刷有所述图案；
2)利用Tensorflow和FasterR-CNN算法建立卷积网络，并训练得到目标物体识别模型。
3)利用目标物体识别模型框选出每帧图像中的目标物体，并为矩形框打上类别标签；确定矩形框的左上角归一化坐标(xmin_nor,ymin_nor)、右下角归一化坐标值(xmax_nor,ymax_nor)和置信度c；xmin_nor、ymin_nor、xmax_nor、ymax_nor、c∈[0,1]；
4)基于矩形框的左上角归一化坐标(xmin_nor,ymin_nor)、右下角归一化坐标值(xmax_nor,ymax_nor)确定目标物体坐标；
5)对目标物体坐标进行处理；
6)建立动作识别模型；
7)将处理后的矩形框坐标输入到动作识别模型中，对人体姿态进行识别。


2.根据权利要求1或2所述一种基于Tensorflow目标检测的动作识别方法，其特征在于，所述人体姿态为受试者根据AD量表指示完成的动作。


3.根据权利要求1所述一种基于Tensorflow目标检测的动作识别方法，其特征在于，所述卷积神经网络包括输入层、池化层和卷积层。


4.根据权利要求1所述一种基于Tensorflow目标检测的动作识别方法，其特征在于，所述目标物体识别模型的训练数据集为由Faster-RCNN深度学习目标检测算法训练得到的COCO数据集。


5.根据权利要求1所述一种基于Tensorflow目标检测的动作识别方法，其特征在于，所述目标物体为矩形卡片；矩形卡片的正反两面分别印刷有不同图案。


6.根据权利要求1所述一种基于Tensorflow目标检测的动作识别方法，其特征在于，提取矩形框坐标的主要步骤如下：
1)将左上角归一化坐标(xmin_nor,ymin_nor)、右下角归一化坐标值(xmax_nor,ymax_nor)转换为矩形框左上角坐标值(xmin，ymin)和右下角位置坐标值(xmax，ymax)，即：



式中，img_width、img_height分别表示图像宽度、图像高度；<...

【专利技术属性】
技术研发人员：余娟，王兵凯，孔航，何伟，葛学人，杨文凯，李文沅，杨知方，吕洋，
申请(专利权)人：重庆大学，重庆医科大学，
类型：发明
国别省市：重庆;50