一种基于深度学习的手写轨迹异常检测方法技术

本发明专利技术公开了一种基于深度学习的手写轨迹异常检测方法，包括：收集大量测试者的多种手写测试图像和传感器信号数据集；将每组信号映射成相应的图像，并统一所有图像规格；将所有图像按照测试内容和测试过程中测试者手写轨迹是否存在异常进行分类；通过卷积神经网络训练手写图像使网络能识别测试者手写轨迹是否抖动；通过对CNN网络训练信号映射的图像交叉验证测试者是否在测试中发生微弱的抖动。本发明专利技术步骤简单，实现了对测试者异常的手写轨迹进行高效准确鉴别。

A method of handwriting track anomaly detection based on deep learning

【技术实现步骤摘要】
一种基于深度学习的手写轨迹异常检测方法
本专利技术涉及计算机视觉以及深度学习
，特别涉及一种基于深度学习的手写轨迹异常检测方法。
技术介绍
当人们精神紧张、情绪激动或极度劳累时，手会不由自主的抖动，除此之外，有些病理性诱因也会影响手部不自主的抖动，医学上称为震颤，指身体表现为不随意的有节律性的颤动，可将其细分为静止性震颤、运动性震颤、姿势性震颤、回跳性震颤以及震动性震颤等。在某些需要精密操作的场合，如雕刻，手术等，无论人们因心里原因还是生理原因发生手部震颤时，都不应执行当前的工作。在执行精密操作前应对操作者进行手写轨迹的测试，将测试结果进行分类并判断测试者是否有微弱的异常抖动。图像分类是要解决图片中是否包含某类物体或特征的问题，对图像进行特征描述是物体分类的主要研究内容。一般说来，物体分类算法通过手工特征或者特征学习方法对整个图像进行全局描述，然后使用分类器判断是否存在某类物体。应用比较广泛的图像特征有SIFT，HOG，SURF等。这些对图像分类的研究中，大多数特征提取过程是人工设计的，通过浅层学习获得图像底层特征。而深度学习利用设定好的网络结构，完全从训练数据中学习图像的层级结构性特征，能够提取更加接近图像高级语义的抽象特征。2006年,深度学习以机器学习领域的一个分支呈现给人们,它采用多层复杂结构或者采用多重非线性变换构成的多个层进行数据处理。到目前为止,深度学习在自然语言处理、语音识别特别是计算机视觉方面取得了突破性进展。深度学习的优点在于应用分层的高效特征提取方法来代替手工获取特征,这有效的解决了大批量的人工标注工作。深度学习的基本思想是通过构建多层次神经网络,从底层向高层逐步学习提取特征,最终通过大批量数据的训练学习,构建对应的网络模型,学习训练对象的相关特征。虽然深度学习在图像识别问题上取得了巨大的进步，但针对相似度很高的图片分类问题深度学习往往不能很好的发挥稳定的效果。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于深度学习的手写轨迹异常检测方法，本专利技术对基于深度学习的图像识别问题做了充分调查研究,采用测试者的手部描绘图以及传感器信号作为CNN的数据集，把相似的两类图像数据集变得易于区分，并采用多网络训练交叉验证的方法，实际效果证实了实验可行性。本专利技术实施例提供了一种基于深度学习的手写轨迹异常检测方法，包括：采集多个正常测试者和多个异常测试者根据预设规则完成的手写数据集，所述手写数据集包括手写图像数据集；训练手写图像数据集形成第一识别网络；通过第一识别网络识别测试者手写轨迹是否异常抖动。可选的，所述手写数据集还包括传感器信号数据集；将传感器信号数据映射为时序图像；训练时序图像数据集形成第二识别网络；通过第二识别网络交叉验证测试者手写轨迹是否轻微的异常抖动。可选的，第一识别网络和第二识别网络采用CNN网络结构。可选的，使用具有多种传感器的smartpen完成手写测试，分别记录每位测试者的手写图像数据以及测试中smartpen的各传感器采集的信号信息。可选的，所述信号信息包括麦克风、手指握力、墨水补充的轴向压力、x方向的倾斜和加速度、y方向的倾斜和加速度、及z方向的倾斜和加速度。可选的，所述测试包括：测试一、在纸上同一位置画圆12次；测试二、在空中画圆12次；测试三、由内而外描绘4条螺旋曲线；测试四、由内而外描绘4条方形螺旋线；测试五、伸直右手臂，握住笔在空中转动手腕；测试六、伸直左手臂，握住笔在空中转动手腕。可选的，手写图像数据集包括测试一、测试三和测试四中测试者的笔迹图像，传感器信号数据集包括所有测试获取的传感器信号映射的时序图像；可选的，识别测试者手写轨迹是否异常抖动包括：通过第一识别网络网络输出测试者手写轨迹异常的概率。可选的，第二识别网络为多个CNN网络，验证测试者手写轨迹是否轻微的异常抖动包括，分别得出多项测试中每个CNN网络的输出结果，并采用多数投票制确定最终结果。可选的，每项测试所得传感器信号都重新设置为平方矩阵并归一化为灰度图像。本专利技术提供的一种基于深度学习的手写轨迹异常检测方法，包括：采集多个正常测试者和多个异常测试者根据预设规则完成的手写数据集，所述手写数据集包括手写图像数据集；训练手写图像数据集形成第一识别网络；通过第一识别网络识别测试者手写轨迹是否异常抖动，可识别出明显的异常抖动。一些测试者由于异常抖动不明显，其相关手写图像数据与正常的测试者十分相似的情况，进一步的，所述手写数据集还包括传感器信号数据集；将传感器信号数据映射为时序图像；训练时序图像数据集形成第二识别网络；通过第二识别网络交叉验证测试者手写轨迹是否轻微的异常抖动，能够识别出测试者轻微的异常抖动。实施例中第一识别网络和第二识别网络优选采用CNN网络结构。CNN训练时，卷积核一般以随机数矩阵的形式初始化，在网络训练过程中卷积核将学习得到合理的权值。CNN(卷积神经网络)仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习，有稳定的效果且对数据没有额外的特征工程要求。该方法收集大量测试者的多种手写测试图像和传感器信号数据集；将每组信号映射成相应的图像，并统一所有图像规格；将所有图像按照测试内容和测试过程中测试者手写轨迹是否存在异常进行分类；通过卷积神经网络训练手写图像使网络能识别测试者手写轨迹是否抖动；通过对CNN网络训练信号映射的图像交叉验证测试者是否在测试中发生微弱的抖动。本专利技术步骤简单，实现了对测试者异常的手写轨迹进行高效准确鉴别。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术方法实施例的流程示意图；图2为测试一的异常手写轨迹和正常手写轨迹对比图像((1)、(2)正常，(3)、(4)异常)；图3为测试三的异常手写轨迹和正常手写轨迹对比图像((1)、(2)正常，(3)、(4)异常)；图4为测试四的异常手写轨迹和正常手写轨迹对比图像((1)、(2)正常，(3)、(4)异常)；图5为绘制螺旋曲线时手写轨迹异常的测试者的smartpen记录的信号；图6为绘制螺旋曲线时手写轨迹正常的测试者的smartpen记录的信号；图7为在测试中发生轻微异常抖动的测试者绘制的螺旋曲线与弯道曲线；图8为测试一中信号的映射时序图像((1)正常，(2)异常)。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述本文档来自技高网...

【技术保护点】
1.一种基于深度学习的手写轨迹异常检测方法，其特征在于，包括：/n采集多个正常测试者和多个异常测试者根据预设规则完成的手写数据集，所述手写数据集包括手写图像数据集；/n训练手写图像数据集形成第一识别网络；/n通过第一识别网络识别测试者手写轨迹是否异常抖动。/n

【技术特征摘要】
1.一种基于深度学习的手写轨迹异常检测方法，其特征在于，包括：
采集多个正常测试者和多个异常测试者根据预设规则完成的手写数据集，所述手写数据集包括手写图像数据集；
训练手写图像数据集形成第一识别网络；
通过第一识别网络识别测试者手写轨迹是否异常抖动。


2.根据权利要求1所述的基于深度学习的手写轨迹异常检测方法，其特征在于，所述手写数据集还包括传感器信号数据集；
将传感器信号数据映射为时序图像；
训练时序图像数据集形成第二识别网络；
通过第二识别网络交叉验证测试者手写轨迹是否轻微的异常抖动。


3.根据权利要求2所述的基于深度学习的手写轨迹异常检测方法，其特征在于，第一识别网络和第二识别网络采用CNN网络结构。


4.根据权利要求3所述的基于深度学习的手写轨迹异常检测方法，其特征在于，使用具有多种传感器的smartpen完成手写测试，分别记录每位测试者的手写图像数据以及测试中smartpen的各传感器采集的信号信息。


5.根据权利要求4所述的基于深度学习的手写轨迹异常检测方法，其特征在于，所述信号信息包括麦克风、手指握力、墨水补充的轴向压力、x方向的倾斜和加速度、y方向的倾斜和加速度、及z方向的倾斜和加速度。

【专利技术属性】
技术研发人员：宗睿，潘隆盛，高浩，徐枫，李昊伦，余新光，
申请(专利权)人：中国人民解放军总医院，
类型：发明
国别省市：北京;11