一种记录图形绘制过程信息的方法及系统技术方案

本发明专利技术公开了一种记录图形绘制过程信息的方法及系统，涉及记录图形绘制过程技术领域，该方法包括：获取待测者绘制图形时的过程信息和待测者的面部视频；根据待测者的面部视频，确定待测者绘制过程中的目光特征；对过程信息进行特征提取，得到待测者的图形特征和过程特征；对图形特征、过程特征和目光特征进行拼接，得到待测者的图形绘制特征；将图形绘制特征输入训练好的神经网络模型，预测待测者的认知障碍结果。本发明专利技术相较于传统测试，能够完整的保存图形绘制过程中的信息，为医生的诊断提供有力依据；在社区筛查等大规模测评场景下，能够为在较大规模人群中使用包含复杂图形绘制的量表进行测试提供技术支持。绘制的量表进行测试提供技术支持。绘制的量表进行测试提供技术支持。

【技术实现步骤摘要】
一种记录图形绘制过程信息的方法及系统


[0001]本专利技术涉及记录图形绘制过程
，特别是涉及一种记录图形绘制过程信息的方法及系统。

技术介绍

[0002]从复杂图形的绘制中，可以获取到很多的有效信息。比如在各种量表中，包括临床所使用的医用量表中，不少都有复杂图形绘制的项目，因为其科学合理且便于使用，受到医生及待测者的普遍欢迎。在量表的帮助下，医生可以对待测者的情况和状态进行评估，用以辅助进一步的诊疗。特别是在诊断大脑、精神方面的疾病时，其前中期往往没有器质性病变，在此情况下，量表的结果将作为医生诊断的重要依据。
[0003]而且，在量表的帮助下，人们也可以在就医之前进行自查，对于自己的状况有一个大致的了解。目前对于复杂图形绘制而言，对其的打分判断主要是依靠专业医生来进行。而单纯依靠医生判断也有一定的局限性，比如医生的判断在一定程度会受到主观因素的影响。而且基于医生资源相对稀缺的现状下，在类似于社区筛查等应用场景下，包含有复杂图形的评测难以广泛实施。而且更重要的是，在传统测试中，待测者在图形绘制过程中的信息很难被保留下来，留下的只是最后画完的图形，其中相当多可用于辅助诊断的信息被丢失。
[0004]因此，目前在复杂图形绘制测试中，存在着一些实际问题：一是对医生依赖度高，使得在类似于社区筛查等应用场景下，基于复杂图形的评测难以广泛实施；更重要的是，在传统的复杂图形绘制测试过程中，除了医生直接观察之外，并没有更多的方法收集图形绘制过程中的信息，留下的只是最后画完的图形，其中相当多可用于辅助诊断的信息被丢失。

技术实现思路

[0005]本专利技术的目的是提供一种记录图形绘制过程信息的方法及系统，在医院场景下，相较于传统测试，能够完整的保存图形绘制过程中的信息，为医生的诊断提供有力依据；在社区筛查等大规模测评场景下，能够为在较大规模人群中使用包含复杂图形绘制的量表进行测试提供技术支持。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种记录图形绘制过程信息的方法，所述方法包括：
[0008]获取待测者绘制图形时的过程信息和待测者的面部视频；所述过程信息包括每一笔的起始位置、每一笔的停止位置、每一笔的起始时间、每一笔的停止时间和每一笔的轨迹长度；
[0009]根据所述待测者的面部视频，确定所述待测者绘制过程中的目光特征；所述目光特征包括目光焦点切换次数、目光焦点切换频率、绘图时间和观察样图时间；
[0010]对所述过程信息进行特征提取，得到所述待测者的图形特征和过程特征；
[0011]对所述图形特征、所述过程特征和所述目光特征进行拼接，得到所述待测者的图形绘制特征；
[0012]将所述图形绘制特征输入训练好的神经网络模型，预测所述待测者的认知障碍结果；所述认知障碍结果包括是否存在认知障碍以及认知障碍的级别。
[0013]可选地，所述神经网络模型的训练过程包括：
[0014]获取测试者绘制图形时的过程信息和测试者的面部视频；
[0015]根据所述测试者的面部视频，确定所述测试者绘制过程中的目光特征；
[0016]对所述过程信息进行特征提取，得到所述测试者的图形特征和过程特征；
[0017]对所述图形特征、所述过程特征和所述目光特征进行拼接，得到所述测试者的图形绘制特征；
[0018]根据所述测试者对量表的打分，确定所述测试者的认知障碍结果；
[0019]以所述测试者的图形绘制特征为输入，以所述测试者的认知障碍结果为输出，对神经网络模型进行训练，得到训练好的神经网络模型。
[0020]可选地，所述根据所述待测者的面部视频，确定所述待测者绘制过程中的目光特征，具体包括：
[0021]提取所述待测者的面部视频中的单帧图像；
[0022]对所述单帧图像应用YOLO目标检测算法，得到所述待测者的睁眼的眼部图片；
[0023]应用卷积神经网络对所述睁眼的眼部图片进行分析，得到眼球定位特征；
[0024]根据所述眼球定位特征，确定所述待测者的当前的行为；所述当前的行为包括看样图和绘图；
[0025]记录所述待测者看样图的时刻和绘图的时刻；
[0026]根据所述看样图的时刻和所述绘图的时刻，确定目光特征。
[0027]可选地，所述对所述过程信息进行特征提取，得到所述待测者的图形特征和过程特征，具体包括：
[0028]将所述过程信息按照设定时间长度进行分段，统计每个时间段内的笔画、思考时间和绘制时间，得到初始过程特征；
[0029]根据待测者绘制完成的图形提取初始图形特征；所述图形特征包括图形面积、图形位置、图形绘制时间、图形思考时间和笔画长度；
[0030]对所述初始过程特征和所述初始图形特征分别进行降维，得到所述待测者的图形特征和过程特征。
[0031]一种记录图形绘制过程信息的系统，应用于上述的记录图形绘制过程信息的方法，所述系统包括：
[0032]获取模块，用于获取待测者绘制图形时的过程信息和待测者的面部视频；所述过程信息包括每一笔的起始位置、每一笔的停止位置、每一笔的起始时间、每一笔的停止时间和每一笔的轨迹长度；
[0033]目光特征确定模块，用于根据所述待测者的面部视频，确定所述待测者绘制过程中的目光特征；所述目光特征包括目光焦点切换次数、目光焦点切换频率、绘图时间和观察样图时间；
[0034]特征提取模块，用于对所述过程信息进行特征提取，得到所述待测者的图形特征和过程特征；
[0035]拼接模块，用于对所述图形特征、所述过程特征和所述目光特征进行拼接，得到所
述待测者的图形绘制特征；
[0036]预测模块，用于将所述图形绘制特征输入训练好的神经网络模型，预测所述待测者的认知障碍结果；所述认知障碍结果包括是否存在认知障碍以及认知障碍的级别。
[0037]可选地，所述系统还包括训练模块；所述训练模块包括：
[0038]获取子模块，用于获取测试者绘制图形时的过程信息和测试者的面部视频；
[0039]目光特征确定子模块，用于根据所述测试者的面部视频，确定所述测试者绘制过程中的目光特征；
[0040]特征提取子模块，用于对所述过程信息进行特征提取，得到所述测试者的图形特征和过程特征；
[0041]拼接子模块，用于对所述图形特征、所述过程特征和所述目光特征进行拼接，得到所述测试者的图形绘制特征；
[0042]结果确定子模块，用于根据所述测试者对量表的打分，确定所述测试者的认知障碍结果；
[0043]训练子模块，用于以所述测试者的图形绘制特征为输入，以所述测试者的认知障碍结果为输出，对神经网络模型进行训练，得到训练好的神经网络模型。
[0044]可选地，所述目光特征确定模块包括：
[0045]单帧图像提取子模块，用于提取所述待测者的面部视频中的单帧图像；
[0046]眼部图片确定子模块，用于对所述单帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种记录图形绘制过程信息的方法，其特征在于，所述方法包括：获取待测者绘制图形时的过程信息和待测者的面部视频；所述过程信息包括每一笔的起始位置、每一笔的停止位置、每一笔的起始时间、每一笔的停止时间和每一笔的轨迹长度；根据所述待测者的面部视频，确定所述待测者绘制过程中的目光特征；所述目光特征包括目光焦点切换次数、目光焦点切换频率、绘图时间和观察样图时间；对所述过程信息进行特征提取，得到所述待测者的图形特征和过程特征；对所述图形特征、所述过程特征和所述目光特征进行拼接，得到所述待测者的图形绘制特征；将所述图形绘制特征输入训练好的神经网络模型，预测所述待测者的认知障碍结果；所述认知障碍结果包括是否存在认知障碍以及认知障碍的级别。2.根据权利要求1所述的记录图形绘制过程信息的方法，其特征在于，所述神经网络模型的训练过程包括：获取测试者绘制图形时的过程信息和测试者的面部视频；根据所述测试者的面部视频，确定所述测试者绘制过程中的目光特征；对所述过程信息进行特征提取，得到所述测试者的图形特征和过程特征；对所述图形特征、所述过程特征和所述目光特征进行拼接，得到所述测试者的图形绘制特征；根据所述测试者对量表的打分，确定所述测试者的认知障碍结果；以所述测试者的图形绘制特征为输入，以所述测试者的认知障碍结果为输出，对神经网络模型进行训练，得到训练好的神经网络模型。3.根据权利要求1所述的记录图形绘制过程信息的方法，其特征在于，所述根据所述待测者的面部视频，确定所述待测者绘制过程中的目光特征，具体包括：提取所述待测者的面部视频中的单帧图像；对所述单帧图像应用YOLO目标检测算法，得到所述待测者的睁眼的眼部图片；应用卷积神经网络对所述睁眼的眼部图片进行分析，得到眼球定位特征；根据所述眼球定位特征，确定所述待测者的当前的行为；所述当前的行为包括看样图和绘图；记录所述待测者看样图的时刻和绘图的时刻；根据所述看样图的时刻和所述绘图的时刻，确定目光特征。4.根据权利要求1所述的记录图形绘制过程信息的方法，其特征在于，所述对所述过程信息进行特征提取，得到所述待测者的图形特征和过程特征，具体包括：将所述过程信息按照设定时间长度进行分段，统计每个时间段内的笔画、思考时间和绘制时间，得到初始过程特征；根据待测者绘制完成的图形提取初始图形特征；所述图形特征包括图形面积、图形位置、图形绘制时间、图形思考时间和笔画长度；对所述初始过程特征和所述初始图形特征分别进行降维，得到所述待测者的图形特征和过程特征。5.一种记录图形绘制过程信息的系统，其特征在于，所述系统包括：
获取模块，用于获取待测者绘制图形时的过程信息和待测者的面部视频；所述过程信息包括每一笔...

【专利技术属性】
技术研发人员：郁磊，刘飞跃，
申请(专利权)人：山西大学，
类型：发明
国别省市：