一种基于视线估计的多范式孤独症辅助诊断方法技术

技术编号：40355897 阅读：8 留言：0更新日期：2024-02-09 14:41

本发明专利技术涉及信息技术、医工交叉技术领域，且公开了一种基于视线估计的多范式孤独症辅助诊断方法，包括以下步骤，校准环节：被试者坐于设备前，观看出现在设备屏幕中的十三个校准点，数据采集，计算视线落点，特征提取和分类预测，实现孤独症儿童的辅助诊断。该基于视线估计的多范式孤独症辅助诊断方法，通过让被试者完成空白重叠、自由视图、监护人注视、空间线索四种范式的眼动任务，通过单目摄像头获取面部图像，输送至视线估计神经网络中，再将得到一系列视线落点输送到分类网络中，实现孤独症儿童的辅助诊断，解决现有的孤独症辅助诊断过程中效率低下、准确率低下、对操作人员的专业性要求高的问题。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及信息技术、医工交叉，具体为一种基于视线估计的多范式孤独症辅助诊断方法。

技术介绍

1、孤独症(autism spectrum disorders,asd)，是一种发病率高、伴随终身且具备遗传性的神经发育障碍疾病，且目前呈现稳步上升趋势,据残疾人普查情况统计数据或超1000万人，其中，0至14岁的孤独症儿童患者数量保守估计在300万至500万之间，占儿童精神残疾的首位。

2、视线或感兴趣区域反映了人类的心理活动，目前医学领域开始将视线作为精神类疾病的诊断标准之一，包括孤独症、精神分裂症、抑郁症等，传统的孤独症诊断方法依赖于脑电波、ct(computed tomography，计算机断层扫描)，这类检测设备价格高昂，对设备操作者有较高的要求，同时在检测过程中有可能对被检测儿童带来心理上的创伤，此外，现有的基于视线的孤独症诊断方法，眼动任务单一，对检测者不友好。

3、随着神经网络与深度学习的发展，基于深度学习的视线估计方法的准确率得到了大幅度提升，该方法的优势在于无需眼动数据的采集设备，利用单目摄像头获取面部图像即可计算视线落点，具有使用便携、易于采集、使用成本低的特点。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本专利技术提供了一种基于视线估计的多范式孤独症辅助诊断方法，具备多种眼动诊断范式等优点，解决了现有孤独症辅助诊断过程中效率低下、准确率低下、对操作人员的专业性要求高的问题。

3、(二)技术方案</p>

4、为实现上述多种眼动诊断范式目的，本专利技术提供如下技术方案：一种基于视线估计的多范式孤独症辅助诊断方法，包括以下步骤：

5、步骤1，校准环节：被试者坐于设备前，观看出现在设备屏幕中的十三个校准点，进行视线估计网络的校准；

6、步骤2，数据采集：被试者完成校准环节后，根据屏幕中的指示完成眼动任务，包括空白重叠任务、自由视图任务、监护人注视任务、空间线索任务；

7、步骤21，空白重叠任务呈现过程包括三个阶段，i)注意解离阶段，即从当前任务的注意状态中脱离出来；ii)注意转移阶段，即转移注意力到新目标上；iii)新刺激注意阶段，即注意到新出现的视觉刺激；

8、步骤22，自由视图任务：给予被试者一些包含多种语义信息的图像，让被试儿童自由观看这些图像；

9、步骤23，监护人注视任务：该范式与自由视图范式类似，但使用的图像是被试者的监护人或其熟悉的老师；

10、步骤24，空间线索任务：提前告知被试者按照图像中间人物的眼神线索来寻找作为目标物的卡通图案，此外图像中还包括作为干扰物的7个卡通图案，在确保被试者清楚线索后播放图像，以考察被试者根据线索寻找目标的能力；

11、步骤3，计算视线落点：将步骤2中收集到的个体数据建立数据库，输入到步骤1中已经校准完成的视线估计神经网络，完成一系列视线落点的计算；

12、步骤4，特征提取：根据步骤3中计算的一系列视线落点，计算出一些用于眼动分类的特征，包括注视次数、扫视次数、平均注视时长、扫视总路径、注视时间、平均扫视幅度以及注视点偏移量；

13、平均注视时长的计算公式为公式1，其中nfix为注视次数

14、

15、注视时间的计算公式为公式2；

16、

17、平均扫视幅度的计算公式为公式3，其中nsac为扫视次数

18、

19、注视点偏移量的计算公式为公式4

20、

21、步骤5，分类预测：将各个范式下提取的特征经过特征归一化后，作为支持向量机分类模型的输入，采取多折交叉验证的方式来训练模型以及评估模型的泛化性，模型的输出结果是被识别为孤独症的概率，选择0.5为阈值，将输出的概率值转化为二元分类结果，概率值如大于选定的阈值则识别为孤独症高风险儿童，反之则识别为正常发育儿童，实现孤独症儿童的辅助诊断。

22、优选的，步骤2数据采集中需要保持数据采集环境安静，无他人干扰，被试者在数据采集环节需要完成4个眼动任务。

23、优选的，步骤21中空白重叠任务分为空白任务和重叠任务，空白任务首先展示中央视觉刺激，然后展示空白画面，最后展示另一位置的视觉刺激；重叠任务首先展示中央视觉刺激，然后中央视觉刺激不消失，展示另一位置的视觉刺激，空白任务和重叠任务将分别呈现4次。

24、优选的，步骤22自由视图任务图像包括人物、自然环境、社交场景、动物、植物等，该过程中展示30张图片，包含了采集自14名孤独症儿童和14名正常发育儿童在观看500张自然场景图像时的眼动数据，每张图片将展示3秒，每两张中间呈现中央“十”字的空白图像。

25、优选的，步骤24，空间线索任务一共展示8组空间线索。

26、优选的，步骤3中,处理左眼和右眼的神经网络为vgg16，左眼和右眼的图像尺寸为25×25；用于处理面部图像的神经网络为vision transformer，面部图像的尺寸为224×224，将面部神经网络和左右眼提取到的特征进行拼接，反向传播运算获得(x，y),即为视线落点的坐标。

27、(三)有益效果

28、与现有技术相比，本专利技术提供了一种基于视线估计的多范式孤独症辅助诊断方法，具备以下有益效果：

29、该基于视线估计的多范式孤独症辅助诊断方法，通过让被试者完成空白重叠、自由视图、监护人注视、空间线索四种范式的眼动任务，通过单目摄像头获取面部图像，输送至视线估计神经网络中，再将得到一系列视线落点输送到分类网络中，实现孤独症儿童的辅助诊断，降低了辅助诊断过程中的对操作人员的专业性要求，适合在学校、社区大范围铺设。

本文档来自技高网...

【技术保护点】

1.一种基于视线估计的多范式孤独症辅助诊断方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于视线估计的多范式孤独症辅助诊断方法，其特征在于，步骤2数据采集中需要保持数据采集环境安静，无他人干扰，被试者在数据采集环节需要完成4个眼动任务。

3.根据权利要求1所述的一种基于视线估计的多范式孤独症辅助诊断方法，其特征在于，步骤21中空白重叠任务分为空白任务和重叠任务，空白任务首先展示中央视觉刺激，然后展示空白画面，最后展示另一位置的视觉刺激；重叠任务首先展示中央视觉刺激，然后中央视觉刺激不消失，展示另一位置的视觉刺激，空白任务和重叠任务将分别呈现4次。

4.根据权利要求1所述的一种基于视线估计的多范式孤独症辅助诊断方法，其特征在于，步骤22自由视图任务图像包括人物、自然环境、社交场景、动物、植物等，该过程中展示30张图片，来源于14名孤独症儿童和14名正常发育儿童在观看的500张自然场景图像中的30张，每张图片将展示3秒，每两张中间呈现中央“十”字的空白图像。

5.根据权利要求1所述的一种基于视线估计的多范式孤独症辅助诊断

6.根据权利要求1所述的一种基于视线估计的多范式孤独症辅助诊断方法，其特征在于，步骤3中,处理左眼和右眼的神经网络为VGG16，左眼和右眼的图像尺寸为25×25；用于处理面部图像的神经网络为Vision Transformer，面部图像的尺寸为224×224，将面部神经网络和左右眼提取到的特征进行拼接，反向传播运算获得(x，y),即为视线落点的坐标。

...

【技术特征摘要】

1.一种基于视线估计的多范式孤独症辅助诊断方法，其特征在于，包括以下步骤：

4.根据权利要求1所述的一种基于视线估计的多范式孤独症辅助诊断方法，其特征在于，步骤22自由视图任务图像包...

【专利技术属性】
技术研发人员：严青松，陆小锋，乐思尧，刘志，于泓杰，
申请(专利权)人：上海大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人