一种基于聚类进行跨域面部表情识别的自闭症诊断方法技术

本发明专利技术公开了一种基于聚类进行跨域面部表情识别的自闭症诊断方法，包含以下步骤：S1‑S4是源域模型训练部分。S1、获取源域面部表情图像；S2、使用大模型CLIP初始化预训练模型，并预处理输入的人脸图像；S3、初始化深度学习训练条件，冻结大模型参数只训练Adapter和分类模块；S4、模型经过训练后可分类面部表情图像，也得到了一个训练完成的源域模型权重；S5‑S10是目标域模型训练以及自闭症诊断部分。S5、输入每个儿童的面部视频(图像序列)；S6、使用训练完成的源域模型权重初始化模型，预处理无标签的面部图像；S7、训练深度学习模型，冻结大模型参数只训练Adapter和分类模块；S8、根据模型分类的表情以及面部特征，经过基于聚类的动态伪标签生成模块进行领域自适应。S9、使用领域自适应后的模型，分类面部表情序列，使用长短期记忆网络进行自闭症分类；S10、得出诊断结果。

【技术实现步骤摘要】

本专利技术属于图像处理与模式识别领域，具体涉及一种基于聚类进行跨域面部表情识别的自闭症诊断方法。

技术介绍

1、自闭症谱系障碍(asd)是一种出现在儿童早期的常见神经发育障碍，其特征是社交障碍和重复行为。虽然面部表情识别在asd诊断中显示出很高的应用价值，但以往的研究忽略了asd与传统面部表情数据集之间的关键域转移，从而限制了诊断的准确性。此外，asd数据通常是未标记的、高度敏感的表达，因此无法直接访问asd数据进行模型训练。为了解决这一挑战，我们提出了一种基于聚类进行跨域面部表情识别的自闭症诊断方法，该方法使用低熵组的七种表情作为聚类中心，通过半监督学习从未标记的数据中生成高质量的伪标签。该方法包括一个动态记忆模块，该模块能够基于新的输入对特征表示进行持续优化，从而实现跨域识别性能的迭代改进。

技术实现思路

1、本专利技术提出了一种基于聚类进行跨域面部表情识别的自闭症诊断方法，以解决上述
技术介绍
中提到的问题。本专利技术的技术方案步骤如下：

2、步骤1：利用有标签的公共数据集rafdb 2.0，对本文档来自技高网...

【技术保护点】

1.一种基于聚类进行跨域面部表情识别的自闭症诊断方法，其特征在于，具体步骤如下：

2.根据权利要求1所述的一种基于聚类进行跨域面部表情识别的自闭症诊断方法，其特征在于，在所述步骤1中大模型CLIP进行源域模型的训练的子步骤为：

3.根据权利要求1所述的一种基于聚类进行跨域面部表情识别的自闭症诊断方法，其特征在于，在所述步骤2中源域模型权重对CLIP模型进行初始化的子步骤为：

4.根据权利要求1所述的一种基于聚类进行跨域面部表情识别的自闭症诊断方法，其特征在于，在所述步骤3中动态伪标签生成模块子步骤为：

5.根据权利要求4所述的一种基于聚类进...

【技术特征摘要】

1.一种基于聚类进行跨域面部表情识别的自闭症诊断方法，其特征在于，具体步骤如下：

2.根据权利要求1所述的一种基于聚类进行跨域面部表情识别的自闭症诊断方法，其特征在于，在所述步骤1中大模型clip进行源域模型的训练的子步骤为：

3.根据权利要求1所述的一种基于聚类进行跨域面部表情识别的自闭症诊断方法，其特征在于，在所述步骤2中源域模型权重对clip模型进行初始化的子步骤为：

4.根据权利要求1所述的一种基于聚类进行跨域面部表情识别的自闭症诊断方法，其特征在于，在所述步骤...

【专利技术属性】
技术研发人员：李菁，段文豪，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：