心理状态知识库构建方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种心理状态知识库构建方法、装置、计算机设备及存储介质，包括：获取服刑人员的初始多模态样本数据集；对各初始多模态样本数据集进行数据预处理，得到以词汇为基础粒度的目标多模态样本数据集；从多模态时序维度以及全局维度提取目标多模态样本数据集中的特征，并基于注意力权重识别模型识别所述特征，以得到所述服刑人员的心理状态评估结果；根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，并基于所述高分频繁项和所述低分频繁项构建心理状态知识库。本发明专利技术获取词汇粒度的对齐样本数据，再基于注意力机制挖掘心理状态知识，能够准确将多模态知识表达为心理状态可理解的知识。知识。知识。

【技术实现步骤摘要】
心理状态知识库构建方法、装置、计算机设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种心理状态知识库构建方法、装置、计算机设备及存储介质。

技术介绍

[0002]当前，对监狱的服刑人员的心理状态知识的获取方案，主要采用较为成熟的中国服刑人员心理评估个性分测验（Chinese Offender Psychological Assessment
‑
Personality Inventory，简称COPA
‑
PI）等量表进行评估，但是量表评估存在延时的特征，难以持续跟踪服刑人员的心理状态，容易影响服刑人员心理状态知识获取方案的准确性。
[0003]目前不少前沿研究正在往构建多模态情感知识库方向发展，当前大部分心理状态知识库构建方法具有以下两个问题：心理状态识别模型迁移性不足，对于新任务的适应性极差，往往需要收集新任务的大量标注数据重新训练模型；心理状态识别模型识别出的服刑人员心理状态可解释性不强。
[0004]因此，亟需一种适应性强，且能够输出可解释心理状态知识的多模态心理状态知识库构建方法。

技术实现思路

[0005]为了解决上述技术问题，本申请实施例提供了一种心理状态知识库构建方法、装置、计算机设备及存储介质，具体方案如下：第一方面，本申请实施例提供了一种心理状态知识库构建方法，包括：获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据；对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，其中，所述目标多模态样本数据集为以词汇为基础粒度的多模态对齐数据集；分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，其中，所述多模态特征包括文本特征、语音特征和图像特征；按照时间顺序将所述心理评估个性分测评数据、所述全局时间段的多模态特征以及各所述词汇时间段的多模态特征输入至注意力权重识别模型，以得到所述服刑人员的心理状态评估结果；根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，并基于所述高分频繁项和所述低分频繁项构建心理状态知识库。
[0006]根据本申请实施例的一种具体实施方式，所述获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据，包括：通过身份特征信息对全部服刑人员进行分层抽样，以得到目标服刑人员队列，其中，所述身份特征信息包括罪名、年龄和刑期时长；
获取所述目标服刑人员队列中各服刑人员的初始多模态样本数据集以及心理评估个性分测评数据，其中，所述心理评估个性分包括对应说谎维度、认真维度、外倾维度、聪敏维度、同情维度、从属维度、波动维度、冲动维度、戒备维度、自卑维度、焦虑维度、暴力倾向维度、变态心理维度和犯罪思维维度的测评得分。
[0007]根据本申请实施例的一种具体实施方式，所述初始多模态样本数据包括文本样本数据、音频样本数据以及视频样本数据，所述对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，包括：对所述文本样本数据进行文本切割，以得到文本样本数据中的全部词汇；基于每一词汇的开始时间和结束时间获取对应各词汇的词汇时间段；基于所述词汇时间段对所述文本样本数据、所述音频样本数据和所述视频样本数据进行数据对齐，以得到所述目标多模态样本数据集。
[0008]根据本申请实施例的一种具体实施方式，所述分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，包括：分别获取每一词汇时间段所述目标多模态样本数据集中的文本可解释特征、语音可解释特征以及图像可解释特征；基于每个当前词汇时间段及其下一词汇时间段的所述文本可解释特征获取各词汇时间段的文本可解释特征变化情况；基于每个当前词汇时间段及其下一词汇时间段的所述语音可解释特征获取各词汇时间段的语音可解释特征变化情况；基于每个当前词汇时间段及其下一词汇时间段的所述图像可解释特征获取各词汇时间段的图像可解释特征变化情况；基于全局时间段分别获取所述目标多模态样本数据集的全局文本特征、全局语音特征和全局图像特征；根据所述文本可解释特征及其变化情况、所述语音可解释特征及其变化情况和所述图像可解释特征及其变化情况得到所述各词汇时间段的多模态特征，根据所述全局文本特征、所述全局语音特征和所述全局图像特征得到所述全局时间段的多模态特征。
[0009]根据本申请实施例的一种具体实施方式，所述基于每个当前词汇时间段及其下一词汇时间段的所述语音可解释特征获取各词汇时间段的语音可解释特征变化情况，包括：对每一词汇时间段的所述语音可解释特征进行归一化及等级分类处理，以得到每一词汇时间段的语音等级；基于每一当前词汇时间段及其下一词汇时间段的所述语音可解释特征对应的语音等级，获取各词汇时间段的语音可解释特征变化情况。
[0010]根据本申请实施例的一种具体实施方式，所述基于每个当前词汇时间段及其下一词汇时间段的所述图像可解释特征获取各词汇时间段的图像可解释特征变化情况，包括：对每一词汇时间段的所述图像可解释特征进行归一化及等级分类处理，以得到每一词汇时间段的图像等级；基于每一当前词汇时间段及其下一词汇时间段的所述图像可解释特征对应的图像等级，获取各词汇时间段的图像可解释特征变化情况。
[0011]根据本申请实施例的一种具体实施方式，所述心理状态评估结果包括每个模态维度对应的心理评估个性分以及每一心理评估个性分对应的词汇时间段权重；所述根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，包括：获取小于第一分数阈值或大于第二分数阈值的心理评估个性分对应的词汇时间段权重；将词汇时间段权重大于预设权重阈值的词汇时间段划分为目标词汇时间段；基于预设Aprior算法挖掘所述目标词汇时间段中的多模态特征频繁项，并将所述心理评估个性分小于第一分数阈值的多模态特征频繁项划分为低分频繁项，将所述心理评估个性分大于第二分数阈值的多模态特征频繁项划分为高分频繁项。
[0012]第二方面，本申请实施例提供了一种心理状态知识库构建装置，包括：获取模块，用于获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据；预处理模块，用于对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，其中，所述目标多模态样本数据集为以词汇为基础粒度的多模态对齐数据集；特征提取模块，用于分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，其中，所述多模态特征包括文本特征、语音特征和图像特征；注意力识别模块，用于按照时间顺序将所述心理评估个性分测评数据、所述全局时间段的多模态特征以及各所述词汇时间段的多模态特征输入至注意力权重识别模型，以得到所述服刑人员的心理状态评估结果；知识库构建模块，用于根据预设频繁项挖掘规则挖本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种心理状态知识库构建方法，其特征在于，包括：获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据；对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，其中，所述目标多模态样本数据集为以词汇为基础粒度的多模态对齐数据集；分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，其中，所述多模态特征包括文本特征、语音特征和图像特征；按照时间顺序将所述心理评估个性分测评数据、所述全局时间段的多模态特征以及各所述词汇时间段的多模态特征输入至注意力权重识别模型，以得到所述服刑人员的心理状态评估结果；根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，并基于所述高分频繁项和所述低分频繁项构建心理状态知识库。2.根据权利要求1所述的方法，其特征在于，所述获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据，包括：通过身份特征信息对全部服刑人员进行分层抽样，以得到目标服刑人员队列，其中，所述身份特征信息包括罪名、年龄和刑期时长；获取所述目标服刑人员队列中各服刑人员的初始多模态样本数据集以及心理评估个性分测评数据，其中，所述心理评估个性分包括对应说谎维度、认真维度、外倾维度、聪敏维度、同情维度、从属维度、波动维度、冲动维度、戒备维度、自卑维度、焦虑维度、暴力倾向维度、变态心理维度和犯罪思维维度的测评得分。3.根据权利要求1所述的方法，其特征在于，所述初始多模态样本数据包括文本样本数据、音频样本数据以及视频样本数据，所述对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，包括：对所述文本样本数据进行文本切割，以得到文本样本数据中的全部词汇；基于每一词汇的开始时间和结束时间获取对应各词汇的词汇时间段；基于所述词汇时间段对所述文本样本数据、所述音频样本数据和所述视频样本数据进行数据对齐，以得到所述目标多模态样本数据集。4.根据权利要求3所述的方法，其特征在于，所述分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，包括：分别获取每一词汇时间段所述目标多模态样本数据集中的文本可解释特征、语音可解释特征以及图像可解释特征；基于每个当前词汇时间段及其下一词汇时间段的所述文本可解释特征获取各词汇时间段的文本可解释特征变化情况；基于每个当前词汇时间段及其下一词汇时间段的所述语音可解释特征获取各词汇时间段的语音可解释特征变化情况；基于每个当前词汇时间段及其下一词汇时间段的所述图像可解释特征获取各词汇时间段的图像可解释特征变化情况；基于全局时间段分别获取所述目标多模态样本数据集的全局文本特征、全局语音特征
和全局图像特征；根据所述文本可解释特征及其变化情况、所述语音可解释特征及其变化情况和所述图像可解释特征及其变化情况得到所述各词汇时间段的多模态特征，根据所述全局文本特征、所述全局语音特...

【专利技术属性】
技术研发人员：张伟，姚佳，张思迈，何行知，李宏伟，文凤，刘斌，
申请(专利权)人：四川省监狱管理局，
类型：发明
国别省市：