基于多模态暴力倾向识别方法、装置、设备及介质制造方法及图纸

本申请实施例提供了一种基于多模态暴力倾向识别方法、装置、设备及介质，属于人工智能技术领域。其中方法包括：获取各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域；获取各类人群心理测评数据，根据各类人群心理测评数据获取各类人群心理特征；获取各类人群背景信息，对各类人群背景信息进行格式调整处理，得到各类人群背景特征；通过多模态暴力倾向识别模型对各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域、各类人群心理特征和各类人群背景特征进行计算，得到暴力倾向识别结果。本方法适用于多类人群，提高暴力倾向识别的客观性和正确率，提高鲁棒性和泛化能力。提高鲁棒性和泛化能力。提高鲁棒性和泛化能力。

【技术实现步骤摘要】
基于多模态暴力倾向识别方法、装置、设备及介质


[0001]本申请涉及人工智能
，尤其涉及一种基于多模态暴力倾向识别方法、装置、设备及介质。

技术介绍

[0002]目前，大多数与暴力有关的特征需要专业的精神病学家或心理学家来进行评估。在实际应用中，多以问卷或量表的形式来识别是否具有暴力性，问卷或量表的测评结果具有一定伪装性，且评估耗时耗力，且大多数工具的预测结果的准确性比较低。基于进化心理学的文献表明，人的感知过程是自适应调整的，人们可以根据面部特征做出对其他人诚实、人格、智力、性取向、政治取向和暴力倾向的判断。现有通过人脸图片的情感识别技术仅停留在对于人脸识别和表情识别的程度，离真正理解人类情感与个性还有较大差距，缺少对暴力倾向识别的方案。现有技术中，缺少针对多种模态数据识别暴力的方案，导致存在暴力倾向识别正确率比较差的问题。

技术实现思路

[0003]为了解决上述技术问题，本申请实施例提供了一种基于多模态暴力倾向识别方法、装置、设备及介质。
[0004]第一方面，本申请实施例提供了一种基于多模态暴力倾向识别方法，所述方法包括：获取各类人群的N张待测图像，并获取各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域；获取各类人群心理测评数据，根据所述各类人群心理测评数据获取各类人群心理特征；获取各类人群背景信息，对各类人群背景信息进行格式调整处理，得到各类人群背景特征；通过多模态暴力倾向识别模型对各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域、所述各类人群心理特征和所述各类人群背景特征进行计算，得到暴力倾向识别结果。
[0005]在一实施方式中，所述获取各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域，包括；对各所述待测图像进行人脸检测，得到各所述待测图像的人脸框和人脸关键点；根据各所述待测图像的人脸关键点对各所述待测图像进行人脸对齐处理，得到各所述待测图像的对齐后图像；根据各所述对齐后图像的人脸框和/或人脸关键点对各所述对齐后图像进行裁剪，得到各所述待测图像的人脸整体图像；根据各所述对齐后图像的人脸关键点将各所述对齐后图像的人脸区域进行人脸
部件区域划分，得到对应待测图像的M个人脸部件区域；根据人脸肌肉区域先验信息和各所述人脸整体图像的人脸关键点将各所述人脸整体图像进行人脸小区域划分，得到对应待测图像的L个人脸小区域。
[0006]在一实施方式中，根据所述各类人群心理测评数据获取各类人群心理特征，包括：按照各类人群的心理测评工具的算分规则计算各类人群心理测评数据的多维度心理得分；将各类人群心理测评数据的多维度心理得分进行标准化，得到各类人群心理多维度特征，将各类人群心理多维度特征串联，得到所述各类人群心理特征；所述对各类人群背景信息进行格式调整处理，包括：从所述各类人群背景信息中提取各类人群的通用人口信息学数据和人群特有信息数据；按照数据类型对各类人群的通用人口信息学数据和人群特有信息数据进行标准化或编码处理。
[0007]在一实施方式中，所述多模态暴力倾向识别模型包括人脸模块，所述人脸模块包括人脸整体图像特征提取网络、人脸部件区域特征提取网络和人脸小区域特征提取网络；通过多模态暴力倾向识别模型对各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域进行计算，包括：通过所述人脸整体图像特征提取网络对各类人群的各待测图像的人脸整体图像进行计算，以提取第一整体人脸特征；通过所述人脸部件区域特征提取网络对各类人群的各待测图像的M个人脸部件区域进行计算，以提取第一人脸部件区域特征；通过所述人脸小区域特征提取网络对各类人群的各待测图像的L个人脸小区域进行计算，以提取第一人脸小区域特征；根据所述第一整体人脸特征、所述第一人脸部件区域特征和所述第一人脸小区获取人脸总输出特征；从所述人脸整体图像特征提取网络、所述人脸部件区域特征提取网络和所述人脸小区域特征提取网络的第四个Sefuse_Net子模块分别获取第一输出特征图、第二输出特征图和第三输出特征图；根据所述第一输出特征图和所述第二输出特征图和所述第三输出特征图获取人脸融合特征。
[0008]在一实施方式中，所述通过所述人脸部件区域特征提取网络对各类人群的各待测图像的M个人脸部件区域进行计算，以提取第一人脸部件区域特征，包括：通过所述人脸部件区域特征提取网络对各类人群的各待测图像的M个人脸部件区域进行计算，以提取各类人群的各待测图像的M个人脸部件区域特征；对提取到的人脸部件区域特征求均值，得到所述第一人脸部件区域特征；所述通过所述人脸小区域特征提取网络对各类人群的各待测图像的L个人脸小区域进行计算，以提取第一人脸小区域特征，包括：通过所述人脸小区域特征提取网络对各类人群的各待测图像的L个人脸小区域进行计算，以提取各类人群的各待测图像的L个人脸小区域；
对提取到的人脸小区域求均值，得到所述第一人脸小区域特征；所述根据所述第一整体人脸特征、所述第一人脸部件区域特征和所述第一人脸小区获取人脸总输出特征，包括：将所述第一整体人脸特征、所述第一人脸部件区域特征和所述第一人脸小区特征串联，得到所述人脸总输出特征；所述根据所述第一输出特征图和所述第二输出特征图和所述第三输出特征图获取人脸融合特征，包括：分别将所述第一输出特征图、所述第二输出特征图和所述第三输出特征图通过全局平均池化层，得到第二人脸整体特征、M个第二人脸部件区域特征和L个第二人脸小区域特征；分别对M个第二人脸部件区域特征和L个第二人脸小区域特征求均值，得到第三人脸部件区域特征和第三人脸小区域特征；将所述第二人脸整体特征、所述第三人脸部件区域特征和所述第三人脸小区域特征串联，得到所述人脸融合特征。
[0009]在一实施方式中，所述多模态暴力倾向识别模型还包括：心理模块和人群背景模块；所述心理模块包括第一全连接网络分支和第二全连接网络分支；所述人群背景模块包括第三全连接网络分支和第四全连接网络分支；通过多模态暴力倾向识别模型对所述各类人群心理特征和所述各类人群背景特征进行计算，包括：通过所述第一全连接网络分支和所述第二全连接网络分支分别对所述各类人群心理特征进行计算，分别得到心理总输出特征和心理融合特征；通过所述第三全连接网络分支和所述第四全连接网络分支分别对所述各类人群背景特征进行计算，分别得到人群背景总输出特征和人群背景融合特征。
[0010]在一实施方式中，所述多模态暴力倾向识别模型还包括其他模态模块、融合模块和分类模块；所述其他模态模块包括第五全连接网络分支和第六全连接网络分支；所述方法还包括：通过所述第五全连接网络分支和所述第六全连接网络分支分别对其他模态特征进行计算，分别得到其他模态融合特征及其他模态总输出特征；通过所述融合模块分别对所述人脸融合特征、所述心理融合特征、所述人群背景融合特征和所述其他模态融合特征进行计算，分别得到第一输出特征、第二输出特征、第三输出特征和第四输出特征；将所述第一输出特征、所述第二输出特征、所述第三输出特征和所述第四输出特征的特征均值作为总体融合输出特征；将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态暴力倾向识别方法，其特征在于，所述方法包括：获取各类人群的N张待测图像，并获取各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域；获取各类人群心理测评数据，根据所述各类人群心理测评数据获取各类人群心理特征；获取各类人群背景信息，对各类人群背景信息进行格式调整处理，得到各类人群背景特征；通过多模态暴力倾向识别模型对各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域、所述各类人群心理特征和所述各类人群背景特征进行计算，得到暴力倾向识别结果。2.根据权利要求1所述的方法，其特征在于，所述获取各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域，包括；对各所述待测图像进行人脸检测，得到各所述待测图像的人脸框和人脸关键点；根据各所述待测图像的人脸关键点对各所述待测图像进行人脸对齐处理，得到各所述待测图像的对齐后图像；根据各所述对齐后图像的人脸框和/或人脸关键点对各所述对齐后图像进行裁剪，得到各所述待测图像的人脸整体图像；根据各所述对齐后图像的人脸关键点将各所述对齐后图像的人脸区域进行人脸部件区域划分，得到对应待测图像的M个人脸部件区域；根据人脸肌肉区域先验信息和各所述人脸整体图像的人脸关键点将各所述人脸整体图像进行人脸小区域划分，得到对应待测图像的L个人脸小区域。3.根据权利要求1所述的方法，其特征在于，所述根据所述各类人群心理测评数据获取各类人群心理特征，包括：按照各类人群的心理测评工具的算分规则计算各类人群心理测评数据的多维度心理得分；将各类人群心理测评数据的多维度心理得分进行标准化，得到各类人群心理多维度特征，将各类人群心理多维度特征串联，得到所述各类人群心理特征；所述对各类人群背景信息进行格式调整处理，包括：从所述各类人群背景信息中提取各类人群的通用人口信息学数据和人群特有信息数据；按照数据类型对各类人群的通用人口信息学数据和人群特有信息数据进行标准化或编码处理。4.根据权利要求1所述的方法，其特征在于，所述多模态暴力倾向识别模型包括人脸模块，所述人脸模块包括人脸整体图像特征提取网络、人脸部件区域特征提取网络和人脸小区域特征提取网络；通过多模态暴力倾向识别模型对各类人群的各待测图像的人脸整体图像、M个人脸部件区域和L个人脸小区域进行计算，包括：通过所述人脸整体图像特征提取网络对各类人群的各待测图像的人脸整体图像进行计算，以提取第一整体人脸特征；
通过所述人脸部件区域特征提取网络对各类人群的各待测图像的M个人脸部件区域进行计算，以提取第一人脸部件区域特征；通过所述人脸小区域特征提取网络对各类人群的各待测图像的L个人脸小区域进行计算，以提取第一人脸小区域特征；根据所述第一整体人脸特征、所述第一人脸部件区域特征和所述第一人脸小区获取人脸总输出特征；从所述人脸整体图像特征提取网络、所述人脸部件区域特征提取网络和所述人脸小区域特征提取网络的第四个Sefuse_Net子模块分别获取第一输出特征图、第二输出特征图和第三输出特征图；根据所述第一输出特征图和所述第二输出特征图和所述第三输出特征图获取人脸融合特征。5.根据权利要求4所述的方法，其特征在于，所述通过所述人脸部件区域特征提取网络对各类人群的各待测图像的M个人脸部件区域进行计算，以提取第一人脸部件区域特征，包括：通过所述人脸部件区域特征提取网络对各类人群的各待测图像的M个人脸部件区域进行计算，以提取各类人群的各待测图像的M个人脸部件区域特征；对提取到的人脸部件区域特征求均值，得到所述第一人脸部件区域特征；所述通过所述人脸小区域特征提取网络对各类人群的各待测图像的L个人脸小区域进行计算，以提取第一人脸小区域特征，包括：通过所述人脸小区域特征提取网络对各...

【专利技术属性】
技术研发人员：张伟，蒋静文，何得淮，何行知，姚佳，路浩，王垒，皮志兰，
申请(专利权)人：四川省监狱管理局，
类型：发明
国别省市：