一种基于弱监督学习的用户性格预测装置及方法制造方法及图纸

一种基于弱监督学习的用户性格预测装置及方法，互联网和社交媒体中机器学习领域。将用户偏好的图像经过深度卷积神经网络得到全局性格特征图；把用户的性格变成十种性格分类，获取分类特征向量，十种性格分类进行全连接操作，进行分类网络训练；得到多性格类激活图；进行点乘得到局部性格特征图，利用全局平均池化得到回归特征向量，然把此特征向量和用户的大五性格维度数值进行连接，进行回归网络训练；通过大量的用户以及其偏好的图像对分类网络和回归网络同时进行训练得到用户大五性格维度数值预测模型。把每幅图像预测得到的大五性格维度数值进行平均最终得到此用户的大五性格维度数值。其步骤简单，预测效果好。

【技术实现步骤摘要】
一种基于弱监督学习的用户性格预测装置及方法
本专利技术涉及一种用户性格预测装置及方法，尤其适用于一种互联网和社交媒体中机器学习的基于弱监督学习的用户性格预测装置及方法。
技术介绍
随着移动互联网和社交媒体的快速发展，人们之间的交流越来越紧密，在生活中越来越离不开社交网络平台，比如：QQ,微信和Flickr等等。图像和视频作为重要的信息载体，已经成为人们交流的最重要的交流方式。当人们在使用图像表达自己的时候也反映出自己对这些图像的偏好和喜爱。例如，微信上可以对朋友圈的图像进行点赞，Flickr上可以分享自己喜爱的图像。这使得可以通过这些被标记为喜爱的图像来分析和预测人物的性格。因此通过图像来预测用户的性格在广告推广、个性化推荐和心理疾病的预防方法有重要意义。近些年，已经吸引了一些研究人员的关注。性格心理学的主要目的是通过分析个体的稳定和持续行为习惯来研究这些习惯和性格之间的关系。在性格心理学上，一些研究和实验表明拥有相同的性格的人行为习惯上比较规律，这些现象说明他们行为习惯与心里活动显著相关。人的性格可以分成大五性格维度，即：开放性、责任性、外向性、一致性和情绪不稳定性。传统的性格测试方法主要以调查问卷为主，目前最常用的这种调查问卷的方法是BFI-10。通过测试者回答问题计算测试结果得到对应的大五性格特征分数，但是这种调查问卷方法比较耗时耗力，并且与测试者的知识和文化背景有关。所以研究如何自动计算人的大五性格特征分数的方法显得十分必要。目前，自动计算人的大五性格特征方法主要分为两个方面：自动性格识别(AutomaticPersonalityRecognition)和自动性格感知(AutomaticPersonalityPerception)。第一种方法是测试者评估自己性格特征，第二种方法是测试者通过对某个人的印象评估他人的性格特征。自动性格识别的目的是使得人通过社交媒体平台公开自己性格特征，传递自己的人格信息。自动性格感知的目的是通过用户在社交媒体平台的自发的行为习惯来感知此用户的性格特征。因为自动性格识别的是一种自我评价方法，所以当调查问卷出现一些消极的问题时用户往往会回避真实情况导致测试结果不准。比如，当调查问卷出现问题“我经常对别人比较挑剔”时，人往往选择“不同意”来表明自己容易相处来掩饰自己的真实情况。而自动性格感知是一种感知评价方法，这种方法通过他人对用户的印象评价，所以在人与人之间交流的过程显得非常重要。社会学家通过研究证明人体的社会身份不仅仅由实际性格决定的而且他人的印象同样十分重要。因此，本专利技术主要研究针对用户的感知性格特征的预测方法。自动性格感知的测试方法主要有两种：无语言行为和社交媒体。无语言行为主要是通过观察人的在交流时外在表现的表情以及手势等肢体语言来感知性格特征。社交媒体主要是通过人在社交媒体上评论或者图像/视频来感知性格特征。随着近几年社交媒体的迅速发展，我们通过社交媒体获取用户的图像/视频信息十分巨大，所以使得通过用户的图像/视频信息研究用户的性格特征显得可行。针对这一问题，近年来出现了一些方法，文献：S.Fitzgerald,D.C.Evans,andR.K.Green,“Isyourprofilepictureworth1000words？Photocharacteristicsassociatedwithpersonalityimpressionagreement,”inProc.AAAIInt.Conf.Web.Soc.Media,SanJose,California,USA,2009,pp.327-330.通过自拍照中内容、身体部分、表情、外贸和凝视来预测人感知性格，文献：X.S.Wei,C.L.Zhang,H.Zhang,andJ.Wu,“Deepbimodalregressionofapparentpersonalitytraitsfromshortvideosequences,”IEEETrans.AffectiveComput.,DOI:10.1109/TAFFC.2017.2762299,2018.通过双峰的深度学习方法来预测一段简短视频中人物的第一印象，此方法主要是通过音频和视频两种形态和大五性格特征进行回归，这个方法获得了ECCV2016的ChaLearnLookingatPeople竞赛第一名。文献：M.Cristani,A.Vinciarelli,C.Segalin,andA.Perina.“Unveilingthemultimediaunconscious:Implicitcognitiveprocessesandmultimediacontentanalysis,”inProc.ACMInt.Conf.Multi.,NewYork,NY,USA,2013,pp.213-222.提出了一种通过用户在社交媒体Flick标记为喜爱的图像通过计数栅模型来预测用户的感知性格方法。PsychoFlickr包含300位用户以及他们标记为喜爱的图像，每一位用户都有200个喜爱图像。每个用户的都通过BFI-10调查问卷的形式来获取他们的感知性格特征。此方法利用图像中的low-level特征(颜色、成分和纹理等)和感知性格特征之间的关系用Lasso建立回归模型来预测性格特征。文献：S.C.Guntuku,J.T.Zhou,S.Roy,W.S.Lin,andI.W.Tsang,“Wholikeswhat,andwhy？Insightsintopersonalitymodelingbasedonimage‘likes’,”IEEETrans.AffectiveComput.,vol.9,no.1,pp.130-143,2018.在图像low-level特征基础上增加了图像high-level语义特征提出了一种性格特征预测方法。这种方法考虑到不同性格的人对图像中包含的人或者内容有不同的偏好，比如，外向的人比较偏好图像中包含人多以及正面的人；神经质的人比较焦躁，所以比较偏好的图像内容比较杂乱。可以取得比较好的效果。目前，基于图像的用户性格预测方法相对还不是很成熟，如何提取图像更准确的情感语义特征是解决问题的关键。上述用户性格预测方法利用传统的图像特征来预测用户的性格特征，在预测的准确性上有待提高。
技术实现思路
本专利技术的目的是针对上述问题，提出一种基于弱监督学习的用户性格预测装置，利用深度卷积神经网络在提取图像语义特征能力强的特性，设计一种弱监督深度学习网络通过用户偏好的图像预测用户性格方法和装置，可以提高对用户性格预测准确性。为实现上述技术目的，本专利技术的基于弱监督学习的用户性格预测方法的装置，包括弱监督学习网络和测试单元，弱监督学习网络包括分类网络和回归网络；分类网络包括分类转化单元和分类训练单元，回归网络包括局部性格激活单元和回归训练单元，测试单元为用户性格测试单元，分类网络获取用户的不同性格类别在其偏好图像中的局部关注区域，回归网络用于对用户大五性格维度数值进行预测，测试单元用于对所述弱监督学习网络模型进行用户的大五性格维度数值；分类转化单元包括顺序连接的提取模块、计算模块和归一化模块；提取模块对大五性格维度的高低提取十种性格分类，计算模块根据大五性格维度数本文档来自技高网...

【技术保护点】
1.一种基于弱监督学习的用户性格预测装置，其特征在于：它包括弱监督学习网络和测试单元，弱监督学习网络包括分类网络和回归网络；分类网络包括分类转化单元(201)和分类训练单元(202)，回归网络包括局部性格激活单元(203)和回归训练单元(204)，测试单元为用户性格测试单元(205)，分类网络获取用户的不同性格类别在其偏好图像中的局部关注区域，回归网络用于对用户大五性格维度数值进行预测，测试单元用于对所述弱监督学习网络模型进行用户的大五性格维度数值；分类转化单元(201)包括顺序连接的提取模块(2011)、计算模块(2012)和归一化模块(2013)；提取模块(2011)对大五性格维度的高低提取十种性格分类，计算模块(2012)根据大五性格维度数值大小与中值差异大小计算十种性格分类强度；归一化模块(2013)保证十种性格分类的概率之和为单位1；分类训练单元(202)，包括顺序连接的分类训练模块(2021)、单性格类激活图模块(2022)和多性格类激活图模块(2023)，分类训练模块(2021)对大量的用户偏好的图像进行分类训练，并利用单性格类激活图模块(2022)提取每种性格分类的激活图，多性格类激活图模块(2023)根据每种性格分类激活图和其分类概率加权得到多性格的类激活图；局部性格激活单元(203)，将分类训练得到的多性格的类激活图和图像的全局性格特征图进行叠加，得到图像的局部性格特征图；回归训练单元(204)，包括相互连接的特征图组合模块(2041)和回归训练模块(2042)，特征图组合模块(2041)对局部性格特征图和全局性格特征图进行组合，并进行全局平均池化得到回归特征向量，回归训练模块(2042)根据所述的回归特征向量和大五性格维度数值全连接进行训练，得到训练模型，对局部性格激活单元(203)获得的全局性格特征图和局部性格特征图进行回归训练，得到用户性格预测模型；用户性格测试单元(205)，利用测试用户偏好的图像通过性格预测模型来预测用户的大五性格维度数值。...

【技术特征摘要】
1.一种基于弱监督学习的用户性格预测装置，其特征在于：它包括弱监督学习网络和测试单元，弱监督学习网络包括分类网络和回归网络；分类网络包括分类转化单元(201)和分类训练单元(202)，回归网络包括局部性格激活单元(203)和回归训练单元(204)，测试单元为用户性格测试单元(205)，分类网络获取用户的不同性格类别在其偏好图像中的局部关注区域，回归网络用于对用户大五性格维度数值进行预测，测试单元用于对所述弱监督学习网络模型进行用户的大五性格维度数值；分类转化单元(201)包括顺序连接的提取模块(2011)、计算模块(2012)和归一化模块(2013)；提取模块(2011)对大五性格维度的高低提取十种性格分类，计算模块(2012)根据大五性格维度数值大小与中值差异大小计算十种性格分类强度；归一化模块(2013)保证十种性格分类的概率之和为单位1；分类训练单元(202)，包括顺序连接的分类训练模块(2021)、单性格类激活图模块(2022)和多性格类激活图模块(2023)，分类训练模块(2021)对大量的用户偏好的图像进行分类训练，并利用单性格类激活图模块(2022)提取每种性格分类的激活图，多性格类激活图模块(2023)根据每种性格分类激活图和其分类概率加权得到多性格的类激活图；局部性格激活单元(203)，将分类训练得到的多性格的类激活图和图像的全局性格特征图进行叠加，得到图像的局部性格特征图；回归训练单元(204)，包括相互连接的特征图组合模块(2041)和回归训练模块(2042)，特征图组合模块(2041)对局部性格特征图和全局性格特征图进行组合，并进行全局平均池化得到回归特征向量，回归训练模块(2042)根据所述的回归特征向量和大五性格维度数值全连接进行训练，得到训练模型，对局部性格激活单元(203)获得的全局性格特征图和局部性格特征图进行回归训练，得到用户性格预测模型；用户性格测试单元(205)，利用测试用户偏好的图像通过性格预测模型来预测用户的大五性格维度数值。2.一种使用权利要求1所述基于弱监督学习的用户性格预测装置的基于弱监督学习的用户性格预测方法，其特征在于步骤如下：利用调查问卷获取用户的大五性格，包括开放性、责任性、外向性、亲和性和神经质维度数值，用以描述五种性格强度的数值，将大五性格维度数值转化成用于分类训练的分类标签，分类网络使用分类标签进行监督训练；根据用户的大五性格维度数值的高低可以将用户的大五性格转化为十种性格分类，十种性格分类为五种高类：高开放性、高责任性、高外向性、高亲和性和高神经质，和五种低类：低开放性、低责任性、低外向性、低亲和性和低神经质；把社交媒体上用户标记为喜欢的一些图像作为用户的偏好图像经过深度卷积神经网络，取卷积层的最后一层作为全局性格特征图，在分类网络中将全局性格特征图分别进行全局最大池化GMP和全局平均池化GAP操作得到两组特征向量，并把两组特征向量进行级联组合得到分类特征向量，然后通过全连接的方式把分类特征向量和需要预测的用户十种性格分类利用全连接操作进行加权连接，同时利用转化得到十种性格分类结果的监督下进行分类网络训练；然后利用分类网络获取的用户在其偏好图像的多性格类激活图得到对应图...

【专利技术属性】
技术研发人员：李雷达，祝汉城，李巧月，卢兆林，徐晶晶，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32