基于视频行为数据的智能分析方法、装置及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术，揭露了一种基于视频行为数据的智能分析方法，包括：接收预先录制的用户视频，将所述用户视频执行语音提取操作得到语音数据和视频数据，将所述视频数据输入至预先训练完成的表情识别模型得到表情识别结果，将所述语音数据输入至预先训练完成的语态识别模型得到语态识别结果，根据所述语态识别结果与所述表情识别结果构建分类树得到深度浅层心理特征集，根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，若所述偏置值小于或等于所述预设偏置误差，则输出心理状态分析结果。本发明专利技术还提出一种基于视频行为数据的智能分析装置以及一种计算机可读存储介质。本发明专利技术可以实现精准高效的基于视频行为数据的智能分析功能。

【技术实现步骤摘要】
基于视频行为数据的智能分析方法、装置及存储介质
本专利技术涉及人工智能
，尤其涉及一种基于视频行为数据的智能分析的方法、装置及计算机可读存储介质。
技术介绍
基于视频行为数据的智能分析目前已应用于多个领域，如保险公司在理赔过程中，先通过录像设备录取业务人员与待理赔人员的交流视频，然后通过智能分析待理赔人员是否有骗保行为，公安系统审查犯人时，通过分析犯人的心理状态给予犯人心理打击从而希望犯人坦诚相待。目前常见的基于视频行为数据的智能分析是通过录取微表情、肢体动作及说话语气等视频，通过相关心理专家进行观察分析从而总结出心理状态情况，虽然可以达到心理状态识别的目的，但由于需要投入大量的时间、人力进行分析，因此在如保险、侦查等领域效率较低。
技术实现思路
本专利技术提供一种基于视频行为数据的智能分析方法、装置及计算机可读存储介质，其主要目的在于通过模型识别出用户的表情与语态，进而进行心理状态的智能分析。为实现上述目的，本专利技术提供的一种基于视频行为数据的智能分析方法，包括：接收预先录制的用户视频，将所述用户视频执行语音提取操作得到语音数据和不包括语音数据的视频数据；将所述视频数据输入至预先训练完成的表情识别模型中进行表情识别得到表情识别结果；将所述语音数据输入至预先训练完成的语态识别模型中进行语态识别得到语态识别结果；根据所述语态识别结果与所述表情识别结果构建分类树，及根据所述分类树得到深度浅层心理特征集，根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，若所述偏置值大于预设偏置误差，则将所述语态识别结果与所述表情识别结果反馈给预设用户，若所述偏置值小于或等于所述预设偏置误差，则根据所述表情识别结果及语态识别结果生成心理状态分析结果，并输出所述心理状态分析结果。可选地，所述语音提取操作包括：将所述用户视频进行预加重操作；将所述预加重操作后的用户视频进行分帧加窗操作；基于离散傅里叶变化法从所述分帧加窗操作后的用户视频分离出语音数据，得到所述语音数据和所述不包括语音数据的视频数据。可选地，所述基于视频行为数据的智能分析方法还包括训练所述表情识别模型，所述训练包括：构建所述表情识别模型；建立人脸表情库和对比表情库；根据所述表情识别模型定位裁剪出所述人脸表情库的人脸区域，得到裁剪人脸表情库；利用所述表情识别模型预测所述裁剪人脸表情库的特征点，判断所述裁剪人脸表情库的特征点与所述对比表情库的误差，若误差大于预设误差，则调整所述表情识别模型的参数，并重新预测所述裁剪人脸表情库的特征点，若误差小于所述预设误差，则退出预测，完成所述表情识别模型的训练。可选地，所述深度浅层心理特征集是使用基尼指数法计算所述分类树的基尼指数得到；其中，所述基尼指数法为：其中，A表示所述深度浅层心理特征集，D表示所述语态识别结果与所述表情识别结果构成的集合，Ts表示不同标签分类的数据量，T1表示愤怒标签的数据量，T2表示喜悦标签的数据量，K表示所述语态识别结果与所述表情识别结果构成的集合的数据量。可选地，所述根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，包括：基于所述深度浅层心理特征集分别构建惩罚项和误差函数；将所述误差函数和所述惩罚项相加得到目标函数；求解所述误差函数的一阶偏导结果和二阶偏导结果；根据所述一阶偏导结果和所述二阶偏导结果，反向推导得到目标函数内的偏置值。此外，为实现上述目的，本专利技术还提供一种基于视频行为数据的智能分析装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的基于视频行为数据的智能分析程序，所述基于视频行为数据的智能分析程序被所述处理器执行时实现如下步骤：接收预先录制的用户视频，将所述用户视频执行语音提取操作得到语音数据和不包括语音数据的视频数据；将所述视频数据输入至预先训练完成的表情识别模型中进行表情识别，得到表情识别结果；将所述语音数据输入至预先训练完成的语态识别模型中进行语态识别，得到语态识别结果；根据所述语态识别结果与所述表情识别结果构建分类树，及根据所述分类树得到深度浅层心理特征集，将所述深度浅层心理特征集输入至预先构建的心理分析模型得到偏置值，若所述偏置值大于预设偏置误差，则将所述语态识别结果与所述表情识别结果反馈给预设用户，若所述偏置值小于或等于所述预设偏置误差，则根据所述表情识别结果及语态识别结果生成心理状态分析结果，并输出所述心理状态分析结果。可选地，所述语音提取操作包括：将所述用户视频进行预加重操作；将所述预加重操作后的用户视频进行分帧加窗操作；基于离散傅里叶变化法从所述分帧加窗操作后的用户视频分离出语音数据，得到所述语音数据和所述不包括语音数据的视频数据。可选地，所述基于视频行为数据的智能分析程序被所述处理器执行时还实现如下步骤：训练所述表情识别模型，所述训练包括：构建所述表情识别模型；建立人脸表情库和对比表情库；根据所述表情识别模型定位裁剪出所述人脸表情库的人脸区域，得到裁剪人脸表情库；利用所述表情识别模型预测所述裁剪人脸表情库的特征点，判断所述裁剪人脸表情库的特征点与所述对比表情库的误差，若误差大于预设误差，则调整所述表情识别模型的参数，并重新预测所述裁剪人脸表情库的特征点，若误差小于所述预设误差，则退出预测，完成所述表情识别模型的训练。可选地，所述深度浅层心理特征集是使用基尼指数法计算所述分类树的基尼指数得到；其中，所述基尼指数法为：其中，A表示所述深度浅层心理特征集，D表示所述语态识别结果与所述表情识别结果构成的集合，Ts表示不同标签分类的数据量，T1表示愤怒标签的数据量，T2表示喜悦标签的数据量，K表示所述语态识别结果与所述表情识别结果构成的集合的数据量。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于视频行为数据的智能分析程序，所述基于视频行为数据的智能分析程序可被一个或者多个处理器执行，以实现如上所述的基于视频行为数据的智能分析方法的步骤。本专利技术预先录制的用户视频，并通过语音提取操作得到语音数据和不包括语音数据的视频数据，并通过模型进行表情和语态的识别，得到识别结果，因此智能化程度高，不需要投入大量的时间、人力进行干预；同时，根据构建的分类树并进行误差分析，可自动化的完成心理状态分析。因此本专利技术提出的基于视频行为数据的智能分析方法、装置及计算机可读存储介质，可以实现智能分析心理状态的目的。附图说明图1为本专利技术一实施例提供的基于视频行为数据的智能分析方法的流程示意图；图2为本专利技术一实施例提供的基于视频行为数据的智能分析装置的内部结构示意图；图3为本专利技术一实施例提供的基于视频行为数据的智能分析装置本文档来自技高网...

【技术保护点】
1.一种基于视频行为数据的智能分析方法，其特征在于，所述方法包括：/n接收预先录制的用户视频，将所述用户视频执行语音提取操作得到语音数据和不包括语音数据的视频数据；/n将所述视频数据输入至预先训练完成的表情识别模型中进行表情识别，得到表情识别结果；/n将所述语音数据输入至预先训练完成的语态识别模型中进行语态识别，得到语态识别结果；/n根据所述语态识别结果与所述表情识别结果构建分类树，及根据所述分类树得到深度浅层心理特征集，根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，若所述偏置值大于预设偏置误差，则将所述语态识别结果与所述表情识别结果反馈给预设用户，若所述偏置值小于或等于所述预设偏置误差，则根据所述表情识别结果及语态识别结果生成心理状态分析结果，并输出所述心理状态分析结果。/n

【技术特征摘要】
1.一种基于视频行为数据的智能分析方法，其特征在于，所述方法包括：
接收预先录制的用户视频，将所述用户视频执行语音提取操作得到语音数据和不包括语音数据的视频数据；
将所述视频数据输入至预先训练完成的表情识别模型中进行表情识别，得到表情识别结果；
将所述语音数据输入至预先训练完成的语态识别模型中进行语态识别，得到语态识别结果；
根据所述语态识别结果与所述表情识别结果构建分类树，及根据所述分类树得到深度浅层心理特征集，根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，若所述偏置值大于预设偏置误差，则将所述语态识别结果与所述表情识别结果反馈给预设用户，若所述偏置值小于或等于所述预设偏置误差，则根据所述表情识别结果及语态识别结果生成心理状态分析结果，并输出所述心理状态分析结果。


2.如权利要求1所述的基于视频行为数据的智能分析方法，其特征在于，所述将所述用户视频执行语音提取操作得到语音数据和不包括语音数据的视频数据，包括：
将所述用户视频进行预加重操作；
将所述预加重操作后的用户视频进行分帧加窗操作；
基于离散傅里叶变化法从所述分帧加窗操作后的用户视频分离出语音数据，得到所述语音数据和所述不包括语音数据的视频数据。


3.如权利要求1所述的基于视频行为数据的智能分析方法，其特征在于，该方法还包括训练所述表情识别模型，所述训练包括：
构建所述表情识别模型；
建立人脸表情库和对比表情库；
根据所述表情识别模型定位裁剪出所述人脸表情库的人脸区域，得到裁剪人脸表情库；
利用所述表情识别模型预测所述裁剪人脸表情库的特征点，判断所述裁剪人脸表情库的特征点与所述对比表情库的误差，若误差大于预设误差，则调整所述表情识别模型的参数，并重新预测所述裁剪人脸表情库的特征点，若误差小于所述预设误差，则退出预测，完成所述表情识别模型的训练。


4.如权利要求1至3中任意一项所述的基于视频行为数据的智能分析方法，其特征在于，所述深度浅层心理特征集是使用基尼指数法计算所述分类树的基尼指数得到；
其中，所述基尼指数法为：






其中，Ａ表示所述深度浅层心理特征集，D表示所述语态识别结果与所述表情识别结果构成的集合，Ts表示不同标签分类的数据量，T1表示愤怒标签的数据量，T2表示喜悦标签的数据量，表示所述语态识别结果与所述表情识别结果构成的集合的数据量。


5.如权利要求4所述的基于视频行为数据的智能分析方法，其特征在于，所述根据所述深度浅层心理特征集构建目标函数，求解目标函数的偏导数得到偏置值，包括：
基于所述深度浅层心理特征集分别构建惩罚项和误差函数；
将所述误差函数和所述惩罚项相加得到目标函数；
求解所述误差函数的一阶偏导结果和二阶偏导结果；
根据所述一阶偏导结果和所述二阶偏导结果，反向推导得到目标函数内的偏置值。


6.一种基于...

【专利技术属性】
技术研发人员：吴智炜，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44