员工异常行为检测方法、装置及系统制造方法及图纸

一种员工异常行为检测方法、装置及系统，可用于金融领域或其他领域。所述方法包括：获取工位视频数据、区域视频数据及人员语音数据，解析工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；对工位图片组及区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对人员语音数据进行识别，得到多个语音识别结果；根据人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。本发明专利技术通过实时采集员工作时的音视频数据，并对人员现场工作行为进行实时识别与检测，不仅可以提高现场检测自动化水平，而且可以保证员工情绪稳定，提升员工工作质量，助力企业业务快速发展。

【技术实现步骤摘要】
员工异常行为检测方法、装置及系统
本专利技术涉及行为检测
，尤指一种员工异常行为检测方法、装置及系统。
技术介绍
目前，很多行业由于其自身的特点，企业员工在工作现场的行为举止，会直接影响企业业绩，甚至影响企业的发展。例如，客服人员以及催收人员这样处理特殊问题的行业，员工需要严格遵守现场工作行为准则，但常常面临情绪干扰等问题。若无法及时检测到员工的异常行为及异常情绪，会对员工身心，甚至企业发展有重大影响。但是，目前各行业中，无法全面、准确且及时的检测员工异常行为。
技术实现思路
针对现有技术中存在的问题，本专利技术实施例的主要目的在于提供一种员工异常行为检测方法、装置及系统，实现对员工异常行为及异常情绪进行全面、准确且及时的检测。为了实现上述目的，本专利技术实施例提供一种员工异常行为检测方法，所述方法包括：获取工位视频数据、区域视频数据及人员语音数据，解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员本文档来自技高网...

【技术保护点】
1.一种员工异常行为检测方法，其特征在于，所述方法包括：/n获取工位视频数据、区域视频数据及人员语音数据，解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；/n对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果；/n根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。/n

【技术特征摘要】
1.一种员工异常行为检测方法，其特征在于，所述方法包括：
获取工位视频数据、区域视频数据及人员语音数据，解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；
对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果；
根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。


2.根据权利要求1所述的方法，其特征在于，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果包括：
对所述区域图片组中多个人员的移动轨迹进行识别，得到轨迹距离识别结果及人员走动识别结果；其中，所述轨迹距离识别结果及人员走动识别结果属于所述人员行为识别结果。


3.根据权利要求2所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果包括：
若根据所述行为规则参数中的人员距离阈值，获知所述轨迹距离识别结果中的人员距离最小值小于所述人员距离阈值，则判断所述轨迹距离识别结果中的人员聚集时间是否大于所述行为规则参数中的聚集时间阈值，若是，则根据所述人员聚集时间生成人员聚集异常结果；其中，所述人员聚集异常结果属于所述异常行为检测结果；
若根据所述行为规则参数中的移动范围阈值，获知所述人员走动识别结果中的人员走动范围超过所述移动范围阈值，则判断所述人员走动识别结果中的人员走动时间是否大于所述行为规则参数中的走动时间阈值，若是，则根据所述人员走动时间生成人员走动异常结果；其中，所述人员走动异常结果属于所述异常行为检测结果。


4.根据权利要求1所述的方法，其特征在于，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：
对所述工位图片组中的人员进行人脸识别，得到离岗识别结果及坐席变更识别结果；其中，所述离岗识别结果及坐席变更识别结果属于所述人员行为识别结果。


5.根据权利要求4所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若根据所述行为规则参数中的离岗时间阈值，获知所述离岗识别结果中的人员离岗时间超过所述离岗时间阈值，则根据所述离岗时间阈值生成人员离岗异常结果；其中，所述人员离岗异常结果属于所述异常行为检测结果；
若根据所述行为规则参数中的人员面部特征信息，获知所述坐席变更识别结果中的面部识别特征信息与所述人员面部特征信息不一致，则判断所述坐席变更识别结果中的坐席变更时间是否大于所述行为规则参数中的变更时间阈值，若是，则根据所述坐席变更时间生成坐席变更异常结果；其中，所述坐席变更异常结果属于所述异常行为检测结果。


6.根据权利要求1所述的方法，其特征在于，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：
对所述区域图片组中人员的步态进行识别，得到人员步态识别结果；其中，所述人员步态识别结果属于所述人员情绪识别结果。


7.根据权利要求6所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若所述人员步态识别结果中的步态情绪结果为异常，则判断所述人员步态识别结果中的步态异常时间是否大于所述行为规则参数中的步态时间阈值，若是，则根据所述步态异常时间生成步态异常识别结果；其中，所述步态异常识别结果属于所述异常行为检测结果。


8.根据权利要求1所述的方法，其特征在于，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：
对所述工位图片组中的人员进行面部表情识别，得到人员表情识别结果；其中，所述人员表情识别结果属于所述人员情绪识别结果。


9.根据权利要求8所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若所述人员表情识别结果中的面部表情结果为异常，则判断所述人员表情识别结果中的表情异常时间是否大于所述行为规则参数中的表情时间阈值，若是，则根据所述表情异常时间生成表情异常识别结果；其中，所述表情异常识别结果属于所述异常行为检测结果。


10.根据权利要求1所述的方法，其特征在于，所述对所述人员语音数据进行识别，得到多个语音识别结果包括：
对所述人员语音数据进行语音识别，得到文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果；其中，所述文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果属于所述语音识别结果。


11.根据权利要求10所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若根据所述行为规则参数中的违禁语信息，获知所述文本词汇识别结果中包括所述违禁语信息中的违禁词汇，则根据所述文本词汇识别结果生成违禁语异常结果；其中，所述违禁语异常结果属于所述异常行为检测结果；
若所述文本情绪识别结果中的文本情绪结果为异常，则判断所述文本情绪识别结果中的文本异常时间是否大于所述行为规则参数中的文本时间阈值，若是，则根据所述文本异常时间生成文本异常识别结果；其中，所述文本异常识别结果属于所述异常行为检测结果；
若根据所述行为规则参数中的人员语速阈值，获知所述语速识别结果中的人员语速最大值大于所述人员语速阈值，则判断所述语速识别结果中的人员语速时间是否大于所述行为规则参数中的超速时间阈值，若是，则根据所述人员语速时间生成人员语速异常结果；其中，所述人员语速异常结果属于所述异常行为检测结果；
若根据所述行为规则参数中的人员音量阈值，获知所述音量识别结果中的人员音量最大值大于所述人员音量阈值，则判断所述音量识别结果中的人员音量时间是否大于所述行为规则参数中的音量时间阈值，若是，则根据所述人员音量时间生成人员音量异常结果；其中，所述人员音量异常结果属于所述异常行为检测结果。


12.一种员工异常行为检测装置，其特征在于，所述装置包括：
数据采集模块，用于获取工位视频数据、区域视频数据及人员语音数据，解析所述工...

【专利技术属性】
技术研发人员：高伟，吴蕃，杜媛媛，宋宇诚，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11