【技术实现步骤摘要】
通讯优化方法、装置、设备及介质
本专利技术涉及人工智能
,尤其涉及一种通讯优化方法、装置、设备及介质。
技术介绍
随着音视频技术的不断发展,音视频被广泛应用在各个领域、各个业务中,例如:银行推出与音视频相关的产品供业务员使用。在此过程中,如果一方情绪不好,很可能导致通话过程不愉快,影响双方的沟通情绪。针对上述问题,常用的方法是针对服务人员建立约束,避免与客户发生正面冲突,对心理素质有较高要求,对客服人员的友好性较低。当然,在其他解决方案中,如采用神经网络算法判断客户情绪,再将判断结果反馈给服务人员参考。由于训练样本单一、训练参数有限,情绪判断的准确率及检测效率都受到一定限制。
技术实现思路
鉴于以上内容,有必要提供一种通讯优化方法、装置、设备及介质,能够同时结合姿态检测结果及表情识别结果进行情绪类型的判断,有效提升了情绪判断的准确性,同时,在检测到有任意通讯用户的情绪异常时,对视频进行优化处理,以避免由于某个通讯用户的情绪变化影响整个通讯过程,利用美化且趣味性的视频效果缓和每个通讯用 ...
【技术保护点】
1.一种通讯优化方法,其特征在于,所述通讯优化方法包括:/n响应于通讯优化指令,根据所述通讯优化指令确定目标采集设备,并启动所述目标采集设备采集通讯用户的目标视频;/n采用姿态检测算法,基于所述目标视频对所述通讯用户中的每个通讯用户进行姿态检测,得到每个通讯用户的姿态检测结果;/n对所述目标视频进行特征截取,得到待检测图片;/n将所述待检测图片输入至预先训练的表情识别模型中,得到每个通讯用户的表情识别结果;/n根据每个通讯用户的姿态检测结果及每个通讯用户的表情识别结果确定每个通讯用户的情绪类型;/n当检测到有通讯用户的情绪类型为目标情绪类型时,对所述目标视频进行优化处理,得 ...
【技术特征摘要】
1.一种通讯优化方法,其特征在于,所述通讯优化方法包括:
响应于通讯优化指令,根据所述通讯优化指令确定目标采集设备,并启动所述目标采集设备采集通讯用户的目标视频;
采用姿态检测算法,基于所述目标视频对所述通讯用户中的每个通讯用户进行姿态检测,得到每个通讯用户的姿态检测结果;
对所述目标视频进行特征截取,得到待检测图片;
将所述待检测图片输入至预先训练的表情识别模型中,得到每个通讯用户的表情识别结果;
根据每个通讯用户的姿态检测结果及每个通讯用户的表情识别结果确定每个通讯用户的情绪类型;
当检测到有通讯用户的情绪类型为目标情绪类型时,对所述目标视频进行优化处理,得到优化视频;
输出所述优化视频。
2.如权利要求1所述的通讯优化方法,其特征在于,所述采用姿态检测算法,基于所述目标视频对所述通讯用户中的每个通讯用户进行姿态检测,得到每个通讯用户的姿态检测结果包括:
对所述目标视频进行拆分,得到每个通讯用户对应的视频段;
采用改进的姿态检测算法检测每个通讯用户对应的视频段中每个通讯用户的姿态数据;
将每个通讯用户的姿态数据输入至分类器中进行分类,输出每个通讯用户的姿态分类结果;
将每个通讯用户的姿态分类结果确定为每个通讯用户的姿态检测结果。
3.如权利要求2所述的通讯优化方法,其特征在于,所述采用改进的姿态检测算法检测每个通讯用户对应的视频段中每个通讯用户的姿态数据包括:
将每个通讯用户对应的视频段输入至MobileNet的backbone中,输出第一特征数据;
将所述第一特征数据输入至initialstage及refinestage,输出特征图;
将所述特征图输入至1*1卷积层,输出关键点热图以及部分亲和字段作为每个通讯用户的姿态数据;
其中,backbone、initialstage及refinestage采用1*1卷积层、第一3*3卷积层以及第二3*3卷积层构成级联卷积,且所述第二3*3卷积层是卷积核膨胀为2的空洞卷积。
4.如权利要求1所述的通讯优化方法,其特征在于,在将所述待检测图片输入至预先训练的表情识别模型中前,所述方法还包括:
获取带有人脸动作单元标记的人脸图片及带有分类标记的人脸图片作为训练样本;
提取预先训练的人脸分类模型的第一参数,及预先训练的表情检测模型的第二参数;
利用反向传播算法,结合所述第一参数及所述第二参数,采用神经网络算法训练所述训练样本,得到所述表情识别模型。
5.如权利要求4所述的通讯优化方法,其特征在于,所述利用反向传播算法,结合所述第一参数及所述第二参数,采用神经网络算法训练所述训练样本,得到所述表情识别模型包括:
...
【专利技术属性】
技术研发人员:彭钊,
申请(专利权)人:平安银行股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。