基于音视频分析的网络通话麦克风状态提示方法及系统技术方案

本发明专利技术提供一种基于音视频分析的网络通话麦克风状态提示方法及系统，包括以下步骤：S1、确定终端麦克风是否处于静音状态；S2、根据用户说话状态发出取消或设置麦克风静音状态的提示；S3、对通话远端信号进行VAD检测，如检测到通话远端信号为无效信号，则判定扬声器空闲，则播放第一提示或第二提示；S4、在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。本发明专利技术根据用户面部动作识别结果和语音信号声纹识别结果判断用户说话状态，实时提示用户打开或关闭麦克风。

【技术实现步骤摘要】
基于音视频分析的网络通话麦克风状态提示方法及系统
本专利技术涉及麦克风设备
，特别涉及一种基于音视频分析的网络通话麦克风状态提示方法及系统。
技术介绍
现有技术中，网络通话、网络会议系统都通过检测麦克风设置，帮助用户及时识别麦克风状态，避免出现由于麦克风静音等原因导致发言不能被其他参与者接收、由于没有及时关闭麦克风导致与通话无关的语音信息传送给其他参与者等问题，能有效提高网络通话、网络会议的质量和效率。目前能实现麦克风状态提示的技术主要有：方案一：在通话、会议建立时检测麦克风状态并提示，在通话、会议过程中不做麦克风状态的提示。这种方案无法为用户实时更新麦克风状态，容易出现因麦克风静音导致的沟通不畅，用户在发言过程中需要频繁与其他用户确认能否听到他的发言，用户体验不佳。方案二：在通话、会议过程中使用GUI图标或弹窗显示麦克风静音状态。这种方案常用于PC终端和移动终端等带屏设备中，用户在切换到其他应用后或视线脱离屏幕后无法关注到麦克风状态，同样容易出现因麦克风静音导致的沟通问题。方案三：在通话、会议过程中，部分通话、会议系统把麦克风打开或关闭状态图标使用OSD叠加到视频画面上发送给终端设备。这种方案需要集成专业的OSD叠加处理模块，仅适用与部分视频会议终端或者视频会议服务器，设备成本和维护成本高。方案四：在会议过程中，部分会议系统检测到某个会议终端麦克风静音后，会对该终端播放特殊的提示音，如间隔播放“嘟嘟”音。这种方案的问题是提示不够直观，辨识度不高，并且会对会议的正常收听造成一定程度的干扰。
技术实现思路
本专利技术提供一种基于音视频分析的网络通话麦克风状态提示方法及系统，可以不依赖于屏幕和视频设备，解决无法为用户实时更新麦克风状态、用户在切换到其他应用后或视线脱离屏幕后无法关注到麦克风状态、设备成本、维护成本高和提示方案不够直观，辨识度低等技术问题。为了实现上述目的，本专利技术提供以下技术方案：一种基于音视频分析的网络通话麦克风状态提示方法，包括以下步骤：S1、确定终端麦克风是否处于静音状态；S2、根据用户说话状态发出取消或设置麦克风静音状态的提示，具体包括：当终端设备麦克风处于静音状态时，如人脸识别模块检测到用户讲话动作、或者语音识别模块检测到用户发出的声音，则发出取消麦克风静音状态的第一提示；当终端设备麦克风处于非静音状态时，如所述语音识别模块检测到其他人发出的声音，则发出设置麦克风静音状态的第二提示；S3、对通话远端信号进行VAD检测，如检测到通话远端信号为无效信号，则判定扬声器空闲，则播放上述第一提示或第二提示；S4、在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。优选的，所述提示的信息以音频或视频数据的方式存放在电子设备存储器内。优选的，所述提示为声音信号、文字信号或光电信号。本专利技术还提供一种基于音视频分析的网络通话麦克风状态提示系统，包括状态确认模块、提示模块、检测模块及播报模块，所述状态确认模块，用于确定终端麦克风是否处于静音状态及用户是否处于说话状态；所述提示模块，用于根据用户说话状态发出取消或设置麦克风静音状态的提示，具体包括：当终端设备麦克风处于静音状态时，如人脸识别模块检测到用户讲话动作、或者语音识别模块检测到用户发出的声音，则发出取消麦克风静音状态的第一提示；当终端设备麦克风处于非静音状态时，如所述语音识别模块检测到其他人发出的声音，则发出设置麦克风静音状态的第二提示；所述检测模块，用于对通话远端信号进行VAD检测，如检测到通话远端信号为无效信号，则判定扬声器空闲，则播放上述第一提示或第二提示；所述播报模块，用于在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。优选的，所述提示的信息以音频或视频数据的方式存放在电子设备存储器内。优选的，所述提示为声音信号、文字信号或光电信号。通过实施以上技术方案，具有以下技术效果：本专利技术提供的基于音视频分析的网络通话麦克风状态提示方法及系统，根据用户面部动作识别结果和语音信号声纹识别结果判断用户说话状态，实时提示用户打开或关闭麦克风。可广泛适用于包括移动终端在内的各种类型终端设备和会议系统。本专利技术基于音视频分析技术，可适用于视频会议、语音会议、视频通话、语音通话等各种应用场景。本专利技术实现在终端设备上，降低了音视频服务器的运算要求和控制复杂度，提高了通话、会议系统的稳定性。此外本专利技术在检测到其他人声音时，会及时提醒用户关闭麦克风，可有效保护用户的个人隐私，同时防止通话、会议被无关内容干扰、打断。本专利技术使用的语音提示音频支持定制，用户可根据其喜好选择个性化音频提示，辨识度较高；本专利技术对通话远端信号做实时VAD检测，在扬声器不被占用的情况下播放语音提示，对用户收听通话、会议内容干扰较小。附图说明图1为本专利技术提供的基于音视频分析的网络通话麦克风状态提示方法的流程示意图；图2为本专利技术提供的基于音视频分析的网络通话麦克风状态提示系统的模块示意图。具体实施方式为了更好的理解本专利技术的技术方案，下面结合附图详细描述本专利技术提供的实施例。一种基于音视频分析的网络通话麦克风状态提示方法，如图1所示，包括以下步骤：S1、确定终端麦克风是否处于静音状态；在本实施例中，终端麦克风存在两种状态，一种是静音状态，另外一种是非静音状态。其中静音状态是指麦克风处于音量关闭状态；非静音状态是指麦克风处于音量打开状态。S2、根据用户说话状态发出取消或设置麦克风静音状态的提示，具体包括：当终端设备麦克风处于静音状态时，如人脸识别模块检测到用户讲话动作、或者语音识别模块检测到用户发出的声音，则发出取消麦克风静音状态的第一提示；当终端设备麦克风处于非静音状态时，如所述语音识别模块检测到其他人发出的声音，则发出设置麦克风静音状态的第二提示；S3、对通话远端信号进行VAD检测，如检测到通话远端信号为无效信号，则判定扬声器空闲，则播放上述第一提示或第二提示；其中所述第一提示和所述第二提示可以是语音提示、光电信号提示或文字信号提示等方式。在本实施例中，优选的，所述第一提示和所述第二提示均为语音提示。S4、在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。本实施例中，在通话、会议过程中，终端设备通过检测用户面部动作、声音等行为特征和生物特征判断用户的说话状态，结合当前的麦克风设置状态，提醒用户及时打开或关闭麦克风。在本实施例中，优选的，当终端设备麦克风处于静音状态时，如果人脸识别模块检测到用户讲话动作或语音识别模块检测到用户发出的声音，则提醒用户取消麦克风静音状态，避免因麦本文档来自技高网...

【技术保护点】
1.一种基于音视频分析的网络通话麦克风状态提示方法，其特征在于，包括以下步骤：/nS1、确定终端麦克风是否处于静音状态；/nS2、根据用户说话状态发出取消或设置麦克风静音状态的提示，具体包括：当终端设备麦克风处于静音状态时，如人脸识别模块检测到用户讲话动作、或者语音识别模块检测到用户发出的声音，则发出取消麦克风静音状态的第一提示；当终端设备麦克风处于非静音状态时，如所述语音识别模块检测到其他人发出的声音，则发出设置麦克风静音状态的第二提示；/nS3、对通话远端信号进行VAD检测，如检测到通话远端信号为无效信号，则判定扬声器空闲，则播放上述第一提示或第二提示；/nS4、在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。/n

【技术特征摘要】
1.一种基于音视频分析的网络通话麦克风状态提示方法，其特征在于，包括以下步骤：
S1、确定终端麦克风是否处于静音状态；
S2、根据用户说话状态发出取消或设置麦克风静音状态的提示，具体包括：当终端设备麦克风处于静音状态时，如人脸识别模块检测到用户讲话动作、或者语音识别模块检测到用户发出的声音，则发出取消麦克风静音状态的第一提示；当终端设备麦克风处于非静音状态时，如所述语音识别模块检测到其他人发出的声音，则发出设置麦克风静音状态的第二提示；
S3、对通话远端信号进行VAD检测，如检测到通话远端信号为无效信号，则判定扬声器空闲，则播放上述第一提示或第二提示；
S4、在播放所述提示时，如检测到通话远端信号为有效信号，则停止所述第一提示或者第二提示的播报、或把所述第一提示或第二提示与通话远端信号混音处理后播报。


2.根据权利要求1所述基于音视频分析的网络通话麦克风状态提示方法，其特征在于，所述提示的信息以音频或视频数据的方式存放在电子设备存储器内。


3.根据权利要求1所述基于音视频分析的网络通话麦克风状态提示方法，其特征在于，所述提示为声音信号、文字信号或光电信号。


4.一种基于音视频分析的网络通话麦克风状态...

【专利技术属性】
技术研发人员：赵清明，宋少鹏，黄生柏，张清，
申请(专利权)人：深圳米唐科技有限公司，
类型：发明
国别省市：广东;44