视频会议方法及系统、计算机可读存储介质技术方案

本发明专利技术公开了一种视频会议方法及系统、计算机可读存储介质，其中，视频会议方法包括：检测当前发言人；实时获取当前发言人的人脸信息；判断当前发言人是否出现了微表情特征；当检测到当前发言人出现了微表情特征，则发出第一报警信息；检测到第一报警信息后，锁定当前发言人在出现微表情特征时的同步音视频数据；截取所述同步音视频数据中的带有时间戳信息的语音数据，将所述语音数据转化为文字内容；将所述当前发言人的微表情特征所对应的情绪信息以及所述文字内容反馈给与会客户端。本发明专利技术的视频会议方法及系统、计算机可读存储介质能够自动获取与会人员的面部微表情特征，在网络不佳视频不够清晰的情况下，能够明显提升视频会议效率。频会议效率。频会议效率。

【技术实现步骤摘要】
视频会议方法及系统、计算机可读存储介质


[0001]本专利技术是关于视频通信
，特别是关于一种视频会议方法及系统、计算机可读存储介质。

技术介绍

[0002]目前视频会议应用越来越普遍。专利技术人在实现本专利技术的过程中发现：在视频会议中，因为不能面对面开会，还是会存在沟通距离感，且视频通信过程中由于网络或视频的清晰程度或是屏幕大小不能让与会人很清晰地看到发言人或其它与会人的面部表情，无法像现场会议一样，能看到大家的真实会议状态以及反应，由此，视频会议效率会受到一定影响。
[0003]公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

[0004]本专利技术的目的在于提供一种视频会议方法及系统、计算机可读存储介质，其能够自动获取与会人员的面部微表情特征，特别是在网络不佳视频不够清晰的情况下，能够明显提升视频会议效率以及用户体验感受。
[0005]为实现上述目的，本专利技术提供了一种视频会议方法，其包括：在视频会议过程中，通过语音识别技术检测当前发言人；实时获取所述当前发言人的人脸信息；根据所述当前发言人的人脸的一个或多个区域的像素变化情况来判断所述当前发言人是否出现了微表情特征；当检测到所述当前发言人出现了微表情特征，则发出第一报警信息；检测到所述第一报警信息后，通过系统实时存储的音视频数据以及时间戳信息来自动锁定所述当前发言人在出现微表情特征时的同步音视频数据；截取所述同步音视频数据中的带有时间戳信息的语音数据，将所述语音数据转化为文字内容；将所述当前发言人的微表情特征所对应的情绪信息以及所述文字内容反馈给与会客户端。
[0006]在本专利技术的一实施方式中，将所述当前发言人的微表情特征所对应的情绪信息反馈给与会客户端包括：通过视频框闪动并且伴有颜色背景提示的方式，将所述当前发言人的微表情特征所对应的情绪信息反馈给与会客户端；或通过表情包和/或颜色背景提示的方式，将所述当前发言人的微表情特征所对应的情绪信息反馈给与会客户端。
[0007]在本专利技术的一实施方式中，将所述文字内容反馈给与会客户端包括：通过弹幕的方式，将所述文字内容反馈给与会客户端。
[0008]在本专利技术的一实施方式中，所述视频会议方法还包括：在检测到所述第一报警信息之后，检测其他与会人员的人脸信息；根据所述其他与会人员的人脸的一个或多个区域的像素变化情况来判断所述其他与会人员是否出现了微表情特征；将所述其他与会人员中出现了微表情特征的人员的情绪信息反馈给与会客户端。
[0009]在本专利技术的一实施方式中，将所述其他与会人员中出现了微表情特征的人员的情
绪信息反馈给与会客户端包括：获取所述其他与会人员中出现了微表情特征的人员总数；当所述人员总数超过预设阈值，则获取所述其他与会人员中出现了微表情特征的各个人员的用户级别以及情绪程度；按照所述用户级别从高到低的顺序将所述其他与会人员中出现了微表情特征的人员的名单以及对应的情绪信息进行排序，其中，在进行排序时，若出现多个与会人员的用户级别相同的情况时，则再按照将所述情绪程度从高到低的顺序对所述用户级别相同的与会人员进行排序。
[0010]在本专利技术的一实施方式中，按照自定义的顺序将所述其他与会人员中出现了微表情特征的各个人员的情绪信息进行排列并显示在与会客户端。
[0011]在本专利技术的一实施方式中，仅仅将出现了微表情特征的人员的情绪信息反馈给所述当前发言人的客户端和/或主持人的客户端。
[0012]在本专利技术的一实施方式中，当与会客户端的视频窗口被点击后自动将提醒信息发送给所述与会客户端，其中，所述提醒信息用于提醒与会人员注意情绪。
[0013]基于同样的专利技术构思，本专利技术还提供了一种视频会议方法，其包括：在视频会议过程中，实时检测与会人员的人脸信息；根据所述与会人员的人脸的一个或多个区域的像素变化情况来判断所述与会人员是否出现了微表情特征；当检测到所述与会人员出现了微表情特征，则发出第二报警信息；检测到所述第二报警信息后，则检测搜索声音源，选择出当前发言人在所述与会人员出现了微表情特征时的同步音视频数据；截取所述同步音视频数据中的带有时间戳信息的语音数据，将所述语音数据转化为文字内容；将所述与会人员中出现了微表情特征的人员的情绪信息以及所述文字内容反馈给与会客户端。
[0014]在本专利技术的一实施方式中，所述视频会议方法还包括：将所述与会人员中出现了微表情特征的人员的情绪信息所对应的提示信息反馈给与会客户端。
[0015]基于同样的专利技术构思，本专利技术还提供了一种视频会议系统，其包括：当前发言人检测模块、人脸信息获取模块、微表情特征判断模块、第一报警信息发送模块、同步音视频数据锁定模块、数据转化模块、反馈模块。当前发言人检测模块用于在视频会议过程中，通过语音识别技术检测当前发言人。人脸信息获取模块与所述当前发言人检测模块相耦合，用于实时获取所述当前发言人的人脸信息。微表情特征判断模块与所述人脸信息获取模型相耦合，用于根据所述当前发言人的人脸的一个或多个区域的像素变化情况来判断所述当前发言人是否出现了微表情特征。第一报警信息发送模块与所述微表情特征判断模块相耦合，用于当检测到所述当前发言人出现了微表情特征，则发出第一报警信息。同步音视频数据锁定模块与所述第一报警信息发送模块相耦合，用于检测到所述第一报警信息后，通过系统实时存储的音视频数据以及时间戳信息来自动锁定所述当前发言人在出现微表情特征时的同步音视频数据。数据转化模块与所述同步音视频数据锁定模块相耦合，用于截取所述当前发言人在出现微表情特征时的同步音视频数据中的带有时间戳信息的语音数据，并转化为第一文字内容。反馈模块与所述微表情特征判断模块以及所述数据转化模块均相耦合，用于将所述当前发言人的微表情特征所对应的情绪信息以及所述第一文字内容反馈给与会客户端。
[0016]在本专利技术的一实施方式中，所述视频会议系统还包括：第二报警信息发送模块。其中，所述人脸信息获取模块还用于实时获取其他与会人员的人脸信息；所述微表情特征判断模块还用于根据所述其他与会人员的人脸的一个或多个区域的像素变化情况来判断所
述其他与会人员是否出现了微表情特征；所述第二报警信息发送模块与所述微表情特征判断模块相耦合，用于当检测到所述其他与会人员出现了微表情特征，则发出第二报警信息；所述同步音视频数据锁定模块还与所述第二报警信息发送模块相耦合，用于检测到所述第二报警信息后，则检测搜索声音源，选择出当前发言人在所述其他与会人员出现了微表情特征时的同步音视频数据；所述数据转化模块还用于截取所述当前发言人在所述其他与会人员出现了微表情特征时的同步音视频数据中的带有时间戳信息的语音数据，并转化为第二文字内容；反馈模块还用于将所述其他与会人员中出现了微表情特征的人员的情绪信息以及所述第二文字内容反馈给与会客户端。
[0017]基于同样的专利技术构思，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质用于执行如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频会议方法，其特征在于，包括：在视频会议过程中，通过语音识别技术检测当前发言人；实时获取所述当前发言人的人脸信息；根据所述当前发言人的人脸的一个或多个区域的像素变化情况来判断所述当前发言人是否出现了微表情特征；当检测到所述当前发言人出现了微表情特征，则发出第一报警信息；检测到所述第一报警信息后，通过系统实时存储的音视频数据以及时间戳信息来自动锁定所述当前发言人在出现微表情特征时的同步音视频数据；截取所述同步音视频数据中的带有时间戳信息的语音数据，将所述语音数据转化为文字内容；将所述当前发言人的微表情特征所对应的情绪信息以及所述文字内容反馈给与会客户端。2.如权利要求1所述的视频会议方法，其特征在于，将所述当前发言人的微表情特征所对应的情绪信息反馈给与会客户端包括：通过视频框闪动并且伴有颜色背景提示的方式，将所述当前发言人的微表情特征所对应的情绪信息反馈给与会客户端；或通过表情包和/或颜色背景提示的方式，将所述当前发言人的微表情特征所对应的情绪信息反馈给与会客户端。3.如权利要求1所述的视频会议方法，其特征在于，将所述文字内容反馈给与会客户端包括：通过弹幕的方式，将所述文字内容反馈给与会客户端。4.如权利要求1所述的视频会议方法，其特征在于，所述视频会议方法还包括：在检测到所述第一报警信息之后，检测其他与会人员的人脸信息；根据所述其他与会人员的人脸的一个或多个区域的像素变化情况来判断所述与会人员是否出现了微表情特征；将所述其他与会人员中出现了微表情特征的人员的情绪信息反馈给与会客户端。5.如权利要求4所述的视频会议方法，其特征在于，将所述其他与会人员中出现了微表情特征的人员的情绪信息反馈给与会客户端包括：获取所述其他与会人员中出现了微表情特征的人员总数；当所述人员总数超过预设阈值，则获取所述其他与会人员中出现了微表情特征的各个人员的用户级别以及情绪程度；以及按照所述用户级别从高到低的顺序将所述其他与会人员中出现了微表情特征的人员的名单以及对应的情绪信息进行排序，其中，在进行排序时，若出现多个与会人员的用户级别相同的情况时，则再按照将所述情绪程度从高到低的顺序对所述用户级别相同的与会人员进行排序。6.一种视频会议方法，其特征在于，包括：在视频会议过程中，实时检测与会人员的人脸信息；根据所述与会人员的人脸的一个或多个区域的像素变化情况来判断所述与会人员是否出现了微表情特征；
当检测到所述与会人员出现了微表情特征，则发出第二报警信息；检测到所述第二报警信息后，则检测搜索声音源，选择出当前发言人在所述与会人员出现了微表情特征时的同步音视频数据；截取所述同步音视频数据中的带有时...

【专利技术属性】
技术研发人员：李璐，冯文澜，
申请(专利权)人：随锐科技集团股份有限公司，
类型：发明
国别省市：