一种视频会议注意力聚焦的方法及一种存储设备技术

本发明专利技术涉及多媒体技术领域，特别涉及一种视频会议注意力聚焦的方法及一种存储设备。一种视频会议注意力聚焦的方法，包括步骤：获取全景图像和全向声音；分割全景图像，并对分割后的全景图像进行处理得到目标图像；分割全向声音，并对分割后的全向声音进行处理得到目标声音；发送所述目标图像和所述目标声音至目标设备。所发送的目标图像是经过处理后的，对中等以上区域权重的照片才进行处理传输，并非原始的整个全景图像，大大节省传输过程中的网络带宽，网络带宽的减少，也使得参会人员的人数可以大大增加。

【技术实现步骤摘要】
一种视频会议注意力聚焦的方法及一种存储设备
本专利技术涉及多媒体
，特别涉及一种视频会议注意力聚焦的方法及一种存储设备。
技术介绍
随着科技的发展，与商业的发展，越来越多的公司在日常的业务当中需要用到视频会议。现有技术中，高级的视频会议场景，为在主会场的长方形或椭圆形会议桌四周围坐参会人员。多个普通摄像头从多个位置采集会场图像，然后视频会议系统将摄像头的多路图像中的一路或多路传输给参会人员。或者机械旋转摄像头，根据声音的有向性，自动旋转到目标角度，然后视频会议系统将摄像头的图像传输给参会人员。同时广域网视频会议参加者的视频图像，也会传到主会场视频会议系统。而类似这样的视频会议系统都存在以下缺陷：第一，多路传输浪费网络带宽，普通视频会议系统由于带宽限制，仅支持若干路视频通话，限制了参会人员人数。第二，机械旋转摄像头，根据声音的有向性做出反向，当多人发言或交头接耳时，其无法做出有效性方向判断，另外有向性改变时，过场时间较长。
技术实现思路
为此，需要提供一种视频会议注意力聚焦的方法，用以解决多路传输浪费网络带宽、多人发言或交头接耳时，无法对声音有效性方向做出判断等等问题。具体的技术方案如下所述：一种视频会议注意力聚焦的方法，包括步骤：获取全景图像；获取全向声音；分割全景图像，并对分割后的全景图像进行处理得到目标图像；分割全向声音，并对分割后的全向声音进行处理得到目标声音；发送所述目标图像和所述目标声音至目标设备进一步的，所述“分割全景图像，并对分割后的全景图像进行处理得到目标图像”，还包括步骤：通过基于人工智能的视频注意力聚焦算法，实时计算视频注意力分割区域；通过基于分割区域评分的视频注意力聚焦算法，实时计算视频注意力分割区域权重；根据分割区域权重获取优选分割区域；对所述优选分割区域进行处理输出目标图像。进一步的，还包括步骤：主视频注意力分割区域切换，根据预设场景切换模式进行场景切换，所述预设场景切换模式包括：自然过度、延迟过度和画中画过度；所述主视频注意力分割区域为：权重最大的视频注意力分割区域。进一步的，所述“对所述优选分割区域进行处理输出目标图像”，还包括步骤：根据画面主次关系将多区域图像合成一张目标图像，优选中等以上权重的注意力分割区域的图像合成目标图像，屏蔽低权重的注意力分割区域。进一步的，所述“分割全向声音，并对分割后的全向声音进行处理得到目标声音”，还包括步骤：通过基于人工智能的音频注意力聚焦算法和基于音频相关性评分的聚焦算法，实时计算音频注意力相关性权重；根据视频注意力分割区域权重调整音频注意力相关性权重；根据音频注意力相关性权重获取最佳相关性音频方向；对所述最佳相关性音频方向进行处理输出目标声音。为解决上述问题，还提供了一种存储设备。具体的技术方案如下：一种存储设备，其中存储有指令集，所述指令集用于执行：获取全景图像；获取全向声音；分割全景图像，并对分割后的全景图像进行处理得到目标图像；分割全向声音，并对分割后的全向声音进行处理得到目标声音；发送所述目标图像和所述目标声音至目标设备。进一步的，所述指令集还用于执行：通过基于人工智能的视频注意力聚焦算法，实时计算视频注意力分割区域；通过基于分割区域评分的视频注意力聚焦算法，实时计算视频注意力分割区域权重；根据区域权重获取优选分割区域；对所述优选分割区域进行处理输出目标图像。进一步的，所述指令集还用于执行：主视频注意力分割区域切换，根据预设场景切换模式进行场景切换，所述预设场景切换模式包括：自然过度、延迟过度和画中画过度；所述主视频注意力分割区域为：权重最大的视频注意力分割区域。进一步的，所述指令集还用于执行：所述“对所述优选分割区域进行处理输出目标图像”，还包括步骤：根据画面主次关系将多区域图像合成一张目标图像，优选中等以上权重的注意力分割区域的图像合成目标图像，屏蔽低权重的注意力分割区域。进一步的，所述指令集还用于执行：通过基于人工智能的音频注意力聚焦算法和基于音频相关性评分的聚焦算法，实时计算音频注意力相关性权重；根据视频注意力分割区域权重调整音频注意力相关性权重；根据音频注意力相关性权重获取最佳相关性音频方向；对所述最佳相关性音频方向进行处理输出目标声音。本专利技术的有益效果是：1、通过获取全景图像，分割全景图像，并对分割后的全景图像进行处理得到目标图像，发送目标图像至目标设备，所发送的目标图像是经过处理后的，对中等以上区域权重的照片才进行处理传输，并非原始的整个全景图像，大大节省传输过程中的网络带宽，网络带宽的减少，也使得参会人员的人数可以大大增加。2、通过获取全向声音，分割全向声音，并对分割后的全向声音进行处理得到目标声音，且结合分割区域权重调整音频注意力相关性权重，使得声音的获取及时有效，避免杂音；同时也大大节省传输过程中的网络带宽。附图说明图1为具体实施方式所述一种视频会议注意力聚焦的方法的流程图；图2为具体实施方式所述一种存储设备的模块图。附图标记说明：200、存储设备。具体实施方式为详细说明技术方案的
技术实现思路
、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。请参阅图1，首先，对本实施方式中会出现的一些名词做以下解释：画中画：是一种图像或视频呈现方式，是指主画面有机的叠加若干子画面的形成的效果。视频画中画是指全屏的视频叠加若干个预览小窗口。在本实施方式中是指图像的画中画效果，主画面图像和有机的叠加若干子图像，最终形成带画中画效果的单幅画面。在本实施方式中，一种视频会议注意力聚焦的方法可应用在一种注意力聚焦的视频会议系统上，该系统可在智能手机、平板电脑、台式PC、笔记本电脑、PDA、智能手表等等上运行，并通过360度全景摄像头采集全景图像；视频会议系统通过360度全向麦克风阵列采集声音数据。步骤S101：获取全景图像。可采用如下方式：通过360度全景摄像头采集全景图像。在其他实施方式中，亦可以采用其他方式获取全景图像，如：3d沉浸式全景、普通全景视频和3d视频。步骤S102：获取全向声音。可采用如下方式：通过360度全向麦克风阵列采集声音数据。在其他实施方式中，亦可以采用其他方式获取全向声音。步骤S103：分割全景图像，并对分割后的全景图像进行处理得到目标图像。可采用如下方式：通过基于人工智能的视频注意力聚焦算法，实时计算视频注意力分割区域，通过基于分割区域评分的视频注意力聚焦算法，实时计算视频注意力分割区域权重；根据分割区域权重获取优选分割区域；对所述优选分割区域进行处理输出目标图像。在本实施方式中，优先的人像区域权重相对较高，区域权重越大，则为优选的分割区域。举例如下：在实际场景中，一个会议桌前有三个人A/B/C，在整个视频会议的过程中，将通过基于人工智能的视频注意力聚焦算法，实时计算视频注意力分割区域，通过基于分割区域评分的视频注意力聚焦算法，实时计算视频注意力分割区域权重。如：可通过基于人工智能的视频注意力聚焦算法，实时计算视频注意力分割区域，如在某一时间段，算法计算出来的注意力区域及权重为:Area-A(weight-80),Area-B(weight-30),Area-C(weight-20),Area-D(weight-10)。在下一时间段又实时计算视频注意力分割区域。最后对所述优选分割本文档来自技高网...

【技术保护点】
1.一种视频会议注意力聚焦的方法，其特征在于，包括步骤：获取全景图像；获取全向声音；分割全景图像，并对分割后的全景图像进行处理得到目标图像；分割全向声音，并对分割后的全向声音进行处理得到目标声音；发送所述目标图像和所述目标声音至目标设备。

【技术特征摘要】
1.一种视频会议注意力聚焦的方法，其特征在于，包括步骤：获取全景图像；获取全向声音；分割全景图像，并对分割后的全景图像进行处理得到目标图像；分割全向声音，并对分割后的全向声音进行处理得到目标声音；发送所述目标图像和所述目标声音至目标设备。2.根据权利要求1所述的一种视频会议注意力聚焦的方法，其特征在于，所述“分割全景图像，并对分割后的全景图像进行处理得到目标图像”，还包括步骤：通过基于人工智能的视频注意力聚焦算法，实时计算视频注意力分割区域；通过基于分割区域评分的视频注意力聚焦算法，实时计算视频注意力分割区域权重；根据分割区域权重获取优选分割区域；对所述优选分割区域进行处理输出目标图像。3.根据权利要求2所述的一种视频会议注意力聚焦的方法，其特征在于，还包括步骤：主视频注意力分割区域切换，根据预设场景切换模式进行场景切换，所述预设场景切换模式包括：自然过度、延迟过度和画中画过度；所述主视频注意力分割区域为：权重最大的视频注意力分割区域。4.根据权利要求2所述的一种视频会议注意力聚焦的方法，其特征在于，所述“对所述优选分割区域进行处理输出目标图像”，还包括步骤：根据画面主次关系将多区域图像合成一张目标图像，优选中等以上权重的注意力分割区域的图像合成目标图像，屏蔽低权重的注意力分割区域。5.根据权利要求1所述的一种视频会议注意力聚焦的方法，其特征在于，所述“分割全向声音，并对分割后的全向声音进行处理得到目标声音”，还包括步骤：通过基于人工智能的音频注意力聚焦算法和基于音频相关性评分的聚焦算法，实时计算音频注意力相关性权重；根据视频注意力分割区域权重调整音频注意力相关性权重；根据音频注意力相关性权重获取...

【专利技术属性】
技术研发人员：程明传，
申请(专利权)人：福州瑞芯微电子股份有限公司，
类型：发明
国别省市：福建,35