一种全景视频会议的图像显示方法、装置及视频会议系统制造方法及图纸

本发明专利技术公开了一种全景视频会议的图像显示方法、装置及视频会议系统，其中全景视频会议的图像生成方法包括如下步骤：用于使用全景摄像机获取会议现场的全景视频数据；对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。通过使用鱼眼摄像机等全景摄像机获取会议现场的全景视频数据，解决了现有技术中的视频会议系统的结构较为复杂的问题，同时，还可通过人形检测得到全景视频数据中各个视频帧的人形坐标信息，实现全景视讯中的特定显示，实现成本较低。

An Image Display Method, Device and Video Conference System for Panoramic Video Conference

The invention discloses an image display method, device and video conference system of panoramic video conference, in which the image generation method of panoramic video conference includes the following steps: for obtaining panoramic video data of conference scene with panoramic camera; for detecting the human shape of each video frame in panoramic video data, obtaining the human coordinates of each video frame in panoramic video data According to the human coordinate information, the information obtains the motion information of a mobile human body in each video frame. According to the motion information, the image of each video frame in the panoramic video data is intercepted to generate the video image of the mobile human body. By using panoramic cameras such as fisheye cameras to acquire panoramic video data on the conference site, the complex structure of the video conference system in the existing technology is solved. At the same time, the human coordinate information of each video frame in panoramic video data can be obtained through human shape detection, so that the specific display in panoramic video can be realized and the cost is low.

【技术实现步骤摘要】
一种全景视频会议的图像显示方法、装置及视频会议系统
本专利技术涉及视频通信
，尤其涉及到一种全景视频会议的图像显示方法、全景视频会议的图像显示装置、视频会议系统和计算机可读存储介质。
技术介绍
随着摄像机和网络技术的发展，使得远程实时视频会议成为可能，现有视讯会议系统支持音频和视频的同步传输功能，可将会议现场的音视频信号发送至远离会议现场的音视频播放器上，从而帮助远程与会人员参与或旁听会议。以往的视讯会议多采用单幅图像的平铺显示方式，这种方式的视频没有景深效果，而且难以获得发言人的近距离正面图像，使得视讯会议的实时互动效果大打折扣。为使得视讯会议现场能够进行全景显示，往往需要多台摄像机进行不同角度的拍摄，同时，将所拍摄的图像在视频显示器上进行切换显示，或者采用一台或多台摄像机聚焦某一会议参与人进行特定画面显示。然而，采用多台摄像机切换或特定显示时，虽然达到了全景视讯的效果，但是这种方式需要多台摄像机和专门的操作人员来完成，大大增加了视讯会议的成本和复杂度。
技术实现思路
因此，本专利技术要解决的技术问题在于解决现有技术中的实现全景视讯的视频会议系统的结构复杂，成本较高的问题，提供一种基于全景摄像机的能够进行特定显示的图像显示方法、装置及视频会议系统。为此，根据第一方面，本专利技术提供了一种全景视频会议的图像生成方法，包括如下步骤：使用全景摄像机获取会议现场的全景视频数据；对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息；根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。可选地，全景视频会议的图像生成方法还包括如下步骤：使用麦克风阵列对会议现场的声源进行定位，得到声源位置信息；根据声源位置信息得到声源在全景视频数据中的声源坐标信息；将声源坐标信息作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。可选地，全景视频会议的图像生成方法还包括如下步骤：对全景视频数据中各个视频帧进行人脸检测，得到全景视频数据中各个视频帧的人脸坐标信息；将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息。根据第二方面，本专利技术还提供了一种全景视频会议的图像生成方法，包括如下步骤：接收会议现场的全景视频数据；接收全景视频数据中某一移动人体的动作信息；动作信息包含移动人体在全景视频数据的不同视频帧中的人形坐标信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。可选地，全景视频会议的图像生成方法还包括如下步骤：接收主讲人位置信息；主讲人位置信息为全景视频数据中的声源坐标信息或者包含有对应时刻的声源坐标信息的人形坐标信息或者包含有对应时刻的声源坐标信息的人脸坐标信息；根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。可选地，全景视频会议的图像生成方法还包括如下步骤：将全景视频数据以及全景视频数据中某一移动人体的动作信息中的时间戳对齐。根据第三方面，本专利技术还提供了一种全景视频会议的图像生成装置，包括：视频信息获取模块，用于使用全景摄像机获取会议现场的全景视频数据；人形检测模块，用于对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息；动作信息获取模块，用于根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；第一图像生成模块，用于根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。可选地，全景视频会议的图像生成装置还包括：声源定位模块，用于使用麦克风阵列对会议现场的声源进行定位，得到声源位置信息；主讲人第一定位模块，用于根据声源位置信息得到声源在全景视频数据中的声源坐标信息；将声源坐标信息作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；第二图像生成模块，用于根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。可选地，全景视频会议的图像生成装置还包括：主讲人第二定位模块，用于对全景视频数据中各个视频帧进行人脸检测，得到全景视频数据中各个视频帧的人脸坐标信息；将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息。根据第四方面，本专利技术还提供了一种全景视频会议的图像生成装置，包括：视频信息接收模块，用于接收会议现场的全景视频数据；动作信息接收模块，用于接收全景视频数据中某一移动人体的动作信息；动作信息包含移动人体在全景视频数据的不同视频帧中的人形坐标信息；第三图像生成模块，用于根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。可选地，全景视频会议的图像生成装置还包括：主讲人信息接收模块，用于接收主讲人位置信息；主讲人位置信息为全景视频数据中的声源坐标信息或者包含有对应时刻的声源坐标信息的人形坐标信息或者包含有对应时刻的声源坐标信息的人脸坐标信息；第四图像生成模块，用于根据主讲人位置信息对全景视频数据中的各个视频帧进行图像截取，生成主讲人的视频图像。根据第五方面，本专利技术提供了一种视频会议系统，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述第一方面的全部或部分方法，或者执行上述第二方面的全部或部分方法。根据第六方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第一方面的全部或部分方法的步骤，或者实现上述第二方面的全部或部分方法的步骤。本专利技术实施例提供的技术方案，具有如下优点：1、本专利技术提供的全景视频会议的图像生成方法，包括如下步骤：用于使用全景摄像机获取会议现场的全景视频数据；对全景视频数据中各个视频帧进行人形检测，得到全景视频数据中各个视频帧的人形坐标信息根据人形坐标信息获取各个视频帧中的某一移动人体的动作信息；根据动作信息对全景视频数据中的各个视频帧进行图像截取，生成移动人体的视频图像。通过使用鱼眼摄像机等全景摄像机获取会议现场的全景视频数据，解决了现有技术中使用多台摄像机进行不同角度的拍摄，从而获取全景视频数据的视频会议系统的结构较为复杂的问题；同时，通过人形检测得到全景视频数据中各个视频帧的人形坐标信息，并通过各个视频帧中某一人体的人形坐标信息的变化情况得到该人体是否为移动人体，并将会议现场中的移动人体在各个视频帧中的人形坐标信息作为其动作信息，则根据动作信息在全景视频数据中的各个视频帧截取该移动人体的图像时，就能聚焦生成会议现场中移动人体的视频图像，从而实现全景视讯中的特定显示，实现成本较低。2、本专利技术提供的全景视频会议的图像生成方法，还包括如下步骤：使用麦克风阵列对会议现场的声源进行定位，得到声源位置信息；根据声源位置信息得到声源在全景视频数据中的声源坐标信息；将声源坐标信息作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；根据主讲人位置信息对全景视频数据中的各个视频帧进行图像本文档来自技高网...

【技术保护点】
1.一种全景视频会议的图像生成方法，其特征在于，包括如下步骤：使用全景摄像机获取会议现场的全景视频数据；对所述全景视频数据中各个视频帧进行人形检测，得到所述全景视频数据中各个视频帧的人形坐标信息；根据所述人形坐标信息获取各个视频帧中的某一移动人体的动作信息；根据所述动作信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述移动人体的视频图像。

【技术特征摘要】
1.一种全景视频会议的图像生成方法，其特征在于，包括如下步骤：使用全景摄像机获取会议现场的全景视频数据；对所述全景视频数据中各个视频帧进行人形检测，得到所述全景视频数据中各个视频帧的人形坐标信息；根据所述人形坐标信息获取各个视频帧中的某一移动人体的动作信息；根据所述动作信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述移动人体的视频图像。2.根据权利要求1所述的全景视频会议的图像生成方法，其特征在于，还包括如下步骤：使用麦克风阵列对所述会议现场的声源进行定位，得到声源位置信息；根据所述声源位置信息得到所述声源在所述全景视频数据中的声源坐标信息；将所述声源坐标作为主讲人位置信息，或者将包含有对应时刻的声源坐标信息的人形坐标信息作为主讲人位置信息；根据所述主讲人位置信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述主讲人的视频图像。3.根据权利要求2所述的全景视频会议的图像生成方法，其特征在于，还包括如下步骤：对所述全景视频数据中各个视频帧进行人脸检测，得到所述全景视频数据中各个视频帧的人脸坐标信息；将包含有对应时刻的声源坐标信息的人脸坐标信息作为主讲人位置信息。4.一种全景视频会议的图像生成方法，其特征在于，包括如下步骤：接收会议现场的全景视频数据；接收所述全景视频数据中某一移动人体的动作信息；所述动作信息包含所述移动人体在所述全景视频数据的不同视频帧中的人形坐标信息；根据所述动作信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述移动人体的视频图像。5.根据权利要求4所述的全景视频会议的图像生成方法，其特征在于，还包括如下步骤：接收主讲人位置信息；所述主讲人位置信息为所述全景视频数据中的声源坐标信息或者包含有对应时刻的声源坐标信息的人形坐标信息或者包含有对应时刻的声源坐标信息的人脸坐标信息；根据所述主讲人位置信息对所述全景视频数据中的各个视频帧进行图像截取，生成所述主讲人的视...

【专利技术属性】
技术研发人员：韦国华，胡小鹏，万春雷，顾振华，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏,32