【技术实现步骤摘要】
本专利技术涉及视频通信，具体地，涉及利用双目摄像头对发言人追踪拍摄的方法及其系统。
技术介绍
1、基于互联网的视频通信技术被广泛应用于工作和生活的视频会议场景。其中对发言人进行追踪拍摄具有重要的意义，例如，一个终端会议室中有多个参会者，其中正在发言的一个参会者在会议室中并不明显，因此需要通过对发言人的追踪拍摄，使得接收端用户可以更清楚地看到发言人的面部表情、手势和动作，从而获得更丰富的视觉信息，增强了会议的互动和参与感。当摄像头紧密跟随发言人时，接收端用户更容易理解发言内容，并保持关注，这对于理解演示、解释概念以及捕捉重要信息非常有帮助。并且追踪拍摄可以在视觉上模拟现实会议中的焦点，使接收端用户能够更好地感受到发言人的存在，从而更好地交流和互动。另外还可以消除其他参会者的干扰，使接收端用户能够集中精力听取当前的发言人。
2、总之，对发言人进行追踪拍摄可以提升视频会议的质量和效果，使参会者更好地参与和交流，从而实现更好的会议体验。
3、其中，现有技术通过将全景摄像头和特写摄像头结合起来，实现实时追踪目标位置并进行特写拍摄，如专利技术专利cn 104125433 a《基于多球机联动结构的视频运动目标监控方法》公开了：步骤1、采用一个全景监控摄像头和多个设置在不同位置的云台特写跟踪摄像头，利用计算机实现全景监控摄像头和特写跟踪摄像头之间的联动，即建立场景画面中的每个点分别在多个特写摄像头和一个全景摄像头所拍摄的视频画面中的位置对应关系，根据全景摄像头中目标的位置来确定特写摄像头的朝向；步骤2、利用全景监控摄像头
4、上述现有技术中，与全景监控摄像头中的其他物体相比，目标物的运动幅度较大，全景监控摄像头通过行为检测，即运用图像及视频处理的方法将运动目标与场景的背景区别分离，获得全景摄像头中目标的位置。但由于视频会议场景中终端会议室的发言人相对于其他物体运动幅度较小，因此通过行为检测识别目标物的方法并不适用于视频会议的全景摄像头中目标位置的确定，从而无法用于对发言人的追踪拍摄。
技术实现思路
1、本专利技术提供了一种对发言人追踪拍摄的方法及其系统，通过麦克风阵列或结合人脸识别与声纹识别发言人方位，基于所述发言人方位计算全景摄像头所拍摄的全景图像中的发言人的位置即全景位置，再利用预先确定的全景摄像头和特写摄像头之间的位置换算关系，将全景位置换算成特写位置，基于特写位置，计算特写摄像头需要调整的角度，以使其对准发言人的位置，特写摄像头根据计算得出的角度进行转动，使其镜头对准发言人的位置，从而实现特写拍摄。本专利技术结合人脸识别和声音识别技术精确确定全景摄像头中发言人的位置，再利用双目摄像头的不同视角，实现了对发言人的追踪特写拍摄，为视频会议、培训、教育、演讲或其他场景提供了更加丰富的视觉体验，使发言人的发言内容更易于被接收端用户理解和关注，大大提升了接收端用户的观看体验和效果。
2、第一方面，本专利技术提供了一种利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述双目摄像头包括全景摄像头和特写摄像头；所述方法包括：
3、基于麦克风阵列或结合人脸识别与声纹识别发言人方位；
4、基于所述发言人方位计算全景摄像头所拍摄的全景图像中的发言人的位置，获得全景位置；
5、根据所述全景摄像头和所述特写摄像头之间的位置换算关系，基于所述全景位置换算出所述特写摄像头所拍摄的特写图像中的发言人的位置，获得特写位置；
6、基于所述特写位置计算所述特写摄像头需要转动的角度，获得转动角度；
7、所述特写摄像头根据所述转动角度完成转动，并对所述发言人进行特写拍摄。
8、第二方面，本专利技术还提供了一种利用双目摄像头对发言人追踪拍摄的系统，其特征在于，所述系统包括：
9、双目摄像头，所述双目摄像头包括全景摄像头和特写摄像头；
10、方位识别装置，所述方位识别装置包括麦克风阵列或人脸识别单元与声纹识别单元，所述方位识别装置用于基于所述麦克风阵列或结合所述人脸识别单元与所述声纹识别单元识别发言人方位；
11、位置计算装置，其用于基于所述发言人方位计算全景摄像头所拍摄的全景图像中的发言人的位置，获得全景位置；
12、换算装置，其用于根据所述全景摄像头和所述特写摄像头之间的位置换算关系，基于所述全景位置换算出所述特写摄像头所拍摄的特写图像中的发言人的位置，获得特写位置；
13、角度计算装置，其用于基于所述特写位置计算所述特写摄像头需要转动的角度，获得转动角度；
14、所述特写摄像头用于根据所述转动角度完成转动，并对所述发言人进行特写拍摄。
15、本专利技术提供的对发言人追踪拍摄的方法及其系统结合人脸识别和声音识别技术精确确定全景摄像头中发言人的位置，再利用双目摄像头的不同视角，实现了对发言人的自动追踪特写拍摄，无需手动干预，提高了视频会议的效率，确保重要的发言人始终处于焦点，为视频会议、培训、教育、演讲或其他场景提供了更加丰富的视觉体验，使发言人的发言内容更易于被接收端用户理解和关注，大大提升了接收端用户的观看体验和效果。
本文档来自技高网...【技术保护点】
1.一种利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述双目摄像头包括全景摄像头和特写摄像头；所述方法包括：
2.根据权利要求1所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述麦克风阵列与所述全景摄像头的位置固定。
3.根据权利要求1所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述麦克风阵列包括至少两个麦克风；所述基于麦克风阵列识别发言人方位的步骤具体包括：
4.根据权利要求1所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述基于结合人脸识别以及声纹识别发言人方位的步骤具体包括：
5.根据权利要求3所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述特写摄像头根据所述转动角度完成转动，并对所述发言人进行特写拍摄的步骤具体包括：
6.根据权利要求4所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述特写摄像头根据所述转动角度完成转动，并对所述发言人进行特写拍摄的步骤具体包括：
7.根据权利要求3-6中任一项所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述方
8.根据权利要求3-6中任一项所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述基于麦克风阵列或结合人脸识别与声纹识别发言人方位的步骤还包括：通过声音源分离和/或声音降噪去除发言人声音以外的其他声音。
9.根据权利要求3-6中任一项所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述位置换算关系通过预先测量两摄像头之间的距离以及两摄像头分别与参会者位置之间的距离计算获得。
10.一种利用双目摄像头对发言人追踪拍摄的系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.一种利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述双目摄像头包括全景摄像头和特写摄像头；所述方法包括：
2.根据权利要求1所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述麦克风阵列与所述全景摄像头的位置固定。
3.根据权利要求1所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述麦克风阵列包括至少两个麦克风；所述基于麦克风阵列识别发言人方位的步骤具体包括：
4.根据权利要求1所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述基于结合人脸识别以及声纹识别发言人方位的步骤具体包括：
5.根据权利要求3所述利用双目摄像头对发言人追踪拍摄的方法，其特征在于，所述特写摄像头根据所述转动角度完成转动，并对所述发言人进行特写拍摄的步骤具体包括：
6.根据权利要求4所述利用双目摄像头对发言人追踪拍摄...
【专利技术属性】
技术研发人员：刘建松，赵兴国，
申请(专利权)人：上海赛连信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。