一种通过导轨摄像头自动对正发言者面部的智能会议方法技术

本发明专利技术涉及视频会议领域，具体公开了一种通过导轨摄像头自动对正发言者面部的智能会议方法，包括建立会议桌以及导轨摄像头的虚拟模型，在虚拟模型上标注会议座位的位置坐标；识别发言者的会议座位，控制运动端向距离会议座位对应位置坐标最近的导轨位置运动，同时控制转向机构使摄像头始终朝向位置坐标；使用人脸检测算法识别摄像头中的人脸及其所在平面；计算人脸的中心坐标，控制转向机构带动摄像头朝向该中心坐标；控制导轨运动组件带动摄像头移动至垂直于该平面处

【技术实现步骤摘要】
一种通过导轨摄像头自动对正发言者面部的智能会议方法


[0001]本专利技术涉及视频会议领域，尤其涉及一种通过导轨摄像头自动对正发言者面部的智能会议方法
。

技术介绍

[0002]随着网络技术的发展，为实时视频通信与视频会议提供了可行性，相关的视频会议设备也逐渐完善，并向更高的分辨率
、
更低的传输延迟等设备与技术方面发展
。
现阶段为了提高视频会议的视频质量，采用的专业摄像设备像素与帧数越来越高，其设备成本也越来越昂贵
。
[0003]现有视频会议系统，由于摄像头的位置通常是固定的，导致拍摄的角度固定，摄像头不具备自动调整方位的功能，人物稍微移动身形或位置，便无法处于图像中央位置，导致与会发言者为了不偏离图像的中央，只能长时间坐直或站在正对摄像头的位置，发言者难以放松身体，增加参会的负担
。
同时，当摄像头不是每个与会座位都单独设置至少一个时，部分发言者在其座位上发言时将无法正对摄像头
。
常用的全景摄像头则只能拍摄到大部分与会者的侧面，侧身发言同样会增加发言者参会的负担
。
[0004]为解决上述问题，现有方案有采用多机位的方式对发言者进行拍摄，虽然增加了几个视觉角度，但是多个摄像设备成本极高，且图像间的切换以及摄像头对准的位置仍然不够灵活
。
并且，会议桌上多个人轮流发言时，如摄像头数量不足，则难以正对全部的发言者，为每个发言者的座位单独配置摄像设备，成本过于高昂
。
专利技术内容
[0005]为了克服现有的视频会议系统部分发言者在其座位上发言时无法正对摄像头，而设置多个摄像头成本又过高的问题，本专利技术提供一种通过导轨摄像头自动对正发言者面部的智能会议方法
。
[0006]本专利技术提供了一种通过导轨摄像头自动对正发言者面部的智能会议方法，其中所述导轨摄像头包括：转向机构
、
摄像头和导轨运动组件，所述导轨运动组件包括导轨和运动端，所述导轨固定在会议桌上，所述运动端与所述导轨滑动相连，所述摄像头通过所述转向机构转动设于所述运动端上；
[0007]通过导轨摄像头实现自动对正发言者面部的智能会议方法，包括步骤如下：
[0008]建立会议桌以及导轨摄像头的虚拟模型，在所述虚拟模型上标注会议座位的位置坐标；
[0009]识别发言者的会议座位，控制所述运动端向距离会议座位对应位置坐标最近的导轨位置运动，同时控制所述转向机构使所述摄像头始终朝向所述位置坐标；
[0010]使用人脸检测算法识别摄像头中的人脸；
[0011]计算人脸的中心坐标，并计算中心坐标相对于所述摄像头的位置关系依据位置关系控制转向机构带动所述摄像头朝向该中心坐标；
[0012]使用人脸检测算法识别摄像头中的人脸所在平面；
[0013]计算人脸的中心坐标相对于人脸所在平面的法向量，计算所述法向量所在竖直平面与导轨相交的导轨坐标，控制导轨运动组件带动摄像头移动至所述导轨坐标处
。
[0014]作为优选地，所述使用人脸检测算法识别摄像头中的人脸，具体为：
[0015]使用
python
编程语言和库连接所述摄像头并捕获视频流，获取视频流中的若干帧图像；
[0016]对于获取的每一帧图像，通过
Haar
分类器检测图像中是否存在人脸；
[0017]如是，在图像上使用级联分类器来确定图像中的人脸位置和大小；
[0018]否则，继续检测下一帧图像
。
[0019]优选地，所述在图像上使用级联分类器来确定图像中的人脸位置和大小，具体实现步骤如下：
[0020]将图像转换为灰度图：使用
OpenCV
的
cv2.cvtColor()
函数，将图像转换为灰度图像；
[0021]使用
Haar
分类器进行人脸检测：通过
detectMultiScale()
函数，使用
Haar
分类器在灰度图像上进行人脸位置的检测，
detectMultiScale()
函数返回一个包含检测到的人脸位置信息的矩形列表；
[0022]绘制人脸框：对于每个检测到的人脸位置，使用
OpenCV
的
cv2.rectangle()
函数在原始的图像上绘制一个矩形框作为人脸的位置和大小信息
。
[0023]优选地，所述识别发言者的会议座位，具体为：
[0024]在每一个会议座位相对的会议桌上，各设置一个发言按键；
[0025]当其中一个发言按键被触发时，识别该发言按键相对的会议座位为发言者所在的会议座位
。
[0026]优选地，所述导轨摄像头还包括全方向拾音麦克风，所述全方向拾音麦克风与所述运动端固定相连
。
[0027]优选地，所述识别发言者的会议座位，具体为：
[0028]采用声源定位算法，通过所述全方向拾音麦克风定位发言者相对于所述运动端的音源方向；
[0029]通过音源方向，以及当前所述运动端在虚拟模型中的位置，计算出发言者所在的会议座位
。
[0030]优选地，所述识别发言者的会议座位，具体为：
[0031]在会议室中固定设置至少一个全景摄像头，通过所述全景摄像头拍摄所有与会者的面部；
[0032]标记每一个全景摄像头在虚拟模型中的位置坐标；
[0033]通过人脸检测算法，识别出所述全景摄像头拍摄的图像中全部的与会者的面部；
[0034]通过口型识别智能算法，从与会者中识别出当前的发言人；
[0035]通过发言人在拍摄图像中的位置以及全景摄像头在虚拟模型中的位置坐标，计算出发言人所在的会议座位
。
[0036]优选地，还包括步骤如下：
[0037]当检测到运动端处于运动状态时，将视频会议的图像切换到全景摄像头拍摄的图
像
。
[0038]优选地，所述使用人脸检测算法识别摄像头中的人脸，还包括分步骤如下：
[0039]当识别到摄像头拍摄的图像中包含多个人脸时，依据摄像头所在虚拟模型中的位置，以及发言人所在会议座位，计算并判断发言人所对应的人脸
。
[0040]优选地，还包括步骤如下：
[0041]通过人脸识别算法识别发言者的人脸识别数据，通过人脸识别数据查询匹配的身份信息，并将身份信息显示在视频图像中
。
[0042]本专利技术的有益效果是：
[0043](1)
通过将摄像头设在的滑轨上，在会议桌表面上滑动，配合摄像头的转动，仅需一台摄像头即可使摄像头正对会议桌上任意一位与会者，从而使每一个会议桌上的与会者均能正对摄像头进行发言，又节约了多机位拍摄所需摄像设备的成本，也节约了人工移动摄像设备拍摄的人力投入与与会者面对摄像师时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种通过导轨摄像头自动对正发言者面部的智能会议方法，其特征在于，所述导轨摄像头包括：转向机构
、
摄像头和导轨运动组件，所述导轨运动组件包括导轨和运动端，所述导轨固定在会议桌上，所述运动端与所述导轨滑动相连，所述摄像头通过所述转向机构转动设于所述运动端上；通过导轨摄像头实现自动对正发言者面部的智能会议方法，包括步骤如下：建立会议桌以及导轨摄像头的虚拟模型，在所述虚拟模型上标注会议座位的位置坐标；识别发言者的会议座位，控制所述运动端向距离会议座位对应位置坐标最近的导轨位置运动，同时控制所述转向机构使所述摄像头始终朝向所述位置坐标；使用人脸检测算法识别摄像头中的人脸；计算人脸的中心坐标，并计算中心坐标相对于所述摄像头的位置关系，依据位置关系控制转向机构带动所述摄像头朝向该中心坐标；使用人脸检测算法识别摄像头中的人脸所在平面；计算人脸的中心坐标相对于人脸所在平面的法向量，计算所述法向量所在竖直平面与导轨相交的导轨坐标，控制导轨运动组件带动摄像头移动至所述导轨坐标处
。2.
根据权利要求1所述的一种通过导轨摄像头自动对正发言者面部的智能会议方法，其特征在于，所述使用人脸检测算法识别摄像头中的人脸，具体为：使用
python
编程语言和库连接所述摄像头并捕获视频流，获取视频流中的若干帧图像；对于获取的每一帧图像，通过
Haar
分类器检测图像中是否存在人脸；如是，在图像上使用级联分类器来确定图像中的人脸位置和大小；否则，继续检测下一帧图像
。3.
根据权利要求2所述的一种通过导轨摄像头自动对正发言者面部的智能会议方法，其特征在于，所述在图像上使用级联分类器来确定图像中的人脸位置和大小，具体实现步骤如下：将图像转换为灰度图：使用
OpenCV
的
cv2.cvtColor()
函数，将图像转换为灰度图像；使用
Haar
分类器进行人脸检测：通过
detectMultiScale()
函数，使用
Haar
分类器在灰度图像上进行人脸位置的检测，
detectMultiScale()
函数返回一个包含检测到的人脸位置信息的矩形列表；绘制人脸框：对于每个检测到的人脸位置，使用
OpenCV
的
cv2.rectangle()
...

【专利技术属性】
技术研发人员：曾泳豪，朱正辉，明德，余吉昌，池旺钊，区文焯，
申请(专利权)人：广东保伦电子股份有限公司，
类型：发明
国别省市：