一种基于移动机器人的视频会议实现方法及系统技术方案

本发明专利技术提供了一种基于移动机器人的视频会议实现方法及系统，所述方法包括：标定麦克风和摄像头的位置，标定环形镜片和激光雷达的位置和姿态，进行激光slam建图，获得会议室的点云分布地图，标识会议室的主要区域；确定发言人的位置，生成发言人的中轴线；根据发言人位置选择不同的处理逻辑；在点云地图中规划路径轨迹，向目标位置移动；根据移动机器人自身位置、姿态和发言人位置进行云台的调整拍摄；数据传输到智能会议管理。本发明专利技术依据参会人员中发言人的位置自动调整移动机器人位置，机器人上的摄像头能在固定摄像头无法独立获取完整发言人正面视角的时候，自行移动到合适位置采集发言人正面视角信息，提高了视频会议的效率。

【技术实现步骤摘要】
一种基于移动机器人的视频会议实现方法及系统
本专利技术涉及移动机器人
，具体而言，涉及一种基于移动机器人的视频会议实现方法及系统。
技术介绍
现有的多人视频会议实现场景中，发言者的正面视角、发言人的特写镜头切换，是多人视频会议需要具备的功能，会给其他参会人员带来实实在在的会场氛围感受。在现有的方案中，通常是采用多摄像头来拍摄发言者特写镜头，但摄像头一般需要人工操控，浪费人力，效率低，而且当发言人所处位置，不在摄像头的理想拍摄范围时，无法达到特写镜头采集的效果。
技术实现思路
鉴于此，本专利技术的目的是提供一种基于移动机器人的视频会议实现方法，可以依据参会人员中，发言人的位置，自动调整机器人位置，机器人上拥有摄像头，能在固定摄像头无法独立获取完整发言人正面视角的时候，自行移动到合适位置，采集发言人正面视角信息。本专利技术提供一种基于移动机器人的视频会议实现方法，包括以下步骤：S1、在同一个坐标系下安装智能会议管理系统中所包含的各个组件，标定所述智能会议管理系统的麦克风和摄像头的位置，并标定环形镜片和激光雷达的位置和姿态，采用激光点云分割算法，进行激光slam建图工作，获得会议室的点云分布地图；优选地，使用A3_1点云数据完成获得会议室的点云分布地图；所述激光点云分割算法包括：A1：把安装好环形镜片和激光雷达的机器人放到一个空旷的房间内；A2：激光雷达开始工作，获得全部的点云数据，根据其特点，聚类为最远、普通、最近三类；A3：因硬件结构的特点，激光光束有三种分布模式，并分别获得以下处理结果：A3_1：激光光束照射到透明镜片上，激光直接穿透镜片，此时的激光点照射到墙面上，对应测距距离最远的点云数据，标记所述激光光束的角度信息；A3_2：激光束照射到反光镜上时，激光直接反射到地面，此时的激光点照射到地面上，对应测距距离普通的点云数据，标记所述激光束的角度信息；A3_3：激光光束没有进行A3_1、A3_2的两种情况，直接测量了激光雷达与环形镜片的距离，该点云距离最近，且数值固定，直接舍弃；S2、在点云地图中，标识会议室的主要区域；优选地，所述会议室的主要区域如办公桌、投影仪屏幕等；S3、根据发言人的讲话确定发言人的位置，生成发言人的中轴线；所述中轴线为以发言人位置为起点、以办公桌中心区域为终点的有向线段；所述确定发言人的位置解析方法如下：其中，Xa,Ya,Za,Xb,Yb,Zb,Xc,Yc,Zc,Xd,Yd,Zd,为麦克风abcd的坐标，Tba为声音到达麦克风b、a的时间差，Tca为声音到达麦克风c、a的时间差，Tda为声音到达麦克风d、a的时间差，V是声音的传播速度，x、y是最后的解算结果，即人员位置；S4、根据发言人位置选择不同的处理逻辑；S5、根据移动机器人的自身位置和最佳拍摄位置，在点云地图中规划路径轨迹，向目标位置移动；过程中，避障与防撞子模块保证设备与人员安全，使用A3_2中点云数据；S6、到达所述目标位置后，根据移动机器人自身位置、姿态和发言人位置，进行云台的调整，开始拍摄；优选地，在移动过程中，也可以根据机器人位置、姿态和发言人位置，进行云台的调整，进行拍摄；S7、数据传输到所述智能会议管理系统，流程结束。进一步地，所述S4步骤包括：4a：若智能会议管理的摄像头可直接采集到发言人的位置的正面视角，即特写镜头，直接选择该摄像头的图像数据，流程结束；4b：若智能会议管理的摄像头没有合适的摄像头采集发言人的位置的正面视角，则选择移动机器人上的摄像头，智能会议管理通过第二通信与移动机器人建立连接，并发送指令，指令内容为发言人位置和最佳拍摄位置；优选地，最佳拍摄角度为发言人对面、以办公桌为对称轴对称的位置。进一步地，所述S3步骤中所述发言人位置可由会议焦点进行等效替换，通过摄像头采集，图像采集处理获取会议人员信息，分析判断出当前参会人员的人脸朝向，根据多个参会人员的人脸朝向，延长并拟合出一个焦点，该焦点作为会议焦点。进一步地，当所述会议焦点处于会议室外时，移动机器人拍摄PPT位置；当所述会议焦点在参会人员中间时，移动机器人拍摄该位置；当所述会议焦点处于会议室外时，优选地，认为参会人员正在观看PPT（或类似行为），移动机器人拍摄PPT位置；当所述会议焦点在参会人员中间时，优选地，认为参会人员在观看发言人发言或展示的物品，移动机器人拍摄该位置。本专利技术还提供如上述所述的视频会议实现方法的实现系统，包括：标定模块：用于在同一个坐标系下安装智能会议管理系统中所包含的各个组件，标定麦克风和摄像头的位置；标定环形镜片和激光雷达的位置和姿态；采用激光点云分割算法，进行激光slam建图工作，获得会议室的点云分布地图；用于在点云地图中，标识会议室的主要区域；路径规划与移动模块：用于根据机器人自身位置和最佳拍摄位置，在点云地图中规划路径轨迹，向目标位置移动；机器人模块：用于到达所述目标位置后，根据自身位置、姿态和发言人位置，进行云台的调整，开始拍摄；声纹定位模块：根据发言人的讲话确定发言人的位置，生成发言人的中轴线；会议管理模块：根据发言人位置选择不同的处理逻辑；数据传输模块：用于将数据传输到智能会议管理系统。进一步地，所述标定模块包括传感器和定位解算单元；其中，所述传感器，包括激光雷达；所述激光雷达还可用于避障和防撞子模块；所述定位解算单元，根据所选传感器，选择不同的算法，解算最终位置。进一步地，所述声纹定位模块包括同步器、多个麦克风、运算单元，通过采集发言人的声音到达时间，获取发言人位置；所述同步器，生成同步信号，用于统一多个麦克风的时间基准；所述多个麦克风，用于采集声音信号，并获取信号的到达时间；所述运算单元，根据麦克风采集的声音信号的到达时间，计算发言人位置。进一步地，所述机器人模块还包括避障和防撞子模块、视频采集与追踪子模块以及第一通信子模块；所述视频采集与追踪子模块，包括摄像头、云台；其中，摄像头用于采集图像信息，云台用于转动摄像头，追踪会议焦点；所述第一通信子模块是无线通信设备，用于与第二通信子模块通信，并传输数据和命令；所述避障和防撞子模块包括激光雷达、环形镜片、气体防撞检测器；其中，所述环形镜片用于把激光雷达的激光线条，反射到其他角度，用于测量激光雷达平面外的部分；所述气体防撞检测器包括气体包和气压传感器，其中所述气体包分布在机器人表面，内部充填气体；所述气压传感器位于气体包内部，用于测量气体压强。当机器人发生碰撞时，气体包会受到压缩，气压传感器检测压力发生变化，触发防撞效果。进一步地，所述智能会议管理系统包括图像采集处理子模块以及所述第二通信子模块；所述图像采集处理子模块，包括会议焦点判定单元，用于处理图像信息提取会议的焦点本文档来自技高网...

【技术保护点】
1.一种基于移动机器人的视频会议实现方法，其特征在于，包括以下步骤：/nS1、在同一个坐标系下安装智能会议管理系统中所包含的各个组件，标定所述智能会议管理系统的麦克风和摄像头的位置，并标定环形镜片和激光雷达的位置和姿态，采用激光点云分割算法，进行激光slam建图工作，获得会议室的点云分布地图；/n所述激光点云分割算法包括：/nA1：把安装好环形镜片和激光雷达的机器人放到一个空旷的房间内；/nA2：激光雷达开始工作，获得全部的点云数据，根据其特点，聚类为最远、普通、最近三类；/nA3：因硬件结构的特点，激光光束有三种分布模式，并分别获得以下处理结果：/nA3_1：激光光束照射到透明镜片上，激光直接穿透镜片，此时的激光点照射到墙面上，对应测距距离最远的点云数据，标记所述激光光束的角度信息；/nA3_2：激光束照射到反光镜上时，激光直接反射到地面，此时的激光点照射到地面上，对应测距距离普通的点云数据，标记所述激光束的角度信息；/nA3_3：激光光束没有进行A3_1、A3_2的两种情况，直接测量了激光雷达与环形镜片的距离，该点云距离最近，且数值固定，直接舍弃；/nS2、在点云地图中，标识会议室的主要区域；/nS3、根据发言人的讲话确定发言人的位置，生成发言人的中轴线；/n所述中轴线为以发言人位置为起点、以办公桌中心区域为终点的有向线段；/n所述确定发言人的位置解析方法如下：/n...

【技术特征摘要】
1.一种基于移动机器人的视频会议实现方法，其特征在于，包括以下步骤：
S1、在同一个坐标系下安装智能会议管理系统中所包含的各个组件，标定所述智能会议管理系统的麦克风和摄像头的位置，并标定环形镜片和激光雷达的位置和姿态，采用激光点云分割算法，进行激光slam建图工作，获得会议室的点云分布地图；
所述激光点云分割算法包括：
A1：把安装好环形镜片和激光雷达的机器人放到一个空旷的房间内；
A2：激光雷达开始工作，获得全部的点云数据，根据其特点，聚类为最远、普通、最近三类；
A3：因硬件结构的特点，激光光束有三种分布模式，并分别获得以下处理结果：
A3_1：激光光束照射到透明镜片上，激光直接穿透镜片，此时的激光点照射到墙面上，对应测距距离最远的点云数据，标记所述激光光束的角度信息；
A3_2：激光束照射到反光镜上时，激光直接反射到地面，此时的激光点照射到地面上，对应测距距离普通的点云数据，标记所述激光束的角度信息；
A3_3：激光光束没有进行A3_1、A3_2的两种情况，直接测量了激光雷达与环形镜片的距离，该点云距离最近，且数值固定，直接舍弃；
S2、在点云地图中，标识会议室的主要区域；
S3、根据发言人的讲话确定发言人的位置，生成发言人的中轴线；
所述中轴线为以发言人位置为起点、以办公桌中心区域为终点的有向线段；
所述确定发言人的位置解析方法如下：



其中，Xa,Ya,Za,Xb,Yb,Zb,Xc,Yc,Zc,Xd,Yd,Zd为麦克风abcd的坐标，Tba为声音到达麦克风b、a的时间差，Tca为声音到达麦克风c、a的时间差，Tda为声音到达麦克风d、a的时间差，V是声音的传播速度，x、y是最后的解算结果，即人员位置；
S4、根据发言人位置选择不同的处理逻辑；
S5、根据移动机器人的自身位置和最佳拍摄位置，在点云地图中规划路径轨迹，向目标位置移动；
S6、到达所述目标位置后，根据移动机器人自身位置、姿态和发言人位置，进行云台的调整，开始拍摄；
S7、数据传输到所述智能会议管理系统，流程结束。


2.根据权利要求1所述的视频会议实现方法，其特征在于，所述S4步骤包括：
4a：若智能会议管理的摄像头可直接采集到发言人的位置的正面视角，即特写镜头，直接选择该摄像头的图像数据，流程结束；
4b：若智能会议管理的摄像头没有合适的摄像头采集发言人的位置的正面视角，则选择移动机器人上的摄像头，智能会议管理通过第二通信与移动机器人建立连接，并发送指令，指令内容为发言人位置和最佳拍摄位置。


3.根据权利要求1所述的视频会议实现方法，其特征在于，所述S3步骤中所述发言人位置可由会议焦点进行等效替换，通过摄像头采集，图像采集处理获取会议人员信息，分析判断出当前参会人员的人脸朝向，根据多个参会人员的人脸朝向，延长并拟合出一个焦点，该焦点作为会议焦点。


4.根据权利要求3所述的视频会议实现方法，其特征在于，当所述会议焦点处于会议室外时，移动机器人拍摄PPT位置；当所述会议焦点...

【专利技术属性】
技术研发人员：焦显伟，孟夏冰，
申请(专利权)人：北京电信易通信息技术股份有限公司，
类型：发明
国别省市：北京;11