一种融合全景的教师自动跟踪方法及系统技术方案

本发明专利技术提供一种融合全景的教师自动跟踪方法及系统，所述方法包括以下步骤：采集目标区域内的图像或视频数据；选取有重叠部分的画面，提取特征点并生成特征描述因子；计算得出变换矩阵数学模型，进行画面配准；将所有画面拼接融合形成全景画面；建立背景模型，寻找移动物体，分割出目标帧中的人像区域；提取生成特征因子值，与预设特征因子值进行对比匹配，判定教师角色；跟踪教师定位；输出目标区域的图像数据或视频数据流。本发明专利技术提高了输出画面的区间范围和像素质量；能够有效侦测移动物体，实现对教师教学活动的全流程的跟踪；通过人物判定和跟踪过滤教学中的外部干扰，相当于专业摄像师手工操作多机位摄像的效果，大幅节约设备和人力成本。约设备和人力成本。约设备和人力成本。

【技术实现步骤摘要】
一种融合全景的教师自动跟踪方法及系统


[0001]本专利技术涉及教学辅助
，具体而言，涉及一种融合全景的教师自动跟踪方法及系统。

技术介绍

[0002]现阶段的教学仍是以线下教室场景和实体课本教材为主。然而，随着我国数字化进程的推进和时代发展需要，教学的知识量越来越大，时间规划、空间容量和通勤距离上等诸多方面的限制，日益成为面对面教学的难题。
[0003]目前，基于摄像技术的云课堂渐已成为部分人群的主流选择。然而，现有市场上的教学摄制存在诸多短板，比如：固定摄像头导致画面布局和教师移动范围受限，画面质量不佳和关键信息无法捕捉，实时摄制过程中存在外部干扰等。
[0004]虽然有些学校可采用多机位的摄影，由摄像师人工进行位置修正和干扰过滤，但是这种方式会增加设备和人力成本，同时也会干扰教师上课的思路以及教学的流畅性。

技术实现思路

[0005]鉴于此，本专利技术的第一目的在于通过全景拼接融合技术，提高输出的目标区域画面的实际有效分辨率；
[0006]本专利技术的第二目的在于实现对教师角色的关系判定和自动跟踪，最终达到教师移动区域内教学画面的裁切和实时高清输出。
[0007]本专利技术提供一种融合全景的教师自动跟踪方法，包括以下步骤：
[0008]S1、部署多台高清摄像机至教室空间内目标区域相对应的位置，采集目标区域内的图像或视频数据，并将所述图像或视频数据中的多幅画面输出至画面提取模块；
[0009]S2、选取所述多幅画面中有重叠部分的两张画面，提取每个画面中的特征点并生成特征描述因子；
[0010]S3、依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型，根据所述变换矩阵数学模型对有重叠部分的两张画面进行配准；
[0011]若存在有重叠部分的第三张或者更多画面，则依次重复进行S2
‑‑
S3步骤；
[0012]S4、将经变换配准后的所有画面进行拼接融合，形成全景画面，将所述全景画面输出至人物侦测模块；
[0013]根据所述变换矩阵数学模型进行有重叠部分的第一张画面和第二张画面之间的变换配准，为拼接提供同一视角的两张图像，将变换配准后的第一张画面和第二张画面进行拼接融合得到拼接图像；如有更多图片，则重复上述步骤；
[0014]S5、对输入的全景画面建立背景模型，寻找移动物体，提取出目标帧画面，并分割出目标帧画面中的人像区域；
[0015]S6、提取所述人像区域中人体与讲台、黑板间的综合滞留时间及行为特征，生成特
征因子值；
[0016]S7、将实际提取生成的特征因子值与预设的特征因子值进行对比匹配，基于特征因子匹配进行身份识别，判定教师角色，如匹配通过，则确认角色，进入S8步骤；
[0017]如匹配不通过，则否认角色，重复S6—S7步骤；
[0018]S8、对教师定位进行追踪，当教师移动距离高于阀值时，画面中央区域同步移动一个对应的固定距离；
[0019]若失去教师定位，则重复S5
‑‑
S8步骤；
[0020]S9、输出目标区域的图像数据或视频数据流。
[0021]进一步地，所述S2步骤的提取画面中的特征点并生成特征描述因子的方法包括：
[0022]首先，对待拼接的画面进行预处理，从图像变换考虑，包括畸变、几何校正、缩放等；从光照角度考虑，包括亮度、对比度等的处理；从色彩与细节考虑，包括噪声、清晰度等的处理；此外特殊处理有遮挡、变形等。
[0023]在实际操作过程中，针对性地进行图像处理有助于提升后续配准算法的精度。
[0024]利用AKAZE算法(局部特征匹配算法)，通过图像灰度的扩散构建每张图像的非线性尺度空间；基于每张图像的非线性尺度空间提取每张图像的特征点；将每张图像分成多个网格单元，获取每张图像的特征点所在的网格单元内的特征以生成该特征点的特征描述因子；
[0025]利用AKAZE算法提取的特征点具备光照不变性、尺度不变性、旋转不变性和视觉变化鲁棒性。
[0026]采用Hessian矩阵在每张图像的非线性尺度空间中进行特征点检测，构造非线性尺度空间内各像素位置的Hessian矩阵判别式，将每个像素位置的Hessian矩阵判别式与该像素位置的上下两层与当前层的3*n*n
‑
1个像素位置的Hessian矩阵判别式进行对比，若当前像素位置的Hessian矩阵判别式在周围邻域内为局部最大值，则判定为极值点，提取该像素位置作为特征点，其中n为≥3的奇数。
[0027]进一步地，所述S3步骤的依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型的方法包括以下步骤：
[0028]计算第一张画面和第二张画面之间的特征描述因子的欧式距离，得到每个特征点的最佳匹配特征点；选择距离最近的前m对特征点配对，m为≥2的自然数，m可根据需要设定；通过配对的特征点计算平移量以及旋转角度；
[0029]计算配对的特征点在x、y方向上的平移距离获取众数，得到平移量；选取众数对应配对的特征点中距离最近的两对配对的特征点，将选取的两对配对的特征点中在第一张画面中的两个特征点连线得到第一配对线，将选取的两对配对的特征点中在第二张画面中的两个特征点连线得到第二配对线，计算第一配对线和第二配对线的角度差异以得到旋转角度；基于平移量和旋转角度生成具有平移旋转的变换矩阵数学模型。
[0030]进一步地，所述S5步骤的建立背景模型，寻找移动物体的方法包括：
[0031]建立背景模型并生成运动遮罩，通过计算影像差值，对背景影像和摄影机影像做相减并取绝对值，然后生成柯西分布模型，将每个像素的影像差值分成背景和前景两个区域，将前景物件从背景影像分离出来，从而找到移动的物体。
[0032]进一步地，所述S5步骤的分割出目标帧画面中的人像区域的方法包括：
[0033]利用预先训练的人像分割模型对目标帧画面中的每个像素点进行卷积及池化操作，得到每一个像素点对应的低维特征表达；利用预设的映射函数将所述低维特征表达映射至预先构建的高维空间，得到低维特征表达的高维特征表达；利用预设的激活函数计算每个高维特征表达的输出值，并选取所述输出值大于预设输出阈值的高维特征表达对应的像素点为人像像素；分割出所述目标帧中所述人像像素的区域为人像区域。
[0034]进一步地，所述S7步骤的基于特征因子匹配进行身份识别，判定教师角色的方法包括：
[0035]将分割出的所述人像区域转换为灰度图像，对所述灰度图像进行色彩空间归一化，得到标准图像；将所述标准图像按照预设比例划分为多个图像块，计算每一个图像块中每个像素的像素梯度，根据所述像素梯度统计得到每一个图像块的梯度直方图；将所述梯度直方图转换为图向量，并计算所述图向量与预设多个动作向量之间的距离值，确定距离值最小的动作向量对应的动作为人像区域的动作特征，利用权重算法计算形态特征、动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合全景的教师自动跟踪方法，其特征在于，包括：S1、部署多台高清摄像机至教室空间内目标区域相对应的位置，采集目标区域内的图像或视频数据，并将所述图像或视频数据中的多幅画面输出至画面提取模块；S2、选取所述多幅画面中有重叠部分的两张画面，提取每个画面中的特征点并生成特征描述因子；S3、依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型，根据所述变换矩阵数学模型对有重叠部分的两张画面进行配准；若存在有重叠部分的第三张或者更多画面，则依次重复进行S2
‑‑
S3步骤；S4、将经变换配准后的所有画面进行拼接融合，形成全景画面，将所述全景画面输出至人物侦测模块；S5、对输入的全景画面建立背景模型，寻找移动物体，提取出目标帧画面，并分割出目标帧画面中的人像区域；S6、提取所述人像区域中人体与讲台、黑板间的综合滞留时间及行为特征，生成特征因子值；S7、将实际提取生成的特征因子值与预设的特征因子值进行对比匹配，基于特征因子匹配进行身份识别，判定教师角色，如匹配通过，则确认角色，进入S8步骤；如匹配不通过，则否认角色，重复S6—S7步骤；S8、对教师定位进行追踪，当教师移动距离高于阀值时，画面中央区域同步移动一个对应的固定距离；若失去教师定位，则重复S5
‑‑
S8步骤；S9、输出目标区域的图像数据或视频数据流。2.根据权利要求1所述的融合全景的教师自动跟踪方法，其特征在于，所述S2步骤的提取画面中的特征点并生成特征描述因子的方法包括：利用AKAZE算法，通过图像灰度的扩散构建每张图像的非线性尺度空间；基于每张图像的非线性尺度空间提取每张图像的特征点；将每张图像分成多个网格单元，获取每张图像的特征点所在的网格单元内的特征以生成该特征点的特征描述因子；采用Hessian矩阵在每张图像的非线性尺度空间中进行特征点检测，构造非线性尺度空间内各像素位置的Hessian矩阵判别式，将每个像素位置的Hessian矩阵判别式与该像素位置的上下两层与当前层的3*n*n
‑
1个像素位置的Hessian矩阵判别式进行对比，若当前像素位置的Hessian矩阵判别式在周围邻域内为局部最大值，则判定为极值点，提取该像素位置作为特征点，其中n为≥3的奇数。3.根据权利要求1所述的融合全景的教师自动跟踪方法，其特征在于，所述S3步骤的依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型的方法包括以下步骤：计算第一张画面和第二张画面之间的特征描述因子的欧式距离，得到每个特征点的最佳匹配特征点；选择距离最近的前m对特征点配对，m为≥2的自然数，通过配对的特征点计算平移量以及旋转角度；计算配对的特征点在x、y方向上的平移距离获取众数，得到平移量；选取众数对应配对
的特征点中距离最近的两对配对的特征点，将选取的两对配对的特征点中在第一张画面中的两个特征点连线得到第一配对线，将选取的两对配对的特征点中在第二张画面中的两个特征点连线得到第二配对线，计算第一配对线和第二配对线的角度差异以得到旋转角度；基于平移量和旋转角度生成具有平移旋转的变换矩阵数学模型。4.根据权利要求1所述的融合全景的教师自动跟踪方法，其特征在于，所述S5步骤的建立背景模型，寻找移动物体的方法包括：建立背景模型并生成运动遮罩，通过计算影像差值，对背景影像和摄影机影像做相减并取绝对值，生成柯西分布模型，将每个像素的影像差值分成背景和前景两个区域，将前景物件从背景影像分离出来，从而找到移动的物体。5.根据权利要求1所述的融...

【专利技术属性】
技术研发人员：张新成，王毅，葛晓东，刘逸飞，
申请(专利权)人：上海金桥信息科技有限公司，
类型：发明
国别省市：