一种基于多台Kinect的教室上课辅助系统技术方案

本发明专利技术适用于教室上课辅助系统技术领域，提供了一种基于多台Kinect的教室上课辅助系统，包括电脑终端，还包括：多台Kinect设备，用于获取多张深度图；融合模块，用于将多张深度图融合成一张教室深度图；分割模块，用于分割出每个学生位置的深度图；行为预设模板，用于统计学生行为；模式匹配模块，用于将每个学生的深度图与行为预设模板进行比较。本发明专利技术基于多台Kinect3D点云融合技术，能够获取整间教室的深度图，通过该深度图标记出来座位信息和学生位置信息；通过分析每个学生的深度图，提取出：坐正听讲，趴着，起立，举手，缺席，低头行为。低头行为。低头行为。

【技术实现步骤摘要】
一种基于多台Kinect的教室上课辅助系统


[0001]本专利技术属于教室上课辅助系统
，尤其涉及一种基于多台Kinect的教室上课辅助系统。

技术介绍

[0002]现在学校的教室大多采用辅助设备，为了更好得对学生行为进行管理。
[0003]当前的辅助设备大多是基于摄像头的图像数据识别，这种方式应用到教室环境下，容易出现画面遮挡、远处图像不清晰问题，造成识别精确度的下降。为此我们提出一种基于多台Kinect的教室上课辅助系统。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种基于多台Kinect的教室上课辅助系统，旨在解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种基于多台Kinect的教室上课辅助系统，包括电脑终端，还包括：
[0007]多台Kinect设备，用于获取多张深度图；
[0008]融合模块，用于将多张深度图融合成一张教室深度图；
[0009]分割模块，用于分割出每个学生位置的深度图；
[0010]行为预设模板，用于统计学生行为；
[0011]模式匹配模块，用于将每个学生的深度图与行为预设模板进行比较。
[0012]进一步的，所述深度图用于标记座位信息和学生位置信息。
[0013]进一步的，所述行为预设模板包括坐正听讲、趴、起立、举手、缺席和低头行为。
[0014]进一步的，所述模式匹配模块包括AI识别模型，所述AI识别模型用于配合深度图对学生行为进行分析。
[0015]进一步的，多台所述Kinect设备与电脑终端连接。
[0016]进一步的，所述Kinect设备通过多Kinect融合算法获取深度图。
[0017]进一步的，所述多Kinect融合算法包括以下步骤：
[0018]S1：通过点云的3D(x
i
，y
i
，z
i
)点获取在2du
i
＝(u
i
.v
i
)平面上的投影，计算出内参；
[0019][0020]其中，h＝[α，β，γ，u0，v0]T，α和β是水平和垂直焦距，γ是偏斜，(u0，v0)表示相机的主点位；
[0021]S2：所述S1中A
i
用如下方程表示：
[0022][0023][0024][0025]其中，(δ
u
，δ
v
)是对图像坐标(ud，vd)中呈现的径向透镜畸变的校正，r
d2
＝u
2d
+v
2d
，项k1、k2和k3表示工具估计的径向畸变系数；
[0026]S3：切向畸变可以通过如下公式来矫正：
[0027][0028][0029]其中，r是此点与成像中心之间的距离。
[0030]与现有技术相比，本专利技术的有益效果是：
[0031]该基于多台Kinect的教室上课辅助系统，基于多台Kinect 3D点云融合技术，能够获取整间教室的深度图，通过该深度图标记出来座位信息和学生位置信息；通过分析每个学生的深度图，提取出：坐正听讲，趴着，起立，举手，缺席，低头行为。
附图说明
[0032]图1为基于多台Kinect的教室上课辅助系统的结构示意图。
[0033]图2为基于多台Kinect的教室上课辅助系统的流程图。
具体实施方式
[0034]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0035]以下结合具体实施例对本专利技术的具体实现进行详细描述。
[0036]如图1和图2所示，为本专利技术一个实施例提供的一种基于多台Kinect的教室上课辅助系统，包括电脑终端，还包括：
[0037]多台Kinect设备，用于获取多张深度图；
[0038]融合模块，用于将多张深度图融合成一张教室深度图；
[0039]分割模块，用于分割出每个学生位置的深度图；
[0040]行为预设模板，用于统计学生行为；
[0041]模式匹配模块，用于将每个学生的深度图与行为预设模板进行比较。
[0042]在本专利技术实施例中，将电脑终端与多台Kinect设备连接，分别获取深度图；融合模块通过每台Kinect的定位信息，把多张深度图做融合，融合成一张教室深度图；根据学生配置信息，分割出每个学生位置的深度图；把每个学生的深度图放到模式匹配模块处理，通过比较每种行为的预设模板，计算出每种行为的匹配率；提取出匹配率最高的行为。
[0043]如图1和图2所示，作为本专利技术的一种优选实施例，所述深度图用于标记座位信息和学生位置信息。
[0044]在本专利技术实施例中，优选的，每台Kinect都能获取到定位信息，得到各自的深度图，利用Kinect融合算法将多张深度图融合成一张教室深度图，便于根据每个学生的配置信息，将每个学生的深度图分割出来。
[0045]如图1和图2所示，作为本专利技术的一种优选实施例，所述行为预设模板包括坐正听讲、趴、起立、举手、缺席和低头行为。
[0046]在本专利技术实施例中，优选的，在行为预设模板内将坐正听讲、趴、起立、举手、缺席和低头行为的数据输入进去，便于后续与每个学生的深度图进行对比。
[0047]如图1和图2所示，作为本专利技术的一种优选实施例，所述模式匹配模块包括AI识别模型，所述AI识别模型用于配合深度图对学生行为进行分析。
[0048]在本专利技术实施例中，优选的，AI识别模型将每个学生的深度图与行为预设模块内的行为数据进行对比，计算出每种行为的匹配率，提取出匹配率最高的行为。
[0049]如图1和图2所示，作为本专利技术的一种优选实施例，多台所述Kinect设备与电脑终端连接。
[0050]在本专利技术实施例中，优选的，本专利技术设置三台Kinect设备，Kinect设备与电脑终端连接，教师能够通过电脑观测到学生行为。
[0051]如图1和图2所示，作为本专利技术的一种优选实施例，所述Kinect设备通过多Kinect融合算法获取融合深度图。
[0052]在本专利技术实施例中，多Kinect融合算法设于融合模块内，通过利用多Kinect融合算法能够将多张深度图融合成一张深度图。
[0053]如图1和图2所示，作为本专利技术的一种优选实施例，所述多Kinect融合算法包括以下步骤：
[0054]S1：通过点云的3D(x
i
，y
i
，z
i
)点获取在2du
i
＝(u
i
.v
i
)平面上的投影，计算出内参；
[0055][0056]其中，h＝[α，β，γ，u0，v0]T，α和β是水平和垂直焦距本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多台Kinect的教室上课辅助系统，包括电脑终端，其特征在于，还包括：多台Kinect设备，用于获取多张深度图；融合模块，用于将多张深度图融合成一张教室深度图；分割模块，用于分割出每个学生位置的深度图；行为预设模板，用于统计学生行为；模式匹配模块，用于将每个学生的深度图与行为预设模板进行比较。2.根据权利要求1所述的基于多台Kinect的教室上课辅助系统，其特征在于，所述深度图用于标记座位信息和学生位置信息。3.根据权利要求1所述的基于多台Kinect的教室上课辅助系统，其特征在于，所述行为预设模板包括坐正听讲、趴、起立、举手、缺席和低头行为。4.根据权利要求2所述的基于多台Kinect的教室上课辅助系统，其特征在于，所述模式匹配模块包括AI识别模型，所述AI识别模型用于配合深度图对学生行为进行分析。5.根据权利要求1所述的基于多台Kinect的教室上课辅助系统，其特征在于，多台所述Kinect设备与电脑终端连接。6.根据权利要求5所述的基于多台Kinect的教室上课辅助系统，其特征在于，所述Kinect设备通过多Kinect融合算法获取深度图。7.根据权利要求6所述的基于多台Kin...

【专利技术属性】
技术研发人员：章逸，
申请(专利权)人：南昌师范学院，
类型：发明
国别省市：