未来教学空间场景建模与认知理解方法及系统技术方案

本发明专利技术提供了一种未来教学空间场景建模与认知理解方法及系统，包括：对教学空间分类并进行区域划分，定义空间及空间内典型物体；将物体以数据条码的形式录入知识库；教学助手机器人读取数据条码，识别物体并查验知识库信息，形成先验知识；识别物体，与条码读取结果进行效验，对异常样本进行重采样，并对识别模型进行参数调优，形成自学习反馈网络；综合对物体空间位置、外观识别，以及知识库先验知识，形成对空间内物体的全属性理解，并通过物体属性与空间功能之间的关联关系判定，实现对空间及区域的场景功能认知与理解；对教学空间进行三维重建、区域划分与识别结果标注。本发明专利技术为解析和重构教与学的关系，提升教学效果及学习效率提供技术方案。率提供技术方案。率提供技术方案。

【技术实现步骤摘要】
未来教学空间场景建模与认知理解方法及系统


[0001]本专利技术涉及智慧教育领域，具体地，涉及一种未来教学空间场景建模与认知理 解方法及系统。

技术介绍

[0002]专利文献CN109887096A(申请号：CN201910065870.X)公开了一种利用虚拟现 实技术的教育教学信息处理系统及其教学方法，包括：将教育教学系统布置在教室 中；通过实时三维建模系统对教师所在区域进行图像采集获得教师的实时三维模型 数据；结合讲课内容所对应的虚拟现实场景数据，实时地将教师的三维虚拟形象呈 现在虚拟现实的教学内容中；学生通过虚拟现实显示设备观看虚拟现实教学场景， 可同时观看虚拟现实教学内容和教师的实时三维虚拟形象，实现与虚拟现实场景中 的相应对象进行互动操作，通过教师在虚拟场景中的讲解，让学生体会到无法在现 实世界中观看和体验的内容，达到身临其境的教学效果。但是该专利技术中的建模没有 根据不同场景进行建模，数据不够精准。
[0003][0004][0005][0006]
技术实现思路

[0007]针对现有技术中的缺陷，本专利技术的目的是提供一种未来教学空间场景建模与认知 理解方法及系统。
[0008]根据本专利技术提供的一种未来教学空间场景建模与认知理解方法，包括：
[0009]步骤S1：对教学空间分类并进行区域划分，定义空间及空间内典型物体；
[0010]步骤S2：将空间内典型物体以数据条码的形式录入知识库；
[0011]步骤S3：教学助手机器人读取数据条码，识别物体ID并查验知识库信息，形成先 验知识；
[0012]步骤S4：教学助手机器人通过机器视觉识别物体，完成对目标的空间位置定位和外 观识别，并与条码读取结果进行效验，针对识别错误的样本进行重采样，并对识别模型 进行参数调优，形成自学习反馈网络，提升识别模型对空间物理环境的感知精度；
[0013]步骤S5：综合对物体空间位置、外观识别，以及知识库先验知识，形成空间内物体 的全属性理解，并通过物体属性与空间功能之间关联关系判定，实现对空间及区域的场 景功能认知与理解；
[0014]步骤S6：对教学空间进行三维重建、区域划分与识别结果标注，为教学助手机器人 执行教学任务提供空间标识。
[0015]优选地，在所述步骤S1中：
[0016]对未来教学物理空间进行分类，根据教学任务、室内功能区域划分，定义教学空间 与区域内的物体及附属教具、教学设备；
[0017]教学物理空间记为S
i
，分类包括基础学科教育空间S1、美育教育空间S2、体育教育 空间S3、心理教育空间S4、信息科技教育空间S5、学科实验室S6；
[0018]根据室内功能设计定位以及教学任务的开展形式，对教学空间进行区域拆分；基础 功能区域划分包括教师授课区域、学生学习操作区域、授课内容展示交互区域、教具与 设备陈列区域、公共区域；针对教学空间S
i
，根据教学任务及室内设计进行宏观的区域 划分，记为S
i
A
j
；针对教学空间S
i
，标记该区域内的核心物体及附属教具、教学设备为S
i
T
k
；
[0019]在所述步骤S2中：
[0020]录入信息包括物体ID、名称、型号、尺寸、用途、用法；
[0021]在所述步骤S3中：
[0022]教学助手机器人通过摄像头读取数据条码，识别物体ID并查验知识库信息，完成对 物体属性的初次认知，完成先验知识储备。
[0023]优选地，在所述步骤S4中：
[0024]对教学物理空间内的物体及附属教具、教学设备通过机器视觉算法，进行检测和识 别，并设置奖惩机制，形成自学习反馈网络，提升对空间物理环境的感知能力和精度：
[0025]利用目标检测与识别算法完成对教学空间与区域内物体、附属教具、教学设备的目 标定位和识别，并标记处目标位置及识别结果；将自动识别的结果与系统查验结果进行 校验；
[0026]如果识别结果与系统查验结果一致，系统标记为T，为正反馈；如果识别结果与系 统查验结果不一致，系统标记为F，并启动摄像头完成对物体多角度的图像采集，进行 归一化处理、数据标注后存储至图像样本库，并关联至该物体ID，针对重采样的样本数 据，划分训练集、验证集和测试集，提取异常图像样本特征并调整模型参数，进行局部 调优，提高对该类物体的识别率和算法的泛化能力，形成自学习反馈网络，提升教学助 手机器人对环境及典型物体的感知识别能力和识别精度。
[0027]优选地，在所述步骤S5中：
[0028]针对定义的教学空间内的隶属于该空间内的物体、教具、教学设备，设置空间与空 间内物体的关联规则，基于客观事实和经验认知，对物体、教具、教学设备数据项，以 个体项或组合项为基本单位，设置支持度、置信度，以及支持度、置信度的最低阈值； 支持度为数据项在该空间所有数量物体内出现的频率；置信度为A个体项存在的情况下， B个体项也存在的条件概率；
[0029]通过对教学空间内核心物体、教具、教学设备的识别及统计结果，计算个体项或组 合项的支持度与置信度，满足阈值范围要求的，视为与某类空间功能存在强关联关系；
[0030]每个物理教学空间为独立样本，根据对教学空间内物体、教具、教学设备的识别结 果，作为一条数据样本，建立数据集合；
[0031]对数据集合，运用关联规则算法，自动计算数据项之间的关联规则，并优化调整设 置的支持度、置信度最低阈值，形成自学习反馈网络，提高对物体属性与空间功能间关 联关系的认知能力。
[0032]优选地，在所述步骤S6中：
[0033]教学空间三维模型M的重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执 行的任务动态调整：
[0034]通过双目摄像头实现立体视觉，将教学AI助手放置在教室前方任一角落位置，保证 前方视角无遮挡，进行系统初始化定位和图像采集任务；
[0035]利用获取的初始帧图像I1与图像I2进行三维建模，形成教学空间的数字几何模型M；
[0036]利用特征算子对两张图像I1与I2进行图像特征点提取得到特征点矩阵；
[0037]使用k近邻算法计算最近邻匹配实现特征点间的匹配；
[0038]通过SFM算法迭代恢复摄像头的内外参数，并由三角化确定特征点的三维坐标，实 现稀疏重建；
[0039]通过光束法平差进行非线性优化，通过调整三维点的旋转平移矩阵及三维点信息使 得反向投影差最小，降低重建误差；
[0040]将教学空间按照功能区域进行语义分割，并注释各类教学空间的功能区域，标注后 的模型记为M
*
；
[0041]对教学物理空间内的物体及附属教具、教学设备的定位及识别结果，同步标注在M
*
中。
[0042]根据本专利技术提供的一种未来教学空间场景建模与认知理解系统，包括：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种未来教学空间场景建模与认知理解方法，其特征在于，包括：步骤S1：对教学空间分类并进行区域划分，定义空间及空间内典型物体；步骤S2：将空间内典型物体以数据条码的形式录入知识库；步骤S3：教学助手机器人读取数据条码，识别物体ID并查验知识库信息，形成先验知识；步骤S4：教学助手机器人通过机器视觉识别物体，完成对目标的空间位置定位和外观识别，并与条码读取结果进行效验，针对识别错误的样本进行重采样，并对识别模型进行参数调优，形成自学习反馈网络，提升识别模型对空间物理环境的感知精度；步骤S5：综合对物体空间位置、外观识别，以及知识库先验知识，形成空间内物体的全属性理解，并通过物体属性与空间功能之间关联关系判定，实现对空间及区域的场景功能认知与理解；步骤S6：对教学空间进行三维重建、区域划分与识别结果标注，为教学助手机器人执行教学任务提供空间标识。2.根据权利要求1所述的未来教学空间场景建模与认知理解方法，其特征在于：在所述步骤S1中：对未来教学物理空间进行分类，根据教学任务、室内功能区域划分，定义教学空间与区域内的物体及附属教具、教学设备；教学物理空间记为S
i
，分类包括基础学科教育空间S1、美育教育空间S2、体育教育空间S3、心理教育空间S4、信息科技教育空间S5、学科实验室S6；根据室内功能设计定位以及教学任务的开展形式，对教学空间进行区域拆分；基础功能区域划分包括教师授课区域、学生学习操作区域、授课内容展示交互区域、教具与设备陈列区域、公共区域；针对教学空间S
i
，根据教学任务及室内设计进行宏观的区域划分，记为S
i
A
j
；针对教学空间S
i
，标记该区域内的核心物体及附属教具、教学设备为S
i
T
k
；在所述步骤S2中：录入信息包括物体ID、名称、型号、尺寸、用途、用法；在所述步骤S3中：教学助手机器人通过摄像头读取数据条码，识别物体ID并查验知识库信息，完成对物体属性的初次认知，完成先验知识储备。3.根据权利要求1所述的未来教学空间场景建模与认知理解方法，其特征在于，在所述步骤S4中：对教学物理空间内的物体及附属教具、教学设备通过机器视觉算法，进行检测和识别，并设置奖惩机制，形成自学习反馈网络，提升对空间物理环境的感知能力和精度：利用目标检测与识别算法完成对教学空间与区域内物体、附属教具、教学设备的目标定位和识别，并标记处目标位置及识别结果；将自动识别的结果与系统查验结果进行校验；如果识别结果与系统查验结果一致，系统标记为T，为正反馈；如果识别结果与系统查验结果不一致，系统标记为F，并启动摄像头完成对物体多角度的图像采集，进行归一化处理、数据标注后存储至图像样本库，并关联至该物体ID，针对重采样的样本数据，划分训练集、验证集和测试集，提取异常图像样本特征并调整模型参数，进行局部调优，提高对该类物体的识别率和算法的泛化能力，形成自学习反馈网络，提升教学助手机器人对环境及典
型物体的感知识别能力和识别精度。4.根据权利要求1所述的未来教学空间场景建模与认知理解方法，其特征在于，在所述步骤S5中：针对定义的教学空间内的隶属于该空间内的物体、教具、教学设备，设置空间与空间内物体的关联规则，基于客观事实和经验认知，对物体、教具、教学设备数据项，以个体项或组合项为基本单位，设置支持度、置信度，以及支持度、置信度的最低阈值；支持度为数据项在该空间所有数量物体内出现的频率；置信度为A个体项存在的情况下，B个体项也存在的条件概率；通过对教学空间内核心物体、教具、教学设备的识别及统计结果，计算个体项或组合项的支持度与置信度，满足阈值范围要求的，视为与某类空间功能存在强关联关系；每个物理教学空间为独立样本，根据对教学空间内物体、教具、教学设备的识别结果，作为一条数据样本，建立数据集合；对数据集合，运用关联规则算法，自动计算数据项之间的关联规则，并优化调整设置的支持度、置信度最低阈值，形成自学习反馈网络，提高对物体属性与空间功能间关联关系的认知能力。5.根据权利要求1所述的未来教学空间场景建模与认知理解方法，其特征在于，在所述步骤S6中：教学空间三维模型M的重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执行的任务动态调整：通过双目摄像头实现立体视觉，将教学AI助手放置在教室前方任一角落位置，保证前方视角无遮挡，进行系统初始化定位和图像采集任务；利用获取的初始帧图像I1与图像I2进行三维建模，形成教学空间的数字几何模型M；利用特征算子对两张图像I1与I2进行图像特征点提取得到特征点矩阵；使用k近邻算法计算最近邻匹配实现特征点间的匹配；通过SFM算法迭代恢复摄像头的内外参数，并由三角化确定特征点的三维坐标，实现稀疏重建；通过光束法平差进行非线性优化，通过调整三维点的旋转平移矩阵及三维点信息使得反向投影差最小，降低重建误差；将教学空间按照功能区域进行语义分割，并注释各类教学空间的功能区域，标注后的模型记为M
*
；对教学物理空间内的物体及附属教具、教学设备的定位及识别结果，同步标注在M
*
中。6.一种未...

【专利技术属性】
技术研发人员：熊黎丽，李潇珂，韩鹏，袁明宏，刘勇，李国勇，任杰，
申请(专利权)人：重庆市科学技术研究院，
类型：发明
国别省市：