【技术实现步骤摘要】
本专利技术涉及化工教培，具体是指一种用于化工教培的增强现实教学改进方法及系统。
技术介绍
1、冷模实验是在没有化学反应的条件下研究装置的传递规律的化工实验，在冷模实验教培中常常涉及到高温、低温和其他潜在的危险条件，一般的冷模实验教学面对多种类型的实验时，需要耗费大量的材料和昂贵的设备，且实验过程复杂、操作灵活性差，学生需要多次重复才能熟练掌握实验技能、适应多种不同的实验环境；传统的冷模实验教学在使用实验设备时需要频繁地调整和精准地操作，操作不当时很容易发生意外事故，且在不熟悉实验反应机理时接触危险物质存在极大的安全风险问题。
技术实现思路
1、针对上述情况，为克服现有技术的缺陷，本专利技术提供了一种用于化工教培的增强现实教学改进方法及系统，针对一般的冷模实验教学面对多种类型的实验时，需要耗费大量的材料和昂贵的设备，且实验过程复杂、操作灵活性差，学生需要多次重复才能熟练掌握实验技能、适应多种不同的实验环境的问题，本方案使用增强现实跟踪注册技术匹配三维虚拟模型和实际场景，使用fast边缘检测算法和brief算法进行实际场景图像特征点的提取和描述，采用epnp算法解算相机位姿，有效提高了实际场景和虚拟场景匹配的准确性，增强了各种冷模实验需求的适应度，实现了对实际场景的精准感知；针对传统的冷模实验教学在使用实验设备时需要频繁地调整和精准地操作，操作不当时很容易发生意外事故，且在不熟悉实验反应机理时接触危险物质存在极大的安全风险问题，本方案构建lstm模型提取手势图像的时空特征，实现了冷模实
2、本专利技术采用的技术方案如下：本专利技术提供的一种用于化工教培的增强现实教学改进方法，该方法包括以下步骤：
3、步骤s1：实验设计，创建冷模实验的三维虚拟模型，包括实验场景、实验设备、实验材料，获得三维虚拟模型图像，设计冷模实验程序，包括冷模实验流程、设备操作方法和反应机理程序；
4、步骤s2：跟踪注册，通过相机和传感器获得实际场景的实时数据，包括用户的位置、头部角度、运动情况，按照用户的视场将三维虚拟模型和实际场景匹配；
5、步骤s3：手势检测，构建lstm模型提取手势图像的空间特征，建立手势识别网络提取手势图像的特征并识别手势；
6、步骤s4：交互设计，创建冷模实验环境，定义用户与冷模实验环境的互动场景，根据冷模实验互动场景需求设计与手势相关的交互动作，确定手势的含义和相应的操作，评估用户的实验行为并提供个性化的指导。
7、进一步地，在步骤s2中，所述跟踪注册，具体包括以下步骤：
8、步骤s21：图像获取，使用相机拍摄实际场景不同视角下的图像，获得实际场景图像，读取三维虚拟模型图像，实际场景图像和三维虚拟模型图像组成实验图像；
9、步骤s22：特征提取，使用fast边缘检测算法检测实验图像中的角点作为特征点，步骤如下：
10、步骤s221：选择中心像素点，在每张实验图像中选取一个灰度值较大的像素点作为中心像素点；
11、步骤s222：构建圆周，在中心像素点圆周上选择均匀分布的16个像素点，所用公式如下：
12、；
13、式中，和表示中心像素点的横、纵坐标，和表示圆周上第个像素点的横、纵坐标，表示圆周的半径；
14、步骤s223：阈值判断，设定灰度阈值判断中心像素点与周围像素点之间的灰度差异，如果有连续12个像素点的灰度值与中心像素点的灰度值差值超过灰度阈值，则中心像素点为特征点，所用公式如下：
15、；
16、式中，表示像素点的灰度值，表示中心像素点的灰度值，为灰度阈值；
17、步骤s224：非极大值抑制，对检测到的特征点进行非极大值抑制，消除冗余特征点，保留灰度值最大的特征点；
18、步骤s23：特征描述，对特征点使用brief算法生成特征点描述符，步骤如下：
19、步骤s231：选取测试点对，在特征点周围随机选择一个测试点，特征点和测试点构成一组测试点对，选择多组测试点对用于生成特征点描述符；
20、步骤s232：计算像素差异，计算每组测试点对的像素差异，所用公式如下：
21、；
22、式中，表示像素差异，为特征点，为测试点；
23、步骤s233：生成描述符，将特征点的所有测试点对生成的二进制位串联在一起，生成特征点描述符，所用公式如下：
24、<mi>d=[</mi><msub><mi>d</mi><mn>1</mn></msub><mi>,</mi><msub><mi>d</mi><mn>2</mn></msub><mi>,…,</mi><msub><mi>d</mi><mi>n</mi></msub><mi>]</mi>；
25、式中，为特征点描述符；
26、步骤s24：特征匹配，定义实际场景图像中的特征点为2d特征点，三维虚拟模型图像中的特征点为3d特征点，计算2d特征点描述符与3d特征点描述符的汉明距离，设定汉明距离阈值，将小于汉明距离阈值的2d特征点和3d特征点定义为2d-3d特征点对，所用公式如下：
27、；
28、式中，表示汉明距离，表示实际场景图像中的特征点描述符，表示三维虚拟模型图像中的特征点描述符，表示计算描述符中值为1的位数，表示汉明距离阈值；
29、步骤s25：相机位姿解算，根据特征匹配的结果使用epnp算法解算相机的位姿，步骤如下：
30、步骤s251：选择匹配特征点对，选择一组2d-3d特征点对；
31、步骤s252：定义相机内参矩阵，所用公式如下：
32、；
33、式中，表示相机内参矩阵，和分别表示实验图像水平和垂直方向上的焦距，和表示实验图像光学中心的横、纵坐标；
34、步骤s253：归一化坐标，根据相机内参矩阵将2d-3d特征点对的坐标转换为相机坐标系下的归一化坐标，所用公式如下：
35、；
36、；
37、式中，和分别表示3d特征点和2d特征点的初始坐标，和分别表示3d特征点和2d特征点的在相机坐标系下的坐标，表示相机内参矩阵的逆矩阵，表示3d特征点的三维坐标，表示2d特征点的二维坐标；
38、步骤s254：建立线性方程组，构建相机信息矩阵和相机变换矩阵并建立线性方程组，相机信息矩阵包含本文档来自技高网...
【技术保护点】
1.一种用于化工教培的增强现实教学改进方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤S2中，所述跟踪注册，包括以下步骤：
3.根据权利要求2所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤S22中，所述特征提取，包括以下步骤：
4.根据权利要求3所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤S23中，所述特征描述，包括以下步骤：
5.根据权利要求4所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤S25中，所述相机位姿解算，包括以下步骤：
6.根据权利要求5所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤S3中，所述手势检测，包括以下步骤：
7.根据权利要求6所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤S33中，所述时空特征提取，包括以下步骤：
8.根据权利要求7所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤S34中，所述
9.一种用于化工教培的增强现实教学改进系统，用于实现如权利要求1-8中任一项所述的一种用于化工教培的增强现实教学改进方法，其特征在于：包括实验设计模块、跟踪注册模块、手势检测模块和交互设计模块；
...【技术特征摘要】
1.一种用于化工教培的增强现实教学改进方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤s2中，所述跟踪注册，包括以下步骤：
3.根据权利要求2所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤s22中，所述特征提取，包括以下步骤：
4.根据权利要求3所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤s23中，所述特征描述，包括以下步骤：
5.根据权利要求4所述的一种用于化工教培的增强现实教学改进方法，其特征在于：在步骤s25中，所述相机位姿解算，包括以下步骤：...
【专利技术属性】
技术研发人员：张文，姜朝露，赵和伟，常冰，
申请(专利权)人：北京思路智园科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。