一种基于ARKit框架的增强现实版化学元素周期表的交互方法技术

本发明专利技术提出一种基于ARKit框架的增强现实版化学元素周期表的交互方法，包括：在移动设备上运行程序打开摄像头，识别当前场景，标识当前场景的平面，将虚拟的化学元素周期表放置到真实平面上方，可查看各元素的详细信息和用多种元素合成新的物质，同时可识别当前用户手部及指尖位置，与当前场景进行交互。本发明专利技术可用来辅助中学教学和加强学生对化学元素的认识，化学元素信息的生动展示和简单的交互使学习更具趣味。

【技术实现步骤摘要】
一种基于ARKit框架的增强现实版化学元素周期表的交互方法
本专利技术属于增强现实及图像处理
，具体涉及增强现实版化学元素周期表交互方法。
技术介绍
中学对化学的学习和教学过程中，对元素的认识还仅仅停留在书面上，初始学习阶段对元素的认识、原子结构模型和不同的原子如何结合形成新的分子进而组成现实生活中的物质没有深刻的认识，学习的过程将会变得缓慢且乏味；在教师的角度，对化学元素单纯讲解将会存在很多局限，对元素信息的单纯语言描述不够形象，同时这也将会导致学生的理解不够深刻。基于上述，提出一种增强现实版的化学元素周期表则成为本专利技术所面临的重大课题。
技术实现思路
本专利技术要解决的技术问题是：将基于视觉SLAM算法和IMU的增强现实化学元素周期表发布到移动端，设计化学元素周期表的模型和化学元素信息的展示方式，通过识别手部和指尖位置提供交互功能。本专利技术是采用以下的技术方案实现的：一种基于ARKit框架的增强现实版化学元素周期表的交互方法，其特征在于，包括如下步骤：步骤A、开启移动设备的摄像头识别当前场景，执行ARKit提供的SLAM算法接口识别出当前场景的平面并标识出来；步骤B、将虚拟的化学元素周期表模型叠加到当前视角的场景并绑定到平面上；步骤C、选择不同元素查看其详细的信息，选择元素周期表中不同的元素进行分子的合成；步骤D、识别出当前用户的手部信息并确定指尖位置，与当前的场景进行交互。进一步地，所述步骤D包括：步骤D1、使用OpenCV提供的颜色空间转换方法将当前的摄像头捕捉到的图像从RGB颜色空间转换到YCrCb颜色空间，在CrCb二维空间皮肤像素近似一个椭圆分布，通过判断像素点是否在椭圆内可以判断是否为皮肤的像素点，获得满足条件的手部轮廓区域，进而排除不满足条件的区域；步骤D2、根据步骤D1得到的满足要求的手部区域轮廓，计算轮廓的矩，确定指尖候选区域，构造相邻点的方向向量，在候选区域中确定曲率最高的点作为指尖的位置。进一步地，所述步骤A包括：运行SLAM算法对当前的场景进行识别，获取当前场景的点云信息，通过预先设定的阈值来获得当前视角下的属于平面的点云，并用带颜色的点标记出来，通过这些点确定一个平面。进一步地，所述步骤B化学元素周期表模型建模如下：步骤B1、设计一个元素的模型和整张元素周期表的生成算法逻辑，克隆出整张的元素周期表；步骤B2、收集所有化学元素的属性信息，设计信息存储的数据结构，将当前的所有信息与元素周期表的模型进行绑定。进一步地，所述步骤D1，将摄像头捕获到的图像从RGB空间转换到YCbCr色彩空间，具体的转换公式见如下公式:Y＝0.299R+0.587G+0.i114BU＝-0.147R-0.289G+0.436BV＝0.615R-0.515-0.100B其中，Y表示明亮度，U和V表示色度，分别对应Cb和Cr。进一步地，所述步骤D2，轮廓矩的计算采用如下公式所示：其中，I(x,y)为表示坐标(x,y)位置像素的大小，通过轮廓的矩找到手部轮廓的质心公式，如下所示：其中，C是最后求得的质心坐标，通过轮廓边缘点到质心的距离筛选出指尖的候选点，在候选点构造方向向量，通过计算方向向量的内积最后得出曲率最高的点，候选点处构造的向量和内积计算公式如下所示：Yi＝<[Pi，Pi-k]，[Pi，Pi+k]>其中，Pi为轮廓保留的指尖候选点，[Pi，Pi-k]为在Pi处构造的方向向量，Yi为Pi点处构造方向向量的内积，根据内积越小曲率越大，最后通过寻找最小的Yi会得出检测到指尖的位置Pi。与现有技术相比，本专利技术的优点和积极效果在于：基于ARKit框架的增强现实化学元素周期表更有利于学生对化学元素的自学和辅助老师的教学。增强现实版的化学元素周期表，一方面对元素的属性介绍更形象准确，不但给出当前选择元素的原子半径等属性信息还会给出原子模型，同时可以选择不同化学元素进行化学反应，同时给出进行化学反应后得到的分子模型以及存在该分子的现实生活中实际物质模型，使整个学习过程更生动形象，激发学习兴趣。另一方面，结合真实环境中出现的实体模型，讲解过程将会更容易，学习者认识也将会更直观。本专利技术技术上创新如下：第一，在Unity3D引擎上，设计化学元素周期表和交互逻辑，并基于ARKit框架将应用发布到移动端，具有方便使用的优点；第二，将手部识别和指尖检测引入到增强现实应用的交互当中，使得交互更加自然流畅，同时，使当前应用的扩展性更强，便于后续应用内容的扩充。附图说明图1为本专利技术实施例流程图；图2为使用ARKit的架构图；图3为皮肤椭圆模型模拟图。具体实施方式本专利技术的设计过程简述如下：增强现实版的化学元素周期表如果想要设计的更灵活方便些，需要抛弃之前简单的特征识别，本专利技术增强现实的算法基于视觉SLAM算法和移动端的IMU，考虑到从头实现所有算法不现实，本专利技术采用最新的ARKit，其提供一些算法的接口，让整个专利技术更加专注于增强现实元素周期表本身和基于手势交互的设计与实现，但由于ARKit本身只提供了简单的平面检测等功能，因此必须通过更轻便的算法来讲手部检测和指尖识别，进而实现接下来的交互功能。同时，元素之间的查看和反应需要收集元素的详细信息和形成数据库，这个过程更加繁琐，需要注意到各种元素之间详细信息和结合。另外，目前还没有存在将手部的交互引入到移动端的增强现实上，手部的交互使得使用者能够脱离屏幕，是增强现实交互一种极好的方式；目前最广泛基于深度学习的识别和检测在移动端的实现由于计算量的原因还不现实，因此必须提出同时兼顾速度和准确性的方法，肤色的颜色在YcrCb的颜色空间根据经验值满足椭圆分布，本专利技术通过寻找肤色区域的像素来获得手部的候选区域的轮廓，这一步会获取到零个或多个候选区域，考虑到手部轮廓的的特点，本专利技术通过区域的面积、周长和面积周长的比设置阈值，通过简单的方法和经验阈值的设定，这样即能满足计算量的需求有兼顾的准确性的需求。识别出手部后，又需要进一步识别出指尖的位置使交互更自然，同时为了兼顾准确性和速度，考虑两个信息，图像的矩和轮廓的曲率，通过矩先筛掉一些非指尖的点，通过构造向量来计算曲率信息获得指尖的位置。为了能够更加清楚地理解本专利技术的上述目的、特征和优点，下面结合附图及实施例对本专利技术做进一步说明。本实施例提出一种基于ARKit框架的增强现实版化学元素周期表的交互方法，包括如下步骤：步骤A、开启移动设备的摄像头识别当前场景，执行ARKit提供的SLAM算法接口识别出当前场景的平面并标识出来；步骤B、将虚拟的化学元素周期表模型叠加到当前视角的场景并绑定到平面上；步骤C、选择不同元素查看其详细的信息，选择元素周期表中不同的元素进行分子的合成；步骤D、识别出当前用户的手部信息并确定指尖位置，与当前的场景进行交互。具体实施步骤参考图1如下：Step1、建立化学元素周期表模型要完成虚拟化学元素周期表模型的设计，Unity3D对于基本模型的设计简单快捷，考虑到整张元素周期表是由一个个单独的元素组成，并且元素的分布有一定规律，因此仅仅先设计出单个元素的模型，在脚本中编写整张周期表的生成逻辑，减少对模型细节的关注使建模更快捷方便，同时后期对模型的修改只需修改模型中的特定f参数即可。Step2、元素属性信本文档来自技高网...

【技术保护点】
1.一种基于ARKit框架的增强现实版化学元素周期表的交互方法，其特征在于，包括如下步骤：步骤A、开启移动设备的摄像头识别当前场景，执行ARKit提供的SLAM算法接口识别出当前场景的平面并标识出来；步骤B、将虚拟的化学元素周期表模型叠加到当前视角的场景并绑定到平面上；步骤C、选择不同元素查看其详细的信息，选择元素周期表中不同的元素进行分子的合成；步骤D、识别出当前用户的手部信息并确定指尖位置，与当前的场景进行交互。

【技术特征摘要】
1.一种基于ARKit框架的增强现实版化学元素周期表的交互方法，其特征在于，包括如下步骤：步骤A、开启移动设备的摄像头识别当前场景，执行ARKit提供的SLAM算法接口识别出当前场景的平面并标识出来；步骤B、将虚拟的化学元素周期表模型叠加到当前视角的场景并绑定到平面上；步骤C、选择不同元素查看其详细的信息，选择元素周期表中不同的元素进行分子的合成；步骤D、识别出当前用户的手部信息并确定指尖位置，与当前的场景进行交互。2.根据权利要求1所述的基于ARKit框架的增强现实版化学元素周期表的交互方法，其特征在于，所述步骤D包括：步骤D1、使用OpenCV提供的颜色空间转换方法将当前的摄像头捕捉到的图像从RGB颜色空间转换到YCrCb颜色空间，在CrCb二维空间皮肤像素近似一个椭圆分布，通过判断像素点是否在椭圆内可以判断是否为皮肤的像素点，获得满足条件的手部轮廓区域，进而排除不满足条件的区域；步骤D2、根据步骤D1得到的满足要求的手部区域轮廓，计算轮廓的矩，确定指尖候选区域，构造相邻点的方向向量，在候选区域中确定曲率最高的点作为指尖的位置。3.根据权利要求1所述的基于ARKit框架的增强现实版化学元素周期表的交互方法，其特征在于，所述步骤A包括：运行SLAM算法对当前的场景进行识别，获取当前场景的点云信息，通过预先设定的阈值来获得当前视角下的属于平面的点云，并用带颜色的点标记出来，通过这些点确定一个平面。4.根据权利要求1所述的基于ARKit框架的增强现实版化学元素周期表...

【专利技术属性】
技术研发人员：王莉莉，赵韩，何志明，于洋，迟小羽，
申请(专利权)人：北京航空航天大学青岛研究院，
类型：发明
国别省市：山东,37