The invention discloses a real object programming method and system based on augmented reality. This method is to put the object programming block in accordance with the current task and the set grammar rules, and get the sequence of a physical programming block. The mobile end augmented reality programming unit calls the camera of the mobile end to capture the image of the current object programming block sequence. According to the corresponding table of the ID and the semantics of the physical programming block, the image will be from the image. The identified sequence of physical programming blocks is transformed into corresponding program instruction, and the running effect of program instructions is superimposed on the real scene, and the programming environment of augmented reality is constructed. By combining physical programming with augmented reality, the invention improves the interest and entertainment of the system. In the programming phase, augmented reality technology is used to provide users with visual real-time feedback to help users to program more easily.
【技术实现步骤摘要】
一种基于增强现实的实物编程方法及系统
本专利技术属于人机交互领域,具体涉及到一种基于增强现实的实物编程方法及系统。
技术介绍
随着信息技术的发展和普及,计算设备已经与人们的生活越来越息息相关,越来越多的儿童从小便有接触并使用计算机等计算设备的机会。随着儿童使用计算设备的深入,他们希望自己也能使用计算机开发自己的程序创作作品,传统的软件很难满足需求。国内外研究者也提出通过编程教育来让培养计算思维这一人人必备的技能。目前的编程教育系统主要分为图像化编程和实物编程两类,而实物编程通过实物交互的方式使得儿童的学习过程更加简单容易,更加适合低龄儿童的学习。学习编程不仅对儿童的数学和科学知识方面有帮助,而且对语言、创造力和社交能力等方面的能力培养都有着积极的作用。而实物交互技术旨在利用人们与真实的物理世界互动形成的技能直接操纵和控制数字信息。儿童可以通过实物交互直接通过操作与计算设备进行交互,并且可以简化编程的过程,使得程序的结构更加直观、具体。因此,实物编程为儿童学习计算机编程提供了一条可行的途径。另一方面,随着增强现实技术的日趋成熟,基于增强现实的系统也提供给儿童体验新的交互方式的机会。名称“一种便携式实物编程系统”(申请号:2013104147570)的专利申请公开了一种便携式的实物编程系统,其输入和输出均采用实物的方式,完全独立于电脑。名称“一种基于事件处理的实物编程工具”(申请号:201610686180.2)的专利申请公开了一种对机器人进行编程并传达事件处理概念的实物编程系统。以上专利采用了输入和输出完全实物化的方式,简化了儿童的操作和编程过程,提高了儿童 ...
【技术保护点】
1.一种基于增强现实的实物编程方法,其步骤包括:按照当前任务和设定的语法规则摆放实物编程块,得到一实物编程块序列;移动端增强现实编程处理单元调用移动端的摄像头捕捉当前所述实物编程块序列的图像,根据实物编程块的ID和语义的对应表将从所述图像中识别出的实物编程块序列转化为对应的程序指令,并将程序指令的运行效果叠加在真实场景中,构造增强现实的编程环境。
【技术特征摘要】
1.一种基于增强现实的实物编程方法,其步骤包括:按照当前任务和设定的语法规则摆放实物编程块,得到一实物编程块序列;移动端增强现实编程处理单元调用移动端的摄像头捕捉当前所述实物编程块序列的图像,根据实物编程块的ID和语义的对应表将从所述图像中识别出的实物编程块序列转化为对应的程序指令,并将程序指令的运行效果叠加在真实场景中,构造增强现实的编程环境。2.如权利要求1所述的方法,其特征在于,在编程阶段,包括编程区和迷宫提示区;其中,在编程区,移动端增强现实编程处理单元调用所述摄像头捕捉实物编程块序列的图像,并对实物编程块序列对应的程序进行分析,如果存在错误,则在真实环境中的实物编程块序列上叠加提示效果;所述提示效果包括指向错误编程块的图片提示或文字提示;在迷宫提示区,显示的当前任务对应的迷宫地图信息的缩略图。3.如权利要求1所述的方法,其特征在于,基于Unity3D环境开发所述移动端增强现实编程处理单元,基于安卓环境开发用于对所述实物编程序列的图像进行分析的计算机视觉识别程序;将所述计算机视觉识别程序编译为Unity3D的安卓插件嵌入到所述移动端增强现实编程处理单元,所述安卓插件将所述实物编程块序列的图像以JSON数据格式发送给所述移动端增强现实编程处理单元;所述JSON数据格式包含一个二维JSON数组,按图像中实物编程块的摆放顺序存放实物编程块的ID、横坐标和纵坐标。4.如权利要求1所述的方法,其特征在于,所述实物编程块包括开始编程块、结束编程块、方向编程块、循环控制编程块、分支控制编程块和函数编程块;所述循环控制编程块包括循环开始编程块、循环次数编程块、循环动作编程块和循环结束编程块,所述分支控制编程块包括分支编程块和条件编程块;所述函数编程块的不同面上设有不同的标识,每一标识对应一不同的子程序;编写不同子程序时,根据该子程序调整所述函数编程块的朝向,并将所述函数编程块放在该子程序首位。5.如权利要求1所述的方法,其特征在于,如果根据当前任务,当前编写的程序是主程序,则需要将开始编程块放置在程序的第一位置,结束编程之后,将结束编程块放置在程序的最后位置;所述循环控制编程块的摆放规则为“循环开始编程块+循环次数编程块+若干循环动作编程块+循环结束编程块”;所述分支控制编程块的摆放规则为首先放置分支编程块,然后在分支编程块的一侧放置条件编程块。6.一种基于增强现实的实物编程系统,其特征在于,包括若干...
【专利技术属性】
技术研发人员:王丹力,邓小舟,金乔,
申请(专利权)人:中国科学院软件研究所,中国科学院自动化研究所,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。