【技术实现步骤摘要】
本专利技术涉及图像处理分析，具体是基于图像识别的实体积木编程提示方法和系统。
技术介绍
1、具有编程功能的实体积木是传统积木玩具的升级版本，本质上是让传统的积木组装后的玩具具有可控制的运动、显示或者触发功能。在积木玩具的趣味性的提升下，大部分积木玩具具备简单的功能，比如部件之间的相互运动如旋转、前进后退等，也有智能显示功能，还有根据传感器触发各式的预设功能。而不管是相互运动、智能显示还是传感器触发预设功能，对于增加趣味性的玩具设计者而言，实体积木块的拼接即硬件积木拼接，而若把控制软件的拼接也设计成积木块的思维即软件积木拼接，同时用户根据控制软件调试过程的硬件的动作反馈，调整修改控制软件，直到能够实现预设功能。实体积木玩具，根据积木的组装难易程度适用于不同年龄的儿童，年龄较小的儿童比如3~4岁，该年龄阶段自控性差，一般需要带教老师全程带教指导；而年龄达到6岁以上的儿童，该年龄已经具备一定的认知能力和控制能力，基本能看懂一些简单的图像示意图，甚至包括一些简单的文字。当实体积木玩具在为后者设计时，除了积木和嵌入积木的电子元件被合理拆分，还设计一套运行于手机、pad或者电脑等具备可视化交互界面的软件系统，通过软件系统来编程。需要注意的是，此处的编程并非是直接编写代码，而是将代码设计成虚拟的积木块，儿童能通过可视化交互界面进行拖拽，从而组合成控制代码。现有的针对此种类型的实体积木编程玩具，一般是按照整个实体积木编程玩具拼接的顺序，先硬件后控制软件，为了便于在没有带教老师的情况下也能完成教学功能，可视化交互界面会提示各个阶段该寻找的积木和拼
技术实现思路
1、（1）要解决的技术问题
2、本专利技术的目的在于提供基于图像识别的实体积木编程提示方法和系统，以解决实体积木编程人工提示的问题。
3、（2）技术方案
4、为实现上述目的，一方面，本专利技术提供了基于图像识别的实体积木编程提示方法，所述方法包括：
5、当用户进行实体积木拼接前，将所有实体积木块进行编号并记录对应的三维形状，记录实体积木块处于完整拼接状态时的拼接关系，将实体积木块编号、对应的三维形状和对应的拼接关系记为实体积木信息；所述拼接关系包括具有拼接关系的两个实体积木块之间的三维形状接触面信息；当多个实体积木块具有相同的三维形状且内嵌电路功能可替换时，将所述实体积木块设为相同的实体积木块编号；当多个实体积木块具有相同的三维形状且内嵌电路功能不可替换时，标记为不同的实体积木块编号且在一个面有对应的印刷内嵌电路符号；
6、当用户进行实体积木拼接时，通过摄像头实时获取用户进行实体积木编程的活动图像，所述摄像头位于可视化交互界面终端，所述可视化交互界面终端放置于用户正前方；将活动图像通过yolo算法定位并跟踪用户手部位置区域，根据用户手部位置区域标记用户手部骨骼关节点；当检测到用户手部骨骼关节点之间的角度形成抓握姿态时，通过yolo算法从多帧活动图像判断用户手部骨骼关节点之间的实体积木块形状，根据实体积木块形状和实体积木信息查询得到实体积木块编号；
7、当用户进行首个实体积木块拼接时，获取用户两只手部抓握的实体积木块编号，当两个实体积木块编号不具有拼接关系时则可视化交互界面终端提示实体积木块选择错误，当两个实体积木块编号具有拼接关系但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当用户完成首个实体积木块拼接时，通过实体积木信息检索已拼实体积木相邻具有拼接关系的所有实体积木块编号并记为可选实体积木块池；当用户进行非首个实体积木块拼接时，若实体积木块编号不在可选实体积木块池内时则可视化交互界面终端提示实体积木块选择错误，若实体积木块编号在可选实体积木块池内但拼接时三维形状接触面错误时则可视化交互界面终端提示实体积木块拼接错误；当每次完成新的实体积木块拼接时，更新可选实体积木块池；
8、当用户完成实体积木拼接后，可视化交互界面终端提示拼接完成并跳转到软件积木拼接界面，用户通过可视化交互界面终端将软件积木块进行拼接；所述软件积木块是根据程序语法分类将其制作为不同形状，具有程序语法连接关系的软件积木块的形状具有镶嵌关系；当不符合程序语法连接关系的软件积木块进行组合时，可视化交互界面终端提示软件积木块选择错误；当用户完成软件积木拼接后，可视化交互界面终端连接实体积木并开启调试功能；
9、期间，当检测到用户手部骨骼关节点未接触实体积木块或软件积木块达到设定时间阈值，或者通过yolo算法提取到的用户脸部表情图像输入到预先通过svm算法训练的表情分类器且达到预设的表情类型时，若处于实体积木拼接阶段则将可选积木块池抽选一个积木块并将其三维形状推送到可视化交互界面终端作为提示，若处于软件积木拼接阶段则将现有已拼软件积木块具有镶嵌关系的未拼软件积木块在可视化交互界面终端突出显示作为提示。
10、进一步地，所述方法还包括：
11、当可视化交互界面终端出现提示实体积木块选择错误时，通过摄像头拍摄放置实体积木块的平面全局图，根据全局图通过yolo算法进行图像分割并识别所有未拼实体积木块编号，根据识别的未拼实体积木块编号生成全景三维图像推送到可视化交互界面终端，所述全景三维图像的观测视角坐标实时更新为用户所在观测视角；以摄像头垂直投影到平面全局图的投影点为坐标原点，平行于可视化交互界面终端且穿过坐标原点的平面为轴，垂直于可视化交互界面终端且穿过坐标原点的平面为轴，垂直于平面全局图的平面为轴，观察坐标为，其中为摄像头测量的到用户眼睛的距离，为摄像头和用户眼睛连线在平面的投影夹角，为摄像头和用户眼睛连线在平面的投影夹角，为摄像头到平面全局图的投影距离；当需要给用户提示实体积木块时，在全景三维图像中突出显示对应的实体积木块。
12、进一步地，所述方法还包括：
13、当平面全局图出现部分未拼实体积木块编号无法识别时，在生成的全景三维图像中以突出显示形式提醒用户将无法识别的实体积木块拾起进行转动，用于提取实体积木块被遮挡面特征，遮挡面特征包括形状特征和印刷内嵌电路符号特征；当重新提取被遮挡面特征后，重新生成全景三维图像。
14、进一步地，所述方法还包括：
15、当实体积木信息中实体积木的形状尺寸差异不大于一个平面或者实体积木块具有相同的三维形状且内嵌电路功能不可替换，在用户将实体积木块拾起进行转动的时候，将所述实体积木块加入yolo算法实时跟踪识别对象池。
16、进一步地，所述方法还包括：
17、在yolo算法实时跟踪识别对象池的实体积木块，当实体积木块被拼接使用后，从yolo算法实时跟踪识别对象池将所述实体积木块剔除；当形状尺寸差异不大于一个平面或者具有相同的三维形状且内嵌电路功能不可替换的实体积木块不再产生混淆时，从yolo算法实时跟踪识别对象池剔除对应剩余的实体积木块。
18、基于同一专利技术构思，另一方面，本专利技术还提供本文档来自技高网...
【技术保护点】
1.基于图像识别的实体积木编程提示方法，其特征在于，所述方法包括：
2.如权利要求1所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：
3.如权利要求2所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：
4.如权利要求3所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：
5.如权利要求4所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：
6.基于图像识别的实体积木编程提示系统，其特征在于，所述系统包括：
7.如权利要求6所述的基于图像识别的实体积木编程提示系统，其特征在于，所述系统还包括：
8.如权利要求7所述的基于图像识别的实体积木编程提示系统，其特征在于，所述系统还包括：
9.如权利要求8所述的基于图像识别的实体积木编程提示系统，其特征在于，所述系统还包括：
10.如权利要求9所述的基于图像识别的实体积木编程提示系统，其特征在于，所述系统还包括：
【技术特征摘要】
1.基于图像识别的实体积木编程提示方法，其特征在于，所述方法包括：
2.如权利要求1所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：
3.如权利要求2所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：
4.如权利要求3所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：
5.如权利要求4所述的基于图像识别的实体积木编程提示方法，其特征在于，所述方法还包括：
...【专利技术属性】
技术研发人员：李国俊，王丽莹，夏奥杰，李漫漫，
申请(专利权)人：武汉龟兔智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。