一种基于轨迹模仿的机器人汉字书写和学习的方法技术

本发明专利技术提供了一种基于轨迹模仿的机器人汉字书写和学习的方法，属于智能机器人领域。机器人的机构和组成：机器人本体，机器人本田内部设置有嵌入式系统；机器人的文字识别程序：首先通过与嵌入式系统连接的摄像装置实时捕捉机器人面前图像，并实时监测当前图像中是否存在你书写了文字的纸张；轨迹模仿的方式：基于轨迹匹配的模仿学习可用于复杂轨迹的表征泛化，建立感知和运动信息的非线性映射；汉字书写学习方法的流程：首先获取二维示教数据，然后基于高斯混合模型对示教数据进行彪马学习，实现轨迹表征；机器人的表象操作：用户在白纸上书写的汉字笔迹与白纸背景的灰度差比较明显，通过对捕捉到的图像进行直方图均衡。

A method of robot Chinese character writing and learning based on trajectory imitation

The invention provides a method for writing and learning Chinese characters of robot based on trajectory imitation, belonging to the field of intelligent robot. Mechanism and composition of robot: robot body, robot Honda is equipped with embedded system; character recognition program of robot: first, capture the image in front of the robot in real time through the camera device connected with the embedded system, and real-time monitor whether there is any paper in the current image where you have written characters; way of trajectory simulation: simulation learning based on trajectory matching can It is used to generalize the representation of complex trajectories and establish the nonlinear mapping of perception and motion information; the process of Chinese character writing learning method: first obtain the two-dimensional teaching data, and then learn puma from the teaching data based on the Gaussian mixture model to realize the trajectories representation; the robot's image operation: the gray difference between the Chinese character handwriting written by the user on the white paper and the white paper background is obvious, Through the histogram equalization of the captured image.

【技术实现步骤摘要】
一种基于轨迹模仿的机器人汉字书写和学习的方法
本专利技术涉及一种智能机器人使用的方法，具体是一种基于轨迹模仿的机器人汉字书写和学习的方法。
技术介绍
目前在汉字书写教学的过程中，汉字书写的质量评判通常都是由人工完成的用户尤其是小孩在书写汉字以后，需要有人及时的进行书写评价来对其书写汉字的方法进行纠正或者评判，随着机器人研究的不断发展，其运动行为越来越复杂，对于运动规律不易获取的复杂运动，比如汉字书写任务，传统的算法很难实现，因此这就需要一个能够书写汉字的智能机器人来解决这类问题。
技术实现思路
针对上述现有技术的不足，本专利技术要解决的技术问题是提供一种智能机器人领域的一种基于轨迹模仿的机器人汉字书写和学习的方法。为解决上述技术问题，本专利技术提供了如下技术方案：一种基于轨迹模仿的机器人汉字书写和学习的方法，具体培养方法如下：(1)机器人的机构和组成：机器人本体，机器人本田内部设置有嵌入式系统，机器人本体的外表面设置有分别与嵌入式系统连接的可摄取书写文字材料的图像的摄像装置和显示嵌入式系统所识别出的图像中所包含的文字以及起正确书写步骤的显示屏。(2)机器人的文字识别程序：首先通过与嵌入式系统连接的摄像装置实时捕捉机器人面前图像，并实时监测当前图像中是否存在你书写了文字的纸张，然后当检测到含有文字的图像时，将图像中书写的文字检测与切分出来；然后采用梯度特征是别脱机文字的方法对切分出来的汉字图像进行文字识别，然后将识别的出来的汉字在显示屏上显示出来，并实时地在按笔顺动画显示出该汉字的正确书写方法。同时将识别出来的汉字通过扬声器朗读出来。(3)轨迹模仿的方式：基于轨迹匹配的模仿学习可用于复杂轨迹的表征泛化，建立感知和运动信息的非线性映射，进而实现复杂运动技能的学习，书写是复杂轨迹的运动，其学习过程存在如下两个问题：连续性复杂轨迹的表征或者离散轨迹的生成。(4)汉字书写学习方法的流程：首先获取二维示教数据，然后基于高斯混合模型对示教数据进行彪马学习，实现轨迹表征，然后基于高斯混合回归对高斯混合模型学习的示教的数据进行重构，得到泛化输出，然后获取书写的示教数据，将基于高斯混合模型的模仿学习应用于书写技能的学习之中，通过高斯混合回归得到泛化的输出，实现轨迹可连续汉字书写，然后对高斯混合模型进行多任务扩展，针对复杂运动轨迹进行分解，通过多任务学习实现轨迹不可连续汉字书写模仿，多任务学习是对不同运动轨迹进行同时编码学习，与多次示教不同，多次示教是对同一运动的多次相似轨迹进行同时编码学习，然后由轨迹表征和泛化得到书写轨迹的一般输出，经逆运动学转化，映射到机器人的执行器空间，得到机器人节点角的信息，获得控制策略，进而实现机器人书写技能的学习。(5)机器人的表象操作：用户在白纸上书写的汉字笔迹与白纸背景的灰度差比较明显，通过对捕捉到的图像进行直方图均衡，二值化处理以后，笔迹即变成黑色像素，再通过水平与垂直方向的黑色像素投影，找出笔迹的矩形范围，将书写笔迹切分出来，然后通过评价其在液晶显示屏显示出评价结果，并显示出正确的书写方法，通过扬声器通知用户评价结果和改善措施。作为本专利技术进一步的改进方案：根据基于轨迹模仿的机器人汉字书写和学习的步骤(1)中其特征在于机器人本体还设置有用于播放嵌入式系统所识别的文字的读音、正确书写步骤、以及对所识别的文字的评价的扬声器，嵌入式系统设置有可自动识别书写文字的软件系统。作为本专利技术再进一步的改进方案：根据基于轨迹模仿的机器人汉字书写和学习的步骤(2)中文字识别方法还包括一种书写自动评价方法，其步骤为：首先根据文字识别的结果判断用户书写的汉字，如果识别结果的距离分数超过一个常数，则评价结果为不合格，否则根据识别结果的距离分数给出相应的评价结果，距离分数越小，评价结果越高，评价的结果通过显示屏显示，或者通过扬声器播放。作为本专利技术再进一步的改进方案：根据基于轨迹模仿的机器人汉字书写和学习的步骤(3)中操作的方法是，如底层运动控制、控制图模型、递归神经网络，可用于书写技能的获取，但均不能有效解决以上问题，传统控制较为复杂且泛化性能不足，不可移植，控制图模型能够生成离散轨迹，但对复杂轨迹的表征能力不足，递归神经网络只能用于简单轨迹的再现，针对以上存在的问题以及模仿学习的特点，提出一种基于灰机模仿的汉字书写学习方法，即采用基于高斯混合模型的模仿学习进行书写轨迹的表征和泛化，实现书写技能的学习。作为本专利技术再进一步的改进方案：根据基于轨迹模仿的机器人汉字书写和学习的步骤(4)中二维示教数据包括示教信息的空间和时间值，其中高斯混合模型需要得到高斯分布的先验概率、期望和方差，针对汉字轨迹复杂，一笔一划的特点，将一个复杂的汉字分解为若干部分，引入多任务学习、分别对分解的每一部分进行归集编码和重构，实现多条离散归集的同时学习与泛化，完成归集不可连续的汉字的书写。作为本专利技术再进一步的改进方案：根据基于轨迹模仿的机器人汉字书写和学习的步骤(5)中汉字识别的方式将笔迹识别，若识别结果的匹配分数较好，则认为书写有效，继而给出评价分数，否则认为书写不合格。与现有技术相比，本专利技术的有益效果是：本专利技术的汉字书写机器人能够基于轨迹模仿对汉字进行书写的学习方式，属于人工智能和机器人学习领域的完美结合，本专利技术中将模仿学习引入到机器人书写技能的学习中，通过高斯混合模型对示教数据进行编码，提取轨迹特征，通过高斯混合回归对数据重构，得到轨迹特征完成书写，并且结合嵌入式系统，模式识别与人工智能技术，启动用户学习兴趣，同时能节省教师与家长在辅导学生书写汉字上的时间，也能让汉字书写者通过机器人及时的给出书写的评价与指导方案纠正自己书写汉字的方法与习惯，学会写出更规范与美观的汉字。具体实施方式下面结合具体实施方式对本专利的技术方案作进一步详细地说明。实施例1本实施例提供了一种基于轨迹模仿的机器人汉字书写和学习的方法，具体操作方法如下：(1)机器人的机构和组成：机器人本体，机器人本田内部设置有嵌入式系统，机器人本体的外表面设置有分别与嵌入式系统连接的可摄取书写文字材料的图像的摄像装置和显示嵌入式系统所识别出的图像中所包含的文字以及起正确书写步骤的显示屏；其特征在于机器人本体还设置有用于播放嵌入式系统所识别的文字的读音、正确书写步骤、以及对所识别的文字的评价的扬声器，嵌入式系统设置有可自动识别书写文字的软件系统。(2)机器人的文字识别程序：首先通过与嵌入式系统连接的摄像装置实时捕捉机器人面前图像，并实时监测当前图像中是否存在你书写了文字的纸张，然后当检测到含有文字的图像时，将图像中书写的文字检测与切分出来；然后采用梯度特征是别脱机文字的方法对切分出来的汉字图像进行文字识别，然后将识别的出来的汉字在显示屏上显示出来，并实时地在按笔顺动画显示出该汉字的正确书写方法。同时将识别出来的汉字通过扬声器朗读出来；文字识别方法还包括一种书写自动评价方法，其步骤为：首先根据文字识别的结果判断用户书写的汉字，如果识别结果的距离分数超过一个本文档来自技高网...

【技术保护点】
1.一种基于轨迹模仿的机器人汉字书写和学习的方法，其特征是，具体步骤如下：/n(1)机器人的机构和组成：机器人本体，机器人本田内部设置有嵌入式系统，机器人本体的外表面设置有分别与嵌入式系统连接的可摄取书写文字材料的图像的摄像装置和显示嵌入式系统所识别出的图像中所包含的文字以及起正确书写步骤的显示屏；/n(2)机器人的文字识别程序：首先通过与嵌入式系统连接的摄像装置实时捕捉机器人面前图像，并实时监测当前图像中是否存在你书写了文字的纸张，然后当检测到含有文字的图像时，将图像中书写的文字检测与切分出来；然后采用梯度特征是别脱机文字的方法对切分出来的汉字图像进行文字识别，然后将识别的出来的汉字在显示屏上显示出来，并实时地在按笔顺动画显示出该汉字的正确书写方法。同时将识别出来的汉字通过扬声器朗读出来；/n(3)轨迹模仿的方式：基于轨迹匹配的模仿学习可用于复杂轨迹的表征泛化，建立感知和运动信息的非线性映射，进而实现复杂运动技能的学习，书写是复杂轨迹的运动，其学习过程存在如下两个问题：连续性复杂轨迹的表征或者离散轨迹的生成；/n(4)汉字书写学习方法的流程：首先获取二维示教数据，然后基于高斯混合模型对示教数据进行彪马学习，实现轨迹表征，然后基于高斯混合回归对高斯混合模型学习的示教的数据进行重构，得到泛化输出，然后获取书写的示教数据，将基于高斯混合模型的模仿学习应用于书写技能的学习之中，通过高斯混合回归得到泛化的输出，实现轨迹可连续汉字书写，然后对高斯混合模型进行多任务扩展，针对复杂运动轨迹进行分解，通过多任务学习实现轨迹不可连续汉字书写模仿，多任务学习是对不同运动轨迹进行同时编码学习，与多次示教不同，多次示教是对同一运动的多次相似轨迹进行同时编码学习，然后由轨迹表征和泛化得到书写轨迹的一般输出，经逆运动学转化，映射到机器人的执行器空间，得到机器人节点角的信息，获得控制策略，进而实现机器人书写技能的学习；/n(5)机器人的表象操作：用户在白纸上书写的汉字笔迹与白纸背景的灰度差比较明显，通过对捕捉到的图像进行直方图均衡，二值化处理以后，笔迹即变成黑色像素，再通过水平与垂直方向的黑色像素投影，找出笔迹的矩形范围，将书写笔迹切分出来，然后通过评价其在液晶显示屏显示出评价结果，并显示出正确的书写方法，通过扬声器通知用户评价结果和改善措施。/n...

【技术特征摘要】
1.一种基于轨迹模仿的机器人汉字书写和学习的方法，其特征是，具体步骤如下：
(1)机器人的机构和组成：机器人本体，机器人本田内部设置有嵌入式系统，机器人本体的外表面设置有分别与嵌入式系统连接的可摄取书写文字材料的图像的摄像装置和显示嵌入式系统所识别出的图像中所包含的文字以及起正确书写步骤的显示屏；
(2)机器人的文字识别程序：首先通过与嵌入式系统连接的摄像装置实时捕捉机器人面前图像，并实时监测当前图像中是否存在你书写了文字的纸张，然后当检测到含有文字的图像时，将图像中书写的文字检测与切分出来；然后采用梯度特征是别脱机文字的方法对切分出来的汉字图像进行文字识别，然后将识别的出来的汉字在显示屏上显示出来，并实时地在按笔顺动画显示出该汉字的正确书写方法。同时将识别出来的汉字通过扬声器朗读出来；
(3)轨迹模仿的方式：基于轨迹匹配的模仿学习可用于复杂轨迹的表征泛化，建立感知和运动信息的非线性映射，进而实现复杂运动技能的学习，书写是复杂轨迹的运动，其学习过程存在如下两个问题：连续性复杂轨迹的表征或者离散轨迹的生成；
(4)汉字书写学习方法的流程：首先获取二维示教数据，然后基于高斯混合模型对示教数据进行彪马学习，实现轨迹表征，然后基于高斯混合回归对高斯混合模型学习的示教的数据进行重构，得到泛化输出，然后获取书写的示教数据，将基于高斯混合模型的模仿学习应用于书写技能的学习之中，通过高斯混合回归得到泛化的输出，实现轨迹可连续汉字书写，然后对高斯混合模型进行多任务扩展，针对复杂运动轨迹进行分解，通过多任务学习实现轨迹不可连续汉字书写模仿，多任务学习是对不同运动轨迹进行同时编码学习，与多次示教不同，多次示教是对同一运动的多次相似轨迹进行同时编码学习，然后由轨迹表征和泛化得到书写轨迹的一般输出，经逆运动学转化，映射到机器人的执行器空间，得到机器人节点角的信息，获得控制策略，进而实现机器人书写技能的学习；
(5)机器人的表象操作：用户在白纸上书写的汉字笔迹与白纸背景的灰度差比较明显，通过对捕捉到的图像进行直方图均衡，二值化处理以后，笔迹即变成黑色像素，再通过水平与垂直方向的黑色像素投影，找出笔迹的矩形范围，将书写笔迹切分出来，然后通过评价其在液晶显示屏显示出评价结果，并显示出正确的书写方法，通过扬声器通知用户评价结果和改善措施。
<...

【专利技术属性】
技术研发人员：齐仁龙，张玉华，
申请(专利权)人：郑州科技学院，
类型：发明
国别省市：河南;41