一种多模态机器人智能绘画方法技术

本发明专利技术公开了一种多模态机器人智能绘画方法，具体为：基于采集的图像，生成机器人绘画矢量图；基于语音指令，获得机器人绘画语义信息；机器人融合绘画矢量图和绘画语义信息，判断是否为相同的绘画任务，若是，基于绘画矢量图和绘画语义，合并重复区域后，生成新的绘画矢量，机器人执行绘画动作，完成绘画任务；否则，基于绘画矢量图，机器人执行绘画动作；基于机器人绘画语义信息，机器人执行绘画动作，完成绘画任务。本发明专利技术机器人不仅通过理解图像完成绘画任务，还可以通过理解语音指令完成绘画任务，提升了机器人绘画多模态感知和理解能力。

【技术实现步骤摘要】
一种多模态机器人智能绘画方法
本专利技术属于机器学习领域，具体为一种多模态机器人智能绘画方法。
技术介绍
随着机器人技术和人工智能的发展，机器人在各个领域的应用也越来越广泛，利用机器人绘画也日益成为可能，并逐渐发展成为一种热门的研究方向。让机器人去完成人的某项特定工作如绘画，诸如画出人的肖像、画画等，这其中应用到了包含视觉技术、图像处理技术、传感器感知技术以及机器人控制技术等。目前机器人绘画人脸肖像的方法，一般是把人脸图像从背景图像中分割出来，然后将其人脸各个器官的特征提取出来，生成轮廓曲线，通过机器人绘画曲线。目前机器人绘画主要存在以下问题：感知的途径单一，只能通过获取的图像采用图像处理的方法作为绘画的输入，当出现图像的质量不清楚或者背景复杂时，处理的效果不理想自然机器人也不能够绘画满意的肖像，特别是在完全没有图像的情形下，不能够根据语音描述来绘画图像，这在公安部门刑侦中有着迫切需要。
技术实现思路
本专利技术的目的在于提供了一种多模态机器人智能绘画方法。实现本专利技术目的的技术解决方案为：一种多模态机器人智能绘画方法，具体为：步骤1：基于采集的图像，生成机器人绘画矢量图；步骤2：基于语音指令，获得机器人绘画语义信息；步骤3：机器人融合绘画矢量图和绘画语义信息，判断是否为相同的绘画任务，若是，执行步骤5，否则执行步骤4；步骤4：基于绘画矢量图，机器人执行绘画动作；基于机器人绘画语义信息，机器人执行绘画动作，完成绘画任务；步骤5：基于绘画矢量图和绘画语义，合并重复区域后，生成新的绘画矢量，机器人执行绘画动作，完成绘画任务。优选地，基于语音指令，采用自然语言理解技术，获得机器人绘画语义信息的具体方法为：步骤2.1：通过语音识别将绘画语音指令转化为文本；。步骤2.2：对文本通过语义解析获取绘画语音指令的逻辑表示；步骤2.3：通过grounding处理将指令语义映射到机器人绘画语义。本专利技术与现有技术相比，其显著优点为：1)本专利技术机器人不仅通过理解图像完成绘画任务，还可以通过理解语音指令完成绘画任务，提升了机器人绘画多模态感知和理解能力；2)本专利技术特别融合了图像和语音指令，提升了图像的质量不清楚或者背景复杂等情况下机器人绘画的效果和能力。下面结合附图对本专利技术作进一步详细描述。附图说明图1为本专利技术的技术方案流程图。图2为本专利技术基于图像处理的机器人肖像绘画技术实现流程图。图3为本专利技术基于自然语言理解机器人肖像绘画语义实现流程图。具体实施方式如图1所示，一种多模态机器人智能绘画方法，具体为：步骤1：基于相机采集的图像，采用图像处理、深度学习等机器学习算法，生成机器人绘画矢量图；步骤2：基于语音指令，采用自然语言理解技术，获得机器人绘画语义信息；实现语音指令和机器人的绘画自然语言交互，具体方法为：步骤2.1：通过语音识别将绘画语音指令转化为文本；步骤2.2：对文本通过语义解析获取绘画语音指令的逻辑表示；步骤2.3：通过grounding处理将指令语义映射到机器人绘画语义步骤3：机器人融合绘画矢量图和绘画语义，判断是否为相同的绘画任务，若是，执行步骤5，否则执行步骤4；步骤4：基于绘画矢量图，机器人执行绘画动作；基于机器人绘画语义信息，机器人执行绘画动作，完成绘画任务；步骤5：基于绘画矢量图和绘画语义，合并重复区域后，生成新的绘画矢量，机器人执行绘画动作，完成绘画任务。一种多模态机器人智能绘画方法，机器人不仅通过理解图像完成绘画任务，而且可以通过理解语音指令完成绘画任务，还可以融合图像和语音指令完成绘画任务，提升了机器人肖像绘画的效果和能力。实施例本实施例以人脸肖像绘画为例。一种多模态机器人智能绘画方法，具体步骤为：步骤1：如图2所示，基于相机采集的人脸图像，采用图像处理算法，生成机器人绘画矢量图，具体图像处理算法实现流程为：步骤1.1：从人脸图像分割出人脸区域，本实施例采用肤色分割出人脸区域。步骤1.2：基于主动形状模型ASM算法定位人脸器官的特征点。算法步骤具体为：首先得到一组用于训练的人脸样本图像之后，对人脸样本图像进行训练。训练的人脸样本图像手动标记所有的特征点的位置，获取特征点的坐标，并且计算每一个特征点对应的局部灰度模型。根据训练的结果建立全局的形状模型和具有图像纹理信息的局部灰度模型。其次，对于得到的目标人脸图像，估计初始形状模型。然后将局部灰度模型和当前图像进行比对，再对结果利用全局形状模型调整形状姿态参数匹配，得到新的形状向量，重复此过程直到收敛。最后目标形状即为定位的人脸器官的特征点。步骤1.3：基于获得的人脸器官的特征点，定位人脸每个器官的区域，对每个区域通过自适应阈值分割，与人脸器官的特征点合并，生成轮廓图。步骤1.4：对轮廓图矢量化处理生成绘画矢量图。步骤2：如图3所示，基于语音指令，采用自然语言理解技术，获得机器人绘画语义信息；实现语音指令和机器人的绘画自然语言交互。本实施例自然语言理解技术具体实现步骤如下：步骤2.1：通过语音识别将绘画语音指令转化为文本。步骤2.2：对文本通过语义解析获取绘画语音指令的逻辑表示。步骤2.3：通过grounding处理将指令语义映射到机器人绘画语义。步骤3：机器人融合绘画矢量图和绘画语义，判断是否为相同的绘画任务，若是，执行步骤5，否则执行步骤4；本实施例中根据人脸器官的不同来判断是否不同的绘画任务；步骤4：基于绘画矢量图，机器人执行绘画动作；基于机器人绘画语义信息，机器人执行绘画动作，完成绘画任务；步骤5：基于绘画矢量图和绘画语义，合并重复的局部区域，产生新的绘画矢量图，机器人执行绘画动作，完成绘画任务。本文档来自技高网...

【技术保护点】
1.一种多模态机器人智能绘画方法，其特征在于，具体为/n步骤1：基于采集的图像，生成机器人绘画矢量图；/n步骤2：基于语音指令，获得机器人绘画语义信息；/n步骤3：机器人融合绘画矢量图和绘画语义信息，判断是否为相同的绘画任务，若是，执行步骤5，否则执行步骤4；/n步骤4：基于绘画矢量图，机器人执行绘画动作；/n基于机器人绘画语义信息，机器人执行绘画动作，完成绘画任务；/n步骤5：基于绘画矢量图和绘画语义，合并重复区域后，生成新的绘画矢量，机器人执行绘画动作，完成绘画任务。/n

【技术特征摘要】
1.一种多模态机器人智能绘画方法，其特征在于，具体为
步骤1：基于采集的图像，生成机器人绘画矢量图；
步骤2：基于语音指令，获得机器人绘画语义信息；
步骤3：机器人融合绘画矢量图和绘画语义信息，判断是否为相同的绘画任务，若是，执行步骤5，否则执行步骤4；
步骤4：基于绘画矢量图，机器人执行绘画动作；
基于机器人绘画语义信息，机器人执行绘画动作，完成绘画任务；
步骤5：基于绘画矢量图和绘画语义...

【专利技术属性】
技术研发人员：刘彧菲，刘永，薛涛，
申请(专利权)人：南京赫曼机器人自动化有限公司，
类型：发明
国别省市：江苏;32