一种基于语义的行为生成方法技术

本发明专利技术公开了一种基于语义的行为生成方法，首先工作人员穿戴可穿戴设备，做出与文本对应的行为动作，采集动作数据；然后对动作数据进行数据分帧，生成全帧序列数据；再将行为动作对应文本内容进行向量化处理，基于有监督神经网络训练，建立文本向量和全序列之间的映射关系；服务机器人获取语音音频，并输出与行为动作文本对应的的全帧序列；对全帧序列进行动作约束与优化；将行为数据序列与文本产生的音频数据进行对齐和插补，优化对齐后的全帧序列驱动输出，并由电机驱动机器人对应部位运动，同步播放对应地语音音频。其提高智能机器人的行为表达能力，与语音回复同步增加了趣味性。

【技术实现步骤摘要】
一种基于语义的行为生成方法
：本专利技术属于智能机器人
，具体涉及一种基于语义的行为生成方法。
技术介绍
：机器人是一种可编程的多功能操作机，智能机器人则是通过感知外部环境并自主做出反馈的机器人。专利CN106547813A公开了一种提升机器人语音问答能力的方法，首先机器人获取用户的语音问询，然后将语音问询转换为文字问询，根据文字问询从其数据库中检索文字答案，若检索到，将文字答案输出，同时将文字答案和文字问询传送给后台统计系统，通过人工方式找出不匹配的文字问询和文字答案，修复文字答案后更新至机器人的数据库中，若未检索到，将文字问询传送给后台统计系统，后台统计系统基于人工回答或者网络检索寻找答案并回复。专利CN109176541A公开了一种实现机器人跳舞的方法，首先提取音频源文件的音乐低阶特征矩阵，然后将所述音乐高阶特征矩阵输入舞蹈动作生产模型中，生成满足运动学约束条件的舞蹈动作。专利CN107443396A公开了一种实时模仿人体动作的智能陪伴机器人，首先通过摄像单元获取带有深度信息的人体图像序列，然后对人体图像序列进行处理，并按照预先设定本文档来自技高网...

【技术保护点】
1.一种基于语义的行为生成方法，其特征在于，具体包括以下步骤：/nS101、工作人员穿戴可穿戴设备，做出与文本对应的行为动作，可穿戴设备采集身体运动部位的行为动作数据；/nS102、对上述人体行为动作数据进行数据分帧，并对帧序列进行平滑处理，降低采样率处理，消除采样数据中不必要的数据抖动和数据密度，生成全帧序列数据；/nS103、将行为动作对应文本内容进行向量化处理，基于有监督神经网络训练，建立文本向量和全序列之间的映射关系；/nS104、当服务机器人获得文本输入时，一方面，服务机器人将文本信息经语音合成系统合成为语音音频，或通过三方接口调用，获得连续语音音频流，一方面，将文本进行向量化，基于...

【技术特征摘要】
1.一种基于语义的行为生成方法，其特征在于，具体包括以下步骤：
S101、工作人员穿戴可穿戴设备，做出与文本对应的行为动作，可穿戴设备采集身体运动部位的行为动作数据；
S102、对上述人体行为动作数据进行数据分帧，并对帧序列进行平滑处理，降低采样率处理，消除采样数据中不必要的数据抖动和数据密度，生成全帧序列数据；
S103、将行为动作对应文本内容进行向量化处理，基于有监督神经网络训练，建立文本向量和全序列之间的映射关系；
S104、当服务机器人获得文本输入时，一方面，服务机器人将文本信息经语音合成系统合成为语音音频，或通过三方接口调用，获得连续语音音频流，一方面，将文本进行向量化，基于建立的文本向量和全帧序列之间的映射关系，输出与行为动作文本对应的的全帧序列；
S105、对步骤S104得到的全帧序列进行动作约束与优化，主要出于电机保护与结构约束的目的，删减或替换危险动作序列，得到优化后的全帧序列；
S106、将行为数据序列与文本产生的音频数据进行对齐和插补，主要指动作与语音时间的一致性，音频变化与行为动作的关联性，最终生成优化对齐后的全帧序...

【专利技术属性】
技术研发人员：赵东杰，潘亚磊，游世学，葛树志，
申请(专利权)人：青岛大学，北京中科汇联科技股份有限公司，
类型：发明
国别省市：山东;37