一种多模态交互的方法技术

本发明专利技术提供了一种多模态交互的方法，包括：机器人获取多模态交互信息，多模态交互信息包括：文字信息、语音信息、视觉信息、动作信息中任一项或多项；多模态交互信息是由用户发出的或者是由用户输入给机器人的；根据获取的多模态交互信息，确定与多模态交互信息相匹配的交互方式；按照确定出的交互方式与用户进行交互。其机器人按照多模态交互信息获取的相应的预设交互方式与用户进行交互，提高用户的体验效果。

A Method of Multimodal Interaction

【技术实现步骤摘要】
一种多模态交互的方法
本专利技术涉及人机交互
，特别涉及一种多模态交互的方法。
技术介绍
目前，用户与机器人的交互方式较为单一，常见的交互方式为，PC式的键盘输入和点触式交互，但也只是单纯的通过文字或语音进行交互，不能充分的模拟人与人之间的交互，使得用户的体验效果差。
技术实现思路
本专利技术提供一种多模态交互的方法，用以使得机器人通过合适的交互方式来与用户进行交互，提高用户的体验效果。本专利技术实施例提供一种多模态交互的方法，包括:机器人获取多模态交互信息，所述多模态交互信息包括：文字信息、语音信息、视觉信息、动作信息中任一项或多项；所述多模态交互信息是由用户发出的或者是由用户输入给所述机器人的；根据获取的所述多模态交互信息，确定与所述多模态交互信息相匹配的交互方式；按照所述确定出的所述交互方式与所述用户进行交互。在一种可能是实现的方式中，所述按照所述调取出的所述交互方式与所述用户进行交互，包括：确定所述多模态交互信息所包含的交互内容；按照所述确定出的所述交互方式执行与所述交互内容相应的反馈操作。在一种可能是实现的方式中，所述根据获取的所述多模态交互信息，确定与所述多模态交互信息本文档来自技高网...

【技术保护点】
1.一种多模态交互的方法，用于机器人，其特征在于，包括:机器人获取多模态交互信息，所述多模态交互信息包括：文字信息、语音信息、视觉信息、动作信息中任一项或多项；所述多模态交互信息是由用户发出的或者是由用户输入给所述机器人的；根据获取的所述多模态交互信息，确定与所述多模态交互信息相匹配的交互方式；按照所述确定出的所述交互方式与所述用户进行交互。

【技术特征摘要】
1.一种多模态交互的方法，用于机器人，其特征在于，包括:机器人获取多模态交互信息，所述多模态交互信息包括：文字信息、语音信息、视觉信息、动作信息中任一项或多项；所述多模态交互信息是由用户发出的或者是由用户输入给所述机器人的；根据获取的所述多模态交互信息，确定与所述多模态交互信息相匹配的交互方式；按照所述确定出的所述交互方式与所述用户进行交互。2.如权利要求1所述的方法，其特征在于，所述按照所述调取出的所述交互方式与所述用户进行交互，包括：确定所述多模态交互信息所包含的交互内容；按照所述确定出的所述交互方式执行与所述交互内容相应的反馈操作。3.如权利要求1或2所述的方法，其特征在于，所述根据获取的所述多模态交互信息，确定与所述多模态交互信息相匹配的交互方式，包括：所述多模态交互信息包括：文字信息、语音信息、视觉信息、动作信息中任一项或多项；根据其多模态交互信息可以得到一个多模态交互信息矩阵，多模态交互信息矩阵为一个分块矩阵包括：文字信息矩阵、语音信息矩阵、视觉信息矩阵、动作信息矩阵中任一项或多项且各项矩阵均为方阵，若上述矩阵有一项不存在则用0矩阵代替，利用多模态交互信息矩阵通过如下计算与所述多模态交互信息相匹配的交互方式：其中，X为多模态交互信息矩阵，W为文字信息矩阵，该所述文字信息矩阵为提取机器人屏幕上所输入信息，并对所输入信息进行像素点的提取，形成相应的像素矩阵，所述像素矩阵则为文字信息矩阵，Y为语音信息矩阵，该所述语音矩阵为每一帧语音中的语调、分贝、左声道值、右声道值所形成的矩阵、S为视觉信息矩阵，所述视觉信息矩阵，为机器人提取脸部信息，根据捕捉瞳仁的偏移方向，获取微表情，再根据微表情获取视觉的模糊程度，从而确定用户最终所观看的地方，并将该地方信息的像素点形成矩阵，D为动作信息矩阵，该所述动作矩阵为机器人拍摄用户动作，并将用户动作图像的像素点输入计算机，形成相应像素矩阵，wzz为文字信息矩阵中坐标为(z,z)的元素值，ycc为语音信息矩阵中坐标为(c,c)的元素值，snn为视觉信息矩阵中坐标为(n,n)的元素值,dmm为动作信息矩阵中坐标为(m,m)的元素值，且z、c、n、m、的值相等，即为矩阵W、Y、S、D的大小相等利用如下方程组(1)求解特征值，其中E为单位矩阵，λ1，λ2，λ3，λ4为与其对应矩阵的特征值，且特征值存在n种情况，即为λ1、λ2、λ3、λ4均为特征值的向量，每个向量中均含有n个值，而并非单一的值，所以将对应特征值构成特征矩阵，利用特征矩阵进行如下公式(2)计算，得出对应信息继续交互的概率矩阵：其中p为每项信息继续交互的概率构成的概率矩阵，为特征矩阵，λ1B，λ2B，λ3B，λ4B为可维持其对应信息矩阵能继续交互的最大特征值，为预先设定的值，选取p矩阵中元素最大的一项，找到所述最大一项所对应的信息矩阵，该最大一项所对应的信息矩阵所对应的交互方式即为与所述多模态交互信息相匹配的交互方式。4.如权利要求1所述的方法，其特征在于，所述根据获取的所述多模态交互信息，确定与所述多模态交互信...

【专利技术属性】
技术研发人员：王健，苏战，刘卫平，王诏坚，
申请(专利权)人：广州智伴人工智能科技有限公司，
类型：发明
国别省市：广东,44